Árboles de Decisión (2)

Árboles de Decisión (2)






La mayoría de los algoritmos de clasificación se basan en la noción de distancia (qué tan cerca está un vector de características de otro, o del punto más alto de una distribución probabilística, etc), en un espacio de características n-dimensional (cada dimensión es un elemento del vector de características en ). Ejemplos de estos clasificadores son el vecino más cercano, las redes neuronales e incluso los clasificadores Bayesianos. Por su parte, los árboles de decisión consideran valores nominales, y las n-tuplas que forman el "vector de características" en otros enfoques, son "listas de atributos" en los árboles de decisión. De esta manera, los árboles de decisión favorecen la interpretación, con una estructura que provee preguntas y respuestas que se estiman a través del entrenamiento, y se utilizan para predecir las etiquetas de clase.

Para utilizar el algoritmo de decisión, se inicia en la raíz del árbol y se dividen los datos en la característica que resulte con mayor ganancia de información.
La función objetivo para maximizar la ganancia de información en cada división de datos se define como sigue:
                               (1)
donde f es la característica utilizada para dividir los datos de acuerdo a su ganancia de información; y son los conjuntos de datos del nodo padre, y del j-ésimo nodo hijo; I es la medida de impureza; es el número de muestras en el nodo padre; y  es el número de muestras en el j-ésimo nodo hijo.

Referencias

  1. Raschka, Sebastian. Python Machine Learning. Packt Publishing, 2016.
  2. Duda, Richard O., Hart, Peter E. and Stork, David G. Pattern classification, Second edition, Wiley-Interscience, 2001.

Comentarios

Publicar un comentario

Entradas populares de este blog

Árboles de Decisión (1)

Imagen
Árboles de Decisión (1) Un árbol de decisión es una herramienta conceptual utilizada en diferentes disciplinas, desde la computación hasta la economía. Por convención, se representa gráficamente como se muestra en la Figura 1, con el nodo raíz en la parte superior, y abajo las ramas hacia otros nodos intermedios, llamados nodos hijo. Los nodos terminales son llamados nodos hoja, y corresponden a las decisiones. Figura 1. Ejemplo de árbol de decisión de figuras geométricas de 0 a 4 lados. En el ejemplo de la Figura 1 se presenta un árbol de decisión binario, donde se asumen sólo 3 característica: f1 = número de lados, f2 = todos los lados son iguales (si/no), y f3 = la medida de alguno de sus ángulos es 90° (si/no). La manera de clasificar un conjunto de características es recorriendo el árbol desde la raíz. Por ejemplo, el conjunto x = {4, si, no} corresponde a un rombo: cuatro lados, todos iguales, y uno de sus ángulos no es recto. Sigue... Referencias R...
Leer más

Elección de ponderaciones

Muchas son las aplicaciones que se tienen de las redes neuronales, entre ellas la clasificación de patrones, cuyo objetivo consiste en decidir si un conjunto de entradas a una neurona (o red neuronal), corresponde o no a un patrón determinado. Cuando una entidad de inteligencia artificial neuronal tiene pocas entradas posibles, es fácil tomarlas en cuenta a todas, y una implementación con una simple expresión lógica cubriría toda la gama de datos para generar sus correspondientes salidas, sin dejar lugar a incertidumbre. Sin embargo, cuando las entradas son demasiadas como para considerarlas independientemente, es es posible tomar en cuenta cada una de una manera independiente. Los pesos o ponderaciones de una neurona, los cuales están ligados a cada una de las entradas, se deben elegir cuidadosamente, dando un valor más alto a aquellos ligados a las entradas que nos brindan mayor información para tomar la decisión final. Es aquí donde se puede aplicar fuertemente la estadística, c...
Leer más