Mostrar el registro sencillo de la publicación
Mejoramiento del entrenamiento de redes ELM en base a algoritmos de optimización
| dc.contributor.author | Tobar Valenzuela, Luis | |
| dc.date.accessioned | 2020-12-10T15:25:55Z | |
| dc.date.available | 2020-12-10T15:25:55Z | |
| dc.date.issued | 2019 | |
| dc.identifier.uri | http://repositorio.ucm.cl/handle/ucm/3347 | |
| dc.description | Tesis para optar al grado de Magíster en Ciencias de la Computación | es_CL |
| dc.description.abstract | En esta tesis se propone un método que optimiza el entrenamiento de una ELM (Extreme Learning Machine), en problemas de clasificación de datos, de manera de ahorrar tiempo y recursos de Hardware, lo que implica además un ahorro económico. Dicho método surge de la exploración y prueba de una serie de algoritmos de optimización que se ocupan de la búsqueda del mínimo de una función que mida el rendimiento, lo que permitió escoger la que da mejor resultados: método de sección ´aurea. La propuesta concreta es usar este método (Golden) en conjunto con ELM y probarlo con al menos 3 Bases de Datos reconocidas de la Web (finalmente se usaron 6) y cuyo tamaño sea de varios miles de datos, demostrando con los resultados que disminuye considerablemente el tiempo y numero de los entrenamientos para encontrar el óptimo entrenamiento. La importancia o relevancia que ha adquirido el buen uso de la inteligencia computacional, se ha tornado cada vez más clave para el desarrollo científico y para mejorar la calidad de vida de nuestra sociedad, en todo ´ámbito: la medicina, la industria, la investigación, etc. El aprendizaje automático en una ELM pretende que las computadoras sean capaces de aprender e inducir conocimiento de cierta información y para ello usa dos etapas: “Entrenamiento donde se observa las características más relevantes de un evento que actúan como datos de entrada y la segunda conocida como Prueba en la que compara estas características con nuevos datos de prueba y se obtiene al final un modelo entrenado y probado que intenta explicar los datos de entrada”. En un comienzo, se trabajó con dos Bases de datos pequeñas (Sinc y Diabetes) extraídas de la página de Matlab 1 donde se puede descargar además los códigos de ELM. Este trabajo inicial consistió en entrenar y probar la máquina con ambas BD, con una cantidad pequeña de neuronas (50 y 200 respectivamente). El objetivo era trabajar con la curva generada por los datos obtenidos de la variable TestingAccuracy, que indica la exactitud de llegar al entrenamiento ´optimo, que en este caso era el mínimo de la función RSME (Root Mean Squared Error). En esta primera etapa entonces se identificó el problema a solucionar el cual consiste: ”en identificar en el menor tiempo posible el mínimo de la función RSME (que describe la exactitud de cada entrenamiento) sin hacer un procesamiento secuencial, es decir lograr saltos, no tener que ejecutar ELM con todas las neuronas para llegar lo m´as pronto posible al ´optimo entrenamiento”. Para lo anterior se exploraron varios métodos de optimización de búsqueda del mínimo de una función, llegando a utilizar y probar alrededor de 15, pero al final se seleccionó 7 que fueron los que arrojaron mejores resultados o resultados cercanos al esperado. Los métodos son: Sección ´aurea, búsqueda binaria, 2 puntos espaciados, Fibonacci, Newton-Raphson, Máxima Pendiente y Newton. Cuando se probaron los métodos con las bases de datos Sinc y Diabetes todos dieron resultados satisfactorios pues la curva que describía el comportamiento de la velocidad de testing era semiconcava y con muy poca oscilación o ruido. Pero el siguiente paso fue comenzar a probar con Bases de Datos grandes y con ruido, para ver el comportamiento de los métodos y se trabajó no como en las primeras pruebas, esperando que se hiciera el entrenamiento con todas las neuronas, para luego ver el vector generado por la variable testingaccuracy que muestra la exactitud de cada entrenamiento. Ahora se ejecutaba ELM solo con las neuronas necesarias que pedía cada método, no secuencial ni incremental, sino de acuerdo a lo que necesitaba cada método. Las BD trabajadas son: Huellas (BD de huellas dactilares), Satimage y Shuttle extraídas también de la web 2 y MNIST 3. Se utilizó Matlab para probar y modificar los métodos y en la ejecución y prueba de ELM, además otras herramientas utilizadas para la preparación de las Bases de datos, fueron Access y Excel. La máquina utilizada fue un equipo HP Intel Core I5 de dos núcleos, con 8 GB en RAM y sistema operativo Windows 10 Profesional de 64 bits. La presente tesis utiliza los métodos de optimización de búsqueda del mínimo de una función antes individualizados, mejorando los algoritmos y ejecutando para ello el entrenamiento y prueba de ELM dentro de cada método, con el objetivo de encontrar el método que mejor optimice el entrenamiento de la ELM, es decir en el menor tiempo posible y con el menor número de ejecuciones de la ELM (con el menor número de neuronas). Lo anterior se resume en el objetivo principal: “Mejoramiento del entrenamiento de redes ELM en base a algoritmos de optimización.” Y para el logro del objetivo se han definido 3 objetivos específicos: (i) Investigar el funcionamiento de métodos de optimización que sirvan para reducir la ejecución de ELM para llegar al ´optimo. (ii) Modificar los algoritmos de los métodos de optimización seleccionados, para probar y comparar resultados, eficiencia y velocidad de entrenamiento y (iii) Encontrar el mejor método de optimización que reduzca el tiempo y la ejecución de neuronas para llegar al ´optimo, realizando un chequeo y comparación de número de ejecuciones de la ELM y el tiempo empleado para llegar al mínimo. Las contribuciones científicas de este trabajo se detallan a continuación. Búsqueda y prueba de diversos métodos de optimización de búsqueda de mínimo de una función. Modificación de código y verificación de funcionamiento con varias BD de varios miles de datos, tanto en entrenamiento como en prueba y por ´ultimo elección del mejor método de optimización (que es Sección Aurea) para entrenar en el menor tiempo ´ posible una ELM, con la ejecución mínima de neuronas. Todo lo anterior cumple el objetivo de reducir en hasta un 40 %, el tiempo de entrenamiento y significa un ahorro de recursos de Hardware del orden de casi hasta un 45 %. Como trabajo futuro se plantea la prueba del algoritmo Golden modificado con otras BD y además expandir este trabajo a problemas de Regresión con ELM y además con redes multicapa. Pues todo el trabajo realizado se centró solo en la clasificación de Datos y con redes monocapa. 1Esta es la pagina de descarga de las dos primeras BD Sync y Diabetes: http://www.ntu.edu.sghomeegbhuangelm random hidden nodes.html 2BD extraídas del sitio: https://www.csie.ntu.edu.tw/ cjlin/libsvmtools/datasets/ 3BD extraída del sitio: http://yann.lecun.com/exdb/mnist/ | es_CL |
| dc.language.iso | es | es_CL |
| dc.publisher | Universidad Católica del Maule, Facultad de Ciencias de la Ingeniería | es_CL |
| dc.rights | Atribución-NoComercial-SinDerivadas 3.0 Chile | * |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/cl/ | * |
| dc.subject | Aprendizaje de máquinas | es_CL |
| dc.subject | Sistemas de Información | es_CL |
| dc.subject | Bases de datos | es_CL |
| dc.title | Mejoramiento del entrenamiento de redes ELM en base a algoritmos de optimización | es_CL |
| dc.type | Thesis | es_CL |
| dc.ucm.uri | sibib2.ucm.cl:2048/login?url=http://guiastematicas.biblioteca.ucm.cl/ld.php?content_id=49782928 | es_CL |
| dc.ucm.profesorguia | Mora Cofré, Marco |
Ficheros en la publicación
| Ficheros | Tamaño | Formato | Ver |
|---|---|---|---|
|
No hay ficheros asociados a esta publicación. |
|||
Esta publicación aparece en la(s) siguiente(s) colección(ones)
Excepto si se señala otra cosa, la licencia de la publicación se describe como Atribución-NoComercial-SinDerivadas 3.0 Chile