Construcción de memorias asociativas evolutivas orientadas al estudio de señal EEG y su aplicación a la teleoperación Asesores: Dra. Graciela Román Alonso y Dr. Juan Villegas Cortez Oficina: T-215 (UAM Izt) / G-301 int 1 (UAM Azc) e-mail: [email protected] / [email protected] Perfil deseable del alumno: • Alumno con conocimientos en programación paralela. • Alumno con interés en tópicos de la inteligencia artificial y el reconocimiento de patrones. México D.F. - Marzo 2015 PROPUESTA 1 Introducción El desarrollo de la tecnología ha llevado a las computadoras de uso común (Computadoras Personales o PC) a ser equipos con gran capacidad de cálculo y almacenamiento. Puntos en los que se ha centrado su desarrollo, dejando de lado a una rama de las PC que prácticamente no ha cambiado desde que se crearon. Las interfaces de entrada y salida (E/S) de la PC, de forma generalizada, se componen básicamente de 3, dos de entrada, teclado y ratón (o touch–pad), y una de salida, el monitor. Las tecnologías de comunicación con la PC originalmente fueron creadas en base a los recursos de los que se disponían en ese momento, razón por la cual el mouse o ratón es un dispositivo independiente (con carga mínima al sistema), sin embargo con el desarrollo de las interfaces gráficas cada vez más complejas y con el avance en la capacidad de cómputo de los equipos, se empiezan a vislumbrar los problemas a causa de la falta de una interfaz de comunicación adecuada a las capacidades intelectuales del hombre y a las capacidades de los equipos de cómputo de los que dispone [1]. Por otra parte, (pero hacia el mismo destino) esta el uso de la tecnología para asistir a personas discapacitadas o con habilidades diferentes, para quienes se han desarrollado dispositivos especiales que permitan a estas personas tener una mejor calidad de vida [2]. Estas tecnologías, de manera general, se pueden englobar en un solo objetivo: crear canales de comunicación adecuados a las capacidades de estas personas. Muchos de estas personas se ven con la problemática de no contar con ningún tipo de movimiento físico para poder comunicarse, y es en torno a estas características que se ha buscado dentro de un área muy especifica para poder encontrar una solución, las ondas electro encefalográficas (EEG). A partir de que se desarrolló la tecnología que permite leer las ondas EEG de los humanos, se planteó la posibilidad de interpretarlas y usarlas como un medio de comunicación con dispositivos que puedan ir, desde control de dispositivos hasta prótesis robóticas. A este tipo de tecnología se le conoce como BCI (Brain–Computer Interface) y tiene una ventaja enorme sobre cualquier otra interfaz de control, las BCI no requieren movimiento físico para su manipulación. Sin embargo, los actuales desarrollos de BCI aun tienen grandes problemas que solucionar, entre los que más resaltan son: • El lento entrenamiento de los usuarios de estas interfaces. • Baja resolución espacio–temporal (mucho tiempo para poca información). • Baja precisión en un control bi–dimensional. PROPUESTA 2 Por lo que existen aún muchos caminos a estudiar por los cuales se pueda alcanzar una correcta interpretación de las ondas EEG. Las corrientes principales que existen dentro del desarrollo de BCI han sido 2, las cuales se diferencian por sus puntos de vista del análisis del problema. Un primer grupo esta atacando el problema desde el punto de vista de la teoría de control, mientras que otro esta usando técnicas de reconocimiento de patrones, ambos apoyados en herramientas de inteligencia artificial y procesamiento digital de señales. Se han desarrollado prototipos de BCI que han usado series de tiempo que les permite hacer predicciones en las ondas EEG [3] mientras que otros han estado usando sistemas de clasificación para reconocimiento de patrones, ambos alcanzando resultados similares, por lo que aun no existe un camino efectivo para alcanzar una solución eficiente al problema. En la presente propuesta se va a trabajar sobre la última corriente mencionada con el fin de realizar comparaciones que puedan mostrar que técnicas de reconocimiento de patrones puedan dar mejores resultados para el funcionamiento de una BCI eficiente. Objetivo general Construir un sistema para la generación de Memorias Asociativas evolutivas aplicadas hacia problemas reales de reconocimiento de patrones; a fin de obtener productos tangibles con el desarrollo de nuevas formas de conceptualizar el reconocimiento de patrones, desde la perspectiva de la asociación, y aplicarlas al análisis de la señal EEG con propósito de detección de intención de movimiento para teleoperación. Objetivos específicos ❖ Estudiar e identificar los puntos óptimos del cerebro que permitan extraer los componentes de las señales EEG que contengan la información de movimientos, o tareas de movimientos, deseados en pensamientos por parte de un usuario. ❖ Determinar la combinación operacional que mejor se pueda implementar para las señales EEG beta (ß), mu (µ) y P300. ❖ Generar un clasificador de ondas EEG a partir de Memorias Asociativas Evolutivas que identifique las señales EEG necesarias asociadas a la intención de movimiento. PROPUESTA 3 Metodología La metodología planteada para lograr el desarrollo de éste proyecto se puede dividir de forma resumida en tres etapas, las cuales son: ❖ Adquisición de la señal. ❖ Clasificación de las componentes de la señal EEG por medio de memorias asociativas evolutivas. ❖ Entrenamiento y prueba de las BCI. A continuación se explica con más detalle estas tres etapas. Adquisición de la señal. La adquisición de la señal EEG se hará directamente usando la diadema Emotiv EPOC Neuroheadset, misma que reporta la distribución de 14 puntos en la cabeza del usuario, agregando el dato de la posición de estos puntos, más el dato del giroscopio, reportando un total de 25 señales a trabajar. Actualmente ya se hizo el análisis de operación de cómo leer las señales EEG desde el dispositivo y se están analizando las señales de posición de los puntos de lectura cerebral, y su complejidad se esta resolviendo a fin de poder tener directamente los valores de éste parámetro acorde al tiempo de lectura, acorde al protocolo de entrenamiento y así poder construir nuestras bases de datos de patrones acorde con tareas de movimientos expresados en pensamientos por parte del usuario. Clasificación de las componentes de la señal EEG por medio de Memorias asociativas evolutivas. El proceso de clasificación de las señales EEG por medio de memorias asociativas evolutivas es el paso crucial, dado que involucra el arreglo de los datos de la señal en matrices tridimensionales de número de lecturas (sampleos) de la señal por segundo sobre 59 patrones, considerando un número de veces en de entrenamiento del pensamiento, e.g. 200 veces. Bajo la consideración anterior, se tiene una matriz de 200*800*59 valores reales, con esto se satura rápidamente la memoria RAM y aún la memoria SWAP que en sistemas UNIX se pueden declarar y tener físicamente. Para lograr que el cómputo evolutivo pueda tener éxito es necesario considerar, por un lado el hardware y por otro lado el software. Hablando PROPUESTA 4 del hardware, un equipo de cómputo de alto desempeño para poder lidiar con ésta parte, que ya esta probada con un menor número de patrones, pero que al aumentar como en este caso, se tienen que manejar rutinas de administración de memoria dinámica sobre una muy buena precisión de operaciones de punto flotante, este último punto el tipo de microprocesador que mejor desempeño tiene en su trabajo son la serie Intel Xeon 64bits. Hablando del software, es aquí donde es crucial la implementación de técnicas de cómputo en paralelo que tomen en consideración el número masivo de operaciones de punto flotante, y también el aspecto de la rapidez con precisión de los resultados. Entrenamiento y pruebas de la BCI. En el entrenamiento y las pruebas de la BCI aquí involucrada, junto con los resultados que arrojen de asociación las Memorias asociativas evolutivas, se echará a andar una metodología de entrenamiento que contemple: número de sesiones, duración, intervalo entre sesiones y, diseño de la sesión. Esto involucrado en tres pasos: 1) Análisis de eficiencia, 2) Diseño de la metodología, 3) Pruebas. Todo lo anterior se traduce en los siguientes pasos para el diseño e implementación del sistema de traducción de las señales EEG y su aplicación en una tarea concreta: 1. Adquisición de señales encefálicas. 2. Análisis de las señales en tiempo y frecuencia. 3. Pre–procesamiento de la señal. 4. Obtención de características por relevancia en asociación por medio de Memorias asociativas. 5. Evaluación y selección de los mejores individuos reportados por el cómputo evolutivo. 6. Diseño e implementación de un módulo de extracción de características acorde a las memorias asociativas obtenidas. 7. Evaluación del modulo de extracción de características. 8. Diseño e implementación del módulo de procesamiento de las características sobre nuevas señales EEG obtenidas vs. aprendidas. 9. Diseño e implementación del clasificador. 10.Evaluación del desempeño. PROPUESTA 5 Para lograr esto se construirá un clasificador a partir de las memorias asociativas evolutivas, como se reporta en [19], y además se comparará su desempeño con un clasificador basado en redes neuronales artificiales por Backpropagation. Para evaluar el desempeño de los algoritmos, éstos se evaluarán con las técnicas estandarizadas para ello en el área del Reconocimiento de Patrones: ❖ Resustitución ❖ Dejar-uno-fuera (Leave One Out) ❖ Validación cruzada (Cross-Validation) Finalmente, y como parte crucial de esta propuesta, el método para determinar la mejor combinación (lineal o no–lineal) resultante del proceso de cómputo evolutivo por medio de la Programación genética, será llevado a cabo por medio de estudiar al menos dos funciones de aptitud en el proceso co–evolutivo propuesto en [19], y el uso de alta precisión numérica en el manejo de todas las operaciones de punto flotante en cómputo de alto desempeño. El equipo necesario de cómputo se detalle más adelante. RECURSOS Para llevar a cabo esta propuesta se hará uso de los siguientes recursos como entorno de desarrollo. Hardware • WorkStation Serie Dell Precision 2, 4, 8 y 12 núcleos con 4, 8 y 16 GB en RAM, con procesador Intel XEON 64 bits. • Diadema Emotiv Epoc. • Recursos del Laboratorio de Sistemas Paralelos y Distribuidos de la UAM Iztapalapa (T-169) Software • Sistema operativo Linux 64 bits. • Sistema operativo MS-Windows 7 Ultimate. • Compilador ANSI C/GCC. • Bases de datos de señal EEG. PROPUESTA 6 Lugar de realización: UAM Iztapalapa. Adicionalmente, en colaboración, se ponen a disposición los recursos del Laboratorio de Multimedia de la UAM Azcapotzalco. Calendarización de actividades Trimestre Actividad 15-P Estudio del Estado del Arte, la problemática y la metodología de investigación. Estos avances serán presentados por escrito y en el seminario organizado para tal fin. 15-O Implementación y evaluación del desempeño de los algoritmos propuestos. Los avances del proyecto serán presentados por escrito, en formato de artículo. Estos resultados serán presentados en el seminario organizado para tal fin. 16-I Escritura y entrega de una primera versión de la comunicación idónea de resultados. Los resultados serán presentados en el seminario organizado para tal fin. 16-P Entrega de la versión final de la idónea comunicación de resultados y defensa oral del trabajo de investigación ante un jurado especializado. Bibliografía inicial 1. Two-Handed Virtual Manipulation,KEN HINCKLEY, RANDY PAUSCH, DENNIS PROFFITT and NEAL F. KASSELL. ACM Transactions on Computer-Human Interaction, Vol. 5, No. 3, September 1998, Pages 260–302. 2. Parallel Man–Machine Traning in Development of EEG-Based Cursor Control., Aleksander Kostov and Mark Polak, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000 203 3. A Time-Series Prediction Approach for Feature Extraction in a Brain–Computer Interface.Damien Coyle, Girijesh Prasad and Thomas Martin McGinnity, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 13, NO. 4, DECEMBER 2005 461 4. Control of a two-dimensional movement signal by a noninvasive brain–computer interface in humans, Jonathan R. Wolpaw and Dennis J. McFarland, Proceedings of the National Academy of Sciences, December 21, 2004 vol. 101 no. 51 17849 – 17854 5. Bain–Computer Interface Technology: A Review of the First International Meeting. Jonathan R.Wolpaw, Niels Birbaumer,William J. Heetderks, Dennis J. McFarland, P. Hunter PROPUESTA 7 Peckham, Gerwin Schalk, Emanuel Donchin, Louis A. Quatrano, Charles J. Robinson, and Theresa M. Vaughan IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000. 6. EGG-based Brain Computer Interface, Janne Lehtonen, HELSINKI UNIVERSITY OF TECHNOLOGY., Department of Electrical and Communications Engineering. May 3 2002, Páginas : 17, 28, 44-46, 62, 67-71, 7. A Direct Brain Interface Based on Event-Related Potentials, Simon P. Levine, Jane E. Huggins, Spencer L. BeMent, Ramesh K. Kushwaha, Lori A. Schuh, Mitchell M. Rohde, Erasmo A. Passaro, Donald A. Ross, Kost V. Elisevich, and Brien J. Smith, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000. 8. Brain–Computer Interface Research at the Neil Squire Foundation, Gary E. Birch and Steve G. Mason, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000 9. Critical Decision-Speed and Information Transfer in the “Graz Brain–Computer Interface”,G. Krausz, R. Scherer, G. Korisek and G. Pfurtscheller, Applied Psychophysiology and Biofeedback, Vol. 28, No. 3, September 2003 10.Direct brain communication: neuroelectric and metabolic approaches at Tübingen, Boris Kleber y Niels Birbaumer, LABORATORY NOTES, Marta Olivetti Belardinelli and Springer-Verlag 27 January 2005. 11.Prostheti Control by an EEG-based Brain-Computer Interface (BCI), Christoph Guger, Werner Harkam, Carin Hertnaes, Gert Pfurtscheller, IEEE Trans. on Neural Systems and Rehabilitation , see also Rehabilitation Engineering, IEEE Transactions on., Volume: 8, Issue: 4 On page(s): 447-456. Dec 2000 [12] Linear Classification of Low-Resolution EEG Patterns Produced by Imagined Hand Movements 12.F. Babiloni, F. Cincotti, L. Lazzarini, J. Millán, J. Mouriño, M. Varsta, J. Heikkonen, L. Bianchi, and M. G. Marciani, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000 13.The Mental Prosthesi: Assessing the Speed of a P300-Based Brain–Computer Interface,Emanuel Donchin, Kevin M. Spencer, and Ranjith Wijesinghe, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000. 14.Recogniion of Motor Imagery Electroencephalography Using Independent Component Analysis and Machine Classifier, CHIH-I HUNG, PO-LEI LEE, YU-TE WU, LI-FEN CHEN, TZU-CHEN YEH and JEN-CHUEN HSIEH, Annals of Biomedical Engineering, Vol. 33, No. 8, August 2005 pp. 1053–1070. PROPUESTA 8 15.Rapid Prototyping of an EEG-Based Brain–Computer Interface (BCI), Christoph Guger, Alois Schlögl, Christa Neuper, Dirk Walterspacher, Thomas Strein, and Gert Pfurtscheller, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 9, NO. 1, MARCH 2001 49. 16.Robust Classification of EEG Signal for Brain–Computer Interface, Manoj Thulasidas, Cuntai Guan and Jiankang Wu, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 14, NO. 1, MARCH 2006. 17.Steady-State Somatosensory Evoked Potentials: Suitabe Brain Signals for Brain–Compuer nterfaces?, Gernot R. Müller-Putz, Reinhold Scherer, Christa Neuper and Gert Pfurtscheller, IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, VOL. 14, NO. 1, MARCH 2006. 18.A Virtual Reality Tesbed for Brain–Compuer Interface Research, Jessica D. Bayliss and Dana H. Ballard, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000. 19.Associative Memories through Genetic Programming. Juan Villegas-Cortez, J. Humberto Sossa A., Carlos Avilés Cruz, Gustavo Olague. Revista Mexicana de Física. Vol. 57, No. 2. México. ISSN 0035-001X. Abril 2011. 20.Optimisation of a BCI system using the GA technique, Dobrea, D.-M.; Dobrea, M.-C.; Applied Sciences in Biomedical and Communication Technologies, 2009. ISABEL 2009. 2nd International Symposium on , vol., no., pp.1-6, 24-27 Nov. 2009. PROPUESTA 9
© Copyright 2024