Когнитивное интеллектуальное управление роботизированной рукой – протезом. Часть 1

Когнитивное интеллектуальное управление роботизированной рукой – протезом. Часть 1

Ульянов Сергей Викторович
д.ф.-м.н., ГБОУ ВО МО «Университет «Дубна», Институт системного анализа и управления, профессор, 141980, Московская область, г. Дубна, Университетская ул., д. 19, тел.: +7(49621)66010, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра. 

Решетников Андрей Геннадьевич
к.т.н., ГБОУ ВО МО «Университет «Дубна», Институт системного анализа и управления, доцент, 141980, Московская область, г. Дубна, Университетская ул., д. 19, тел.: +7(49621)66010, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра. 

Немчанинов Алексей Владимирович *
ГБОУ ВО МО «Университет «Дубна», Институт системного анализа и управления, магистр 2-го года обучения, 141980, Московская область, г. Дубна, Университетская ул., д. 19, тел.: +7 (962)249-65-76, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра. 

Материал поступил в редакцию 06 сентября 2019 года.

Аннотация
Рассматриваются принципы нейроинтерфейса «мозг-компьютер-исполнительное устройство («brain-computer-device» interface), которое позволяет восстанавливать и расширять возможности человека c физическими ограничениями (например, инвалиды с потерей конечностей) или когнитивными нарушениями в различных видах деятельности (например, дети-аутисты или пациенты с нарушением умственной деятельности – dementia). Когнитивные интерфейсы обеспечивают возможность коммуникации, оценки эмоций, передачи и управления устройствами ментальными командами. Обсуждается процесс разработки когнитивного интеллектуального тренажера, использование которого обеспечивает разработчиков возможностью управлять на нижнем (исполнительском) уровне роботизированными устройствами, за счет так называемых «ментальных команд», а на верхнем - интеллектуальном уровне, разрабатывать технологии когнитивного интеллектуального управления с возможностью применения в прикладных задачах. Приводится описание этапа проектирования и результаты разработки концептуальной структуры робототехнического протеза. В качестве результата представлен макет протеза, изготовленный на 3D-принтере, принципиальная структура взаимодействия нейроинтерфейса «мозг-компьютер-устройство», а также закладываемый базис интеллектуальных вычислений и программного обеспечения. Применение технологии мягких вычислений (первый этап ИТ) позволяет извлекать знания непосредственно из физического сигнала электроэнцефалограммы, а также формировать БЗ для интеллектуального робастного управления нижним исполнительским уровнем с учетом оценки эмоционального состояния пациента. Обсуждаются возможности применения технологий квантовых мягких вычислений (второй этап ИТ) в процессах робастной фильтрации сигналов электроэнцефалограмм для формирования ментальных команд. Представлено описание иерархической интеллектуальной системы управления на основе оптимизатора баз знаний SCOptKBTM с применением технологий мягких и квантовых вычислений.

Ключевые слова
Роботизированная рука-протез, интеллектуальные когнитивные вычисления, нейроинтерфейс «мозг-компьютер-устройство», ментальные команды, квантовые мягкие вычисления, когнитивный регулятор.

Благодарности
Работа выполнена при финансовой и материально-технической поддержки компании ООО ИНЭСИС (ГК ЭФКО), совместно с Feng Maria (Civil Engineering and Engineering Mechanics, Columbia University).

https://doi.org/10.31776/RTCJ.7407 

Индекс УДК 

004.415.2, 004.588

Библиографическое описание 
Ульянов С.В. Когнитивное интеллектуальное управление роботизированной рукой – протезом. Часть 1 / С.В. Ульянов, А.Г. Решетников, А.В. Немчанинов // Робототехника и техническая кибернетика. – Т. 7. - №4. – Санкт-Петербург : ЦНИИ РТК. – 2019. – С. 306-317. – Текст : непосредственный.

Литература

  1. DARPA-funded efforts in the development of novel brain–computer interface technologies. – Text: unmediated / Robbin A. Miranda [et al] // Journal of Neuroscience Methods 244. – 2015. – Pp. 52-67.
  2. Аналитический обзор мирового рынка робототехники 2019. – Текст: непосредственный. – Сбербанк, 2019. – 272 с.
  3. The grand challenges of Science Robotics. – Text: unmediated / Guang-Zhong Yang [et al] // DOI: 10.1126 / scirobotics.aar7650 (2018). – Pp. 1-14.
  4. Аналитический обзор мирового рынка робототехники. Лаборатория робототехники. – Текст: непосредственный. – Сбербанк, 2018. – 79 с.
  5. Искусственный интеллект: Подходы к формированию. Стратегии развития ИИ в Российской Федерации. – Текст: непосредственный. – Сбербанк, 2019.
  6. Expert system for selecting lower-extremity (thigh) prostheses and diagnosis of the quality of artificial replacement. Part 1. – Text: electronic / E.K. Amirova [et al] // Consultants bureau, New York, J. of Biomedical Engineering, May-June, 1991, № 3, pp. 26-31. – URL: http://www.qcoptimizer.com/publications/articles/01_3_18_3_Expert ystem Selecting Lower Extremity Prostheses Diagnosis Quality ArtificialReplacement_Part1.pdf (дата обращения: 11.11.2019).
  7. An expert system for selecting lower-extremity (thigh) prosthesis and evaluation of prosthetic quality. Part 2. – Text: electronic / E.K. Amirova [et al] // Consultants bureau, New York, J. of Biomedical Engineering, November-December, 1991, № 6, pp. 5-12. – URL: http://www.qcoptimizer.com/publications/articles/01_4_18_2_Expert System Selection Extremity Prosthesis Evalution ProstheticQuality_Part2.pdf (дата обращения: 11.11.2019).
  8. Гибридная экспертная система с глубинным представлением знаний для проектирования и диагностики биотехнических изделий. – Текст: электронный / И.В. Лупина [и др.] // Известия АН СССР. Техническая кибернетика, 1991, № 5, с. 152-175. – URL: http://www.qcoptimizer.com/publications/articles/6_1_11_1_GibridnaiAkspertnaiSistemaProektirovaniaDiagnosticiBiotehnicheskihIzdeliy.pdf (дата обращения: 11.11.2019).
  9. The prospects of the P300-based brain computer interface in game control. – Text: unmediated / A. Kaplan [et al] // EEE Transactions on Computational Intelligence and AI in Games, 2013 (in press).
  10. Shishkin S.L. Event-related potentials in a moving matrix modification of the P300 brain-computer interface paradigm. – Text: unmediated / S.L. Shishkin, I.P. Ganin, A.Y. Kaplan // Neuroscience Letters, 2011, v. 496 (2), pp. 95-99.
  11. Neuronal ensemble control of prosthetic devices by a human with tetraplegia. – Text: unmediated / Leigh R. Hochberg [et al] // Nature, 2006, v. 442, pp. 164-171.
  12. E. Real movement vs. motor imagery in healthy subjects. – Text: unmediated / Höller Y. [et al] // Int. J. Psychophysiol», 2012, pp. S0167-8760.
  13. Novel protocols for P300-based brain-computer interfaces. – Text: unmediated / Salvaris M. [et al] // IEEE Trans. Neural. Syst. Rehabil. Eng., 2012, v. 20, pp. 8-17.
  14. Cognitive Control Signals for Neural Prosthetics. – Text: unmediated / Musallam S. [et al] // Science, 2004, v. 305, pp. 258-262.
  15. Иваницкий Г. А. Определение характера мыслительной деятельности по ритмическому рисунку ЭЭГ. – Текст: электронный / Г.А. Иваницкий. – URL: https://www.rfbr.ru/rffi/portal/project_search/o_53385 (дата обращения: 11.11.2019).
  16. Robotic Arm with Brain Computer Interfacing. – Text: unmediated / Sunny T.D. [et al] // International Conference on Emerging Trends in Engineering, Science and Technology (ICETEST - 2015).
  17. Gandhi V. Brain-Computer Interfacing for Assistive Robotics 1st Edition: Electroencephalograms, Recurrent Quantum Neural Networks, and User-Centric Graphical Interfaces. – Text: unmediated. – N.Y. Academic Press. – 2015.
  18. Meng Jing. Brain Co CEO says his 'mind-reading' tech is here to improve concentration, not surveillance. – Text: electronic // South China Morning Post, Published: 2 May, 2019. – URL: https://www.scmp.com/tech/innovation/article/3008439/brainco-ceo-says-his-mind-reading-tech-here-improve-concentration (дата обращения: 11.11.2019).
  19. Kazuki Yanagisawa. Brain-Computer Interface Using Near Infrared Spectroscopy for Rehabilitation, Infrared Spectroscopy - Life and Biomedical Sciences. – Text: electronic / Kazuki Yanagisawa, Hitoshi Tsunashima and Kaoru Sakatani. – URL: https://www.intechopen.com/books/infrared-spectroscopy-life-and-biomedical-sciences/brain-computer-interface-using-near-infrared-spectroscopy-for-rehabilitation (дата обращения: 11.11.2019).
  20. The Wadsworth BCI Research and Development Program: at home with BCI. – Text: unmediated / Vaughan TM [et al] // IEEE Trans Neural Syst Eng. – 2006. – Vol. 14. – № 2. – Pp. 229-233.
  21. Soft Computing Optimizer as Deep Machine Learning in Intelligent Cognitive Estimation of Human Being Emotion for Robotic Control. – Text: unmediated / S.V. Ulyanov [et al] // Robots and Engineering Cybernetics (in press).
  22. Rajesh P. N. Rao. Towards Neural Co-Processors for the Brain: Combining Decoding and Encoding in Brain-Computer Interfaces. – Text: unmediated / Rajesh P. N. Rao, Paul G. Allen // Journal Current Opinion in Neurobiology, 2018.
  23. José del R. Millán. Non Invasive Brain-Machine Interfaces. – Text: electronic / José del R. Millán, Pierre W. Ferrez, Anna Buttfield // IDIAP Research Institute. – URL: https://www.esa.int/gsp/ACT/doc/ARI/ARI%20Study%20Report/ACT-RPT-BIO-ARI-056402-Non_invasive_brain-machine_interfaces_-_Martigny_IDIAP.pdf (дата обращения: 11.11.2019).
  24. Maksimenko V.A. Artificial Neural Network Classification of Motor-Related EEG: An Increase in Classification Accuracy by Reducing Signal Complexity Hindawi. – Text: electronic / V.A. Maksimenko, S.A. Kurkin, E.N. Pitsik // Complexity, 2018, Article ID 9385947, pp.10. – URL: https://doi.org/10.1155/2018/9385947 (дата обращения: 11.11.2019).
  25. Гибридные когнитивные системы управления на примере управления транспортным средством. – Текст: электронный / С.В. Ульянов [и др.] // Системный анализ в науке и образовании: сетевое научное издание. – 2010. – №3. – URL: http://sanse.ru/download/261 (дата обращения: 11.11.2019).
  26. Ульянов С.В. Базис когнитивного компьютерного обучения робототехнике. Интеллектуальный тренажер формирования активных знаний. – Текст: электронный / С.В. Ульянов, А.Г. Решетников // Системный анализ в науке и образовании: сетевое научное издание. – 2016. – №4. – URL: http://sanse.ru/download/277 (дата обращения: 11.11.2019).
  27. Gael Langevin. InMoov is the first Open Source 3D printed life-size robot. – Текст: электронный / Gael Langevin. 2012. – URL: http://inmoov.fr (дата обращения: 11.11.2019).
  28. Hand robot InMoov, open source. – Текст: электронный // Проект. – URL: https://www.thingiverse.com/thing:17773 (дата обращения: 11.11.2019).
  29. Epoc, нейрокомпьютерный интерфейс. – Текст: электронный // Emotiv: [сайт]. – URL: https://www.emotiv.com/ (дата обращения: 11.11.2019).
  30. Arduino, инструмент для проектирования электронных устройств. – Текст: электронный // Arduino: [сайт]. – URL: http://arduino.ru/ (дата обращения: 11.11.2019).
  31. Петров Б.Н. Теория моделей в процессах управления: информационный и термодинамический аспекты. – Текст: непосредственный / Б.Н. Петров. – Москва: Наука, 1978. – 224 с.
  32. US Patent No 7,219,087B2, «Soft computing optimizer of intelligent control system structures» (Inventor: S. V. Ulyanov), Date of patent: May 15, 2007 [WO 2005/013019 A3, 2005].
  33. US Patent No 2006,0218 A1, «System for soft computing simulation» (Inventor: S. V. Ulyanov), Date of patent: Sept. 2006, 2006.
  34. Сотников П.И. Обзор методов обработки сигнала электроэнцефалограммы в интерфейсах мозг-компьютер // Инженерный вестник. – 2014. – № 10.
  35. Интеллектуальные самоорганизующиеся когнитивные регуляторы. Ч. 2: модели когнитивных интерфейсов «мозг – устройство». – Текст: электронный / С.В. Ульянов [и др.] // Системный анализ в науке и образовании: сетевое научное издание. – 2015. – №1. – URL: http://sanse.ru/download/236 (дата обращения: 11.11.2019).
  36. Ulyanov S.V. Intelligent self-organized robust control design based on quantum / soft computing technologies and Kansei engineering. – Text: unmediated / S.V. Ulyanov // Computer Science Journal of Moldova. – 2013. – Vol.21. – №2 (62), pp. 242-279.
  37. Ulyanov S.V. Intelligent self-organized cognitive controllers. Pt. 1: Kansei, Affective engineering and quantum / soft computing technologies. – Text: electronic / S.V. Ulyanov, Yamafuji K. // System Analysis in Science and Education. – 2014. – No 4. – URL: http:/www.sanse /.ru/archive/48 (дата обращения: 11.11.2019).
  38. Ulyanov S.V. Quantum fast algorithm computational intelligence Pt I: SW / HW smart toolkit. – Text: electronic // Artificial Intelligence Advances. – .2019. – Vol. 1. – No 1. – Pp. 18-43. – URL: https://doi.org/10.30564/aia.v1i1.619 (дата обращения: 11.11.2019).
  39. Ульянов С.В. Интеллектуальная робототехника ч. 2: социо - экономико - техническая платформа когнитивного образовательного процесса. – Текст: электронный / С.В Ульянов, А.Г. Решетников, О.Ю. Тятюшкина // Системный Анализ в науке и образовании. – 2019. – № 4. – URL: http://sanse.ru/download/277 (дата обращения: 11.11.2019).
  40. Нестандартная логика научных базисов образовательных процессов в сквозных информационных технологиях и когнитивных вычислениях. Ч. 1: проблема Бэкона, аналитика больших данных и теория интеллектуальных моделей познания физических процессов. – Текст: электронный / Н.Г. Багдасарьян // Системный Анализ в науке и образовании. – 2019. – № 1. – URL: http://sanse.ru/download/338 (дата обращения: 11.11.2019).

Полный текст статьи (pdf)

Адрес редакции:  Россия, 194064, Санкт-Петербург, Тихорецкий пр., 21   Тел.: +7(812) 552-13-25 e-mail: zheleznyakov@rtc.ru 
 
 
vk2    tg2