Когнитивное интеллектуальное управление. Часть I: Cистема оценки эмоций оператора с применением глубокого машинного обучения на основе мягких вычислений

Когнитивное интеллектуальное управление. Часть I: Cистема оценки эмоций оператора с применением глубокого машинного обучения на основе мягких вычислений

Ульянов Сергей Викторович
д.ф.-м.н., ГБОУ ВО МО «Университет «Дубна», Институт системного анализа и управления, профессор, 141980, Московская область, г. Дубна, Университетская ул., д. 19; OOO «Инновационные энергетические системы» (ООО ИНЭСИС (ГК ЭФКО)), 115035, Москва, Овчинниковская наб., д. 20, стр. 1, тел.: +7(49621)6-40-19, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Шевченко Андрей Владимирович
ГБОУ ВО МО «Университет «Дубна», Институт системного анализа и управления, аспирант, 141980, Московская область, г. Дубна, Университетская ул., д. 19; ООО ИНЭСИС (ГК ЭФКО), 115035, Москва, Овчинниковская наб., д. 20, стр. 1

Мамаева Алла Александровна
ГБОУ ВО МО «Университет «Дубна», Институт системного
анализа и управления, аспирант, 141980, Московская область, г. Дубна, Университетская ул., д. 19; ООО ИНЭСИС (ГК ЭФКО), 115035, Москва, Овчинниковская наб., д. 20, стр. 1, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Материал поступил в редакцию 13 января 2020 года.

Аннотация
Статья состоит из двух частей. В первой части обсуждаются возможности использования технологии интеллектуальных вычислений в виде глубокого машинного обучения. Программно-алгоритмическая поддержка машинного обучения осуществлена на основе оптимизатора баз знаний на мягких вычислениях, при помощи программного инструментария SCOptKB™. Оптимизатор баз знаний основан на трех генетических алгоритмах и реализует оптимальную структуру нечеткой нейронной сети и играет роль универсального аппроксиматора обучающего сигнала с требуемой точностью. Рассмотрено применение данного подхода в задачах когнитивного интеллектуального управления с применением когнитивного шлема в качестве нейроинтерфейса. Цель данной работы: экспериментально показать возможность классификации ментальных состояний человека-оператора, выявить объективные показатели психофизиологического состояния исследуемого лица с применением технологий интеллектуальных вычислений типа мягкие вычисления. Показана на примерах роль и необходимость применения интеллектуальных вычислений в задаче описания общего психофизиологического состояния человека-оператора. Разработанные информационные технологии рассмотрены на специальных (сложных в диагностической практике) примерах оценки эмоционального состояния детей с расстройствами аутического спектра. А также показана история создания баз знаний для интеллектуального робота сервисных услуг.

Ключевые слова
Нейроинтерфейс, интеллектуальные вычисления, интеллектуальная система управления, глубокое машинное обучение, эмоции, расстройства аутического спектра.

https://doi.org/10.31776/RTCJ.8307 

Индекс УДК 
004.89-047.58

Библиографическое описание
Ульянов С.В. Когнитивное интеллектуальное управление. Часть I: Cистема оценки эмоций оператора с применением глубокого машинного обучения на основе мягких вычислений / С.В. Ульянов, А.В. Шевченко, А.А. Мамаева // Робототехника и техническая кибернетика. – Т. 8. - №3. – Санкт-Петербург : ЦНИИ РТК. – 2020. – С. 217-232. – Текст : непосредственный.

Литература

  1. Информационно-семантические проблемы в процессах управления и организации / Б.Н. Петров [и др.]. – Москва: Наука. – 1977. – 452 с. – Текст: непосредственный.
  2. Ozer E. Structural reliability estimation with participatory sensing and mobile cyber-physical structural health monitoring systems / Ozer E. and Feng M. // Appl. Sci. 9. – 2019. – 2840 p. – Text: unmediated.
  3. Noor A. Potential of cognitive computing and cognitive systems // Open Eng. – № 5. – 2015. – Pp. 75-88. – Text: unmediated.
  4. Chie H. Deep Emotion: A Computational Model of Emotion Using Deep Neural Networks / Chie H., Takato H. and Takayuki N. // CoRR, 2018. – URL: http://arxiv.org/abs/1808.08447 (дата обращения: 18.03.2020). – Text: electronic.
  5. Розалиев В.Л. Построение математической модели эмоций: Интегрированные модели и мягкие вычисления в искусственном интеллекте // V международная науч.-практ. конференция «Интегрированные модели и мягкие вычисления в искусственном интеллекте»: сборник науч. трудов. В 2 т. – Москва: Физматлит. Коломна, 28-30 мая 2009 г. – Т. 2. – С. 950-957. – Текст: непосредственный.
  6. Bazgir O. Emotion recognition with machine learning using EEG signals / Bazgir O., Mohammadi Z. and Habibi S. // 25th National and 3rd International Iranian Conference on Biomedical Engineering (ICBME), 2018, pp. 1-5. – Text: unmediated.
  7. Xie H. An EEG-based brain computer interface for emotion recognition and its application in patients with disorder of consciousness / Xie H., Pan J. and Wen Z. // IEEE Transactions on Affective Computing, pp. 1-12. – Text: unmediated.
  8. Интеллектуальное робастное управление: технологии мягких вычислений / Ульянов С.В. [и др.]. – Москва: ВНИИгеосистем. – 2011. – 406 с. – Текст: непосредственный.
  9. Development of intelligent mobile robots for service use and mobile automation systems including wall climbing robots: Pt. 1. Fundamental design principes and motion models / S. Ulyanov [et al] // International Journal of Intelligent Mechatronics: Desing and Production, 1(3), 1997, pp. 111-143. – Text: unmediated.
  10. Intelligent control of a mobile robot for service use in office buildings and its soft computing algorithms / Takayuki T. [et al] // Journal of Robotics and Mechatronics, 1996, № 8, pp. 538-554. – Text: unmediated.
  11. Dawson G. Autism spectrum disorders / Dawson G. and Toth K. // Developmental psychopathology: Risk, disorder, and adaptation, 2006, pp. 317-357. – Text: unmediated.
  12. Robotic Animals Might Aid in the Social Development of Children with Autism / Stanton C. [et al] // 3rd ACM/IEEE International Conference on Human-Robot Interaction, 2008. – Text: unmediated.
  13. Could Interaction with Social Robots Facilitate Joint Attention of Children with Autism Spectrum Disorder? / Wei C. [et al] // Computers in Human Behavior, 2019, pp. 98. – Text: unmediated.
  14. Palestra G. Artificial Intelligence for Robot-Assisted Treatment of Autism / Palestra G., Carolis B.D., & Esposito F. // WAIAH@AI*IA, 2017. – Text: unmediated.
  15. Cho S.J. Socially Assistive Robotics in Autism Spectrum Disorder / Cho S.J. and Ahn D. // Hanyang Medical Reviews. – № 36, 2016, 17 p. – Text: unmediated.
  16. US Patent No 7,219,087B2, "Soft computing optimizer of intelligent control system structures" (Inventor: S.V. Ulyanov), Date of patent: May 15, 2007 [WO 2005/013019 A3, 2005].
  17. Personalized Machine Learning for Robot Perception of Affect and Engagement in Autism Therapy / Rudovic O. // Science. – № 3. – 2018. – Pp. 1-11. – Text: unmediated.
  18. Ульянов С.В. Программная реализация модуля обработки данных для когнитивно-интеллектуальной системы для детей-аутистов / С.В. Ульянов, А.А. Мамаева, А.В. Шевченко // XXV межд. конференции «МАТЕ-МАТИКА. КОМПЬЮТЕР. ОБРАЗОВАНИЕ»: сборник докладов. – Т. 25, 2018, 398 с. – ISBN 978-5-4344-0484-6. – Текст: непосредственный.
  19. Ульянов С.В. Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов / С.В. Ульянов, А.А. Мамаева, А.В. Шевченко // Системный анализ в науке и образовании: [эл. журнал]. – № 5. – 2016. – URL: http:/www.sanse.ru/archive/42 (дата обращения: 18.03.2020). – Текст: электронный.
  20. Ульянов С.В. Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов / С.В. Ульянов, А.А. Мамаева, А.В. Шевченко // Программные продукты и системы: [эл. журнал]. – URL: http://swsys-web.ru/cognitive-intellectual-system-for-diagnosis-and-education-of-autistic- children-2.html (дата обращения: 18.03.2020). – Текст: электронный.
  21. Гибридные когнитивные системы управления на примере управления транспортным средством / С.В. Ульянов [и др.] // Системный анализ в науке и образовании: [эл. журнал]. – 2016. – № 2. – URL: http:/www.sanse.ru/archive/40. – Текст: электронный.
  22. Николаев А.Р. Спектральные характеристики ЭЭГ на первом этапе решения различных простран-ственных задач // Психологический журнал. – 1994. – Т. 15, № 6. – С. 100-106. – Текст: непосредственный.
  23. Лапшина Т.Н. Психофизиологическая диагностика эмоций человека по показателям ЭЭГ // Межд. науч.-практ. конференция "Развитие научного наследия Бориса Михайловича Теплова в отечественной и мировой науке: сборник. – Москва: БФ «Твердислов». – 15-16 ноября 2006. – С. 160-165. – Текст: непосредственный.
  24. Loss of control and negative emotions: a cortical slow potential topography study / Fretska E. [et al] // International Journal of Psychophysiology. – 1999, № 33, pp. 127-141. – Text: unmediated.
  25. Ульянов С.В. Гибридные когнитивные нечеткие системы управления автономным роботом на основе нейроинтерфейса и технологии мягких вычислений / С.В. Ульянов, А.Г. Решетников, А.А. Мамаева // Программные продукты и системы / Software & Systems. – 2017. – Т. 30. – № 3. – С. 420-424. – Текст: непосред-ственный.
  26. Ulyanov S.V. Fuzzy intelligent emotion and instinct control of a robotic unicycle / S.V. Ulyanov, K. Yamafuji // In Proc. 4th Intern. Workshop on Advanced Motion Control (18-21 Mar.), 1996, Mie, Japan. – Vol. 1. – Pp. 127 - 132. – DOI:10.1109/AMC.1996.509392. – Text: unmediated.
  27. Ulyanov S.V. A new physical measure for mechanical controllability of a robotic unicycle on basis of intuition, instinct and emotion computing / S.V. Ulyanov, S. Watanabe, K. Yamafuji // In Proc. 2nd Intern. Conf. on Application of Fuzzy Systems and Soft Computing. June 25-27, 1996, Siegen, Germany. – Pp. 78-92. – Text: unmediated.
  28. Intelligent control of an extension-less robotic unicycle: A study of mechanical controllability via minimum entropy criteria / V.S. Ulyanov [et al] // Lecture Notes in Control and Information Sciences: Progress in System and Robot Analysis and Control Design. – 1999. – Vol. 243. – Pp. 559-570. – Text: unmediated.
  29. An application of a smart control suspension system for a passenger car based on soft computing / Hagiwara T. [et al] // Yamaha Motor Technical Report. – 2003.01.15. – Text: unmediated.
  30. EU PCT Patent WO 2004/012139 A2 (PCT/US2003/023727), «Intelligent mechatronic control suspension system based on quantum soft computing» (Inventor: S.V. Ulyanov), International publication Date: 5 February 2004 (US Patent US 2004/0024750 A1. Publ. Date: Feb. 5, 2004). – Text: unmediated.
  31. US Patent No 2006,0218 A1, «System for soft computing simulation» (Inventor: S.V. Ulyanov). Date of patent: Sept. 2006. – Text: unmediated.
  32. Quantum neural network-based EEG filtering for a brain-computer interface / Gandhi V. [et al] // IEEE Trans. on Neural Network and Learning Systems. – 2014. – Vol. 25. – No 2. – Pp. 278-288. – Text: unmediated.
  33. Stochastic analysis of time-variant nonlinear dynamic systems. Part 1: the Fokker-Planck-Kolmogorov equation approach in stochastic mechanics / Ulyanov S.V. [et al] // Prob. Engng. Mech. – 1998. – Vol. 13. – No 3. – Pp. 183-203. – Text: unmediated.
  34. Intelligent self-organized robust control design based on quantum / Soft computing technologies and Kansei engineering / S. Ulyanov // Computer Science Journal of Moldova. – 2013. – Vol. 21. – № 2(62). – Pp. 242 - 279. – Text: unmediated.
  35. Ulyanov S.V. Intelligent self-organized cognitive controllers. Pt. 1: Kansei / Affective engineering and quantum / soft computing technologies / S.V. Ulyanov, Yamafuji K. // System Analysis in Science and Education. – 2014. – No 4. – URL: available at: http:/www.sanse.ru/archive/48 (дата обращения: 18.03.2020). – Text: electronic.
  36. Machine learning and social robotics for detecting early Signs of dementia / Jonell P. [et al]. – URL: https://arxiv.org/pdf/1709.01613.pdf5 (дата обращения: 18.03.2020). – Text: electronic.
  37. Ulyanov S.V. Quantum fast algorithm computational intelligence Pt I: SW / HW smart toolkit // Artificial Intelli-gence Advances. – 2019. – Vol. 1. – No 1. – Pp. 18-43. – DOI: https://doi.org/10.30564/aia.v1i1.619 (дата обращения: 18.03.2020). – Text: electronic.

Полный текст статьи (pdf)

Адрес редакции:  Россия, 194064, Санкт-Петербург, Тихорецкий пр., 21   Тел.: +7(812) 552-13-25 e-mail: zheleznyakov@rtc.ru 
 
 
vk2    tg2