Разработка технического облика человеко-машинного интерфейса для группового управления беспилотными роботами при выполнении сельскохозяйственных задач

Мотиенко Анна Игоревна
к.т.н., Федеральное государственное бюджетное учреждение науки «Санкт-Петербургский Федеральный исследовательский центр Российской академии наук» (СПб ФИЦ РАН), лаборатория технологий больших данных социокиберфизических систем, с.н.с., 199178, Санкт-Петербург, 14-я линия В.О., д. 39, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0002-0315-9485

Ватаманюк Ирина Валерьевна
СПб ФИЦ РАН, лаборатория автономных робототехнических систем, м.н.с., 199178, Санкт-Петербург, 14-я линия В.О., д. 39, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0001-5388-8152

Савельев Антон Игоревич
к.т.н., СПб ФИЦ РАН, лаборатория автономных робототехнических систем, руководитель лаборатории, 199178, Санкт-Петербург, 14-я линия В.О., д. 39, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0003-1851-2699

Материал поступил в редакцию 08 сентября 2021 года.

Аннотация

Одним из перспективных направлений использования робототехнических комплексов (РТК) является групповое управление роботами. В статье рассматриваются средства обеспечения взаимодействия оператора с автономными РТК для мониторинга и удаленного управления – человеко-машинный интерфейс (ЧМИ) РТК. В работе проведен анализ зарубежных и отечественных публикаций с описанием существующих подходов и приоритетных направлений к построению ЧМИ различных типов РТК – наземных и воздушных, а также современных коммерческих решений в этой области. Проведенный анализ позволяет сделать выводы о том, что наиболее востребованным и удобным типом человеко-машинного интерфейса для рассматриваемых типов РТК на сегодняшний день является цифровое приложение с графическим интерфейсом. Для реализации сложных сценариев человеко-машинного взаимодействия применяются комбинации из нескольких способов, таких как: цифровое приложение с графическим интерфейсом, средства виртуальной реальности, распознавание жестов, голосовые команды. По результатам анализа разработан технический облик человеко-машинного интерфейса групповых беспилотных роботов, обеспечивающий оперативную постановку решаемой прикладной задачи и последующий контроль ее исполнения со стороны оператора. Предлагаемое решение является интуитивно понятным, а также обладает возможностью гибкой настройки, что обеспечивает пользователю более высокую скорость обработки информации.

Ключевые слова
Групповая робототехника, человеко-машинный интерфейс (ЧМИ), групповое управление роботами, архитектура ЧМИ, робототехнический комплекс (РТК).

DOI
10.31776/RTCJ.9407

Индекс УДК 
004.5

Библиографическое описание
Смоляков И.Ю. Гибридная реализация нейроморфной системы управления роботами / И.Ю. Смоляков, Л.А. Станкевич // Робототехника и техническая кибернетика. – Т. 9. - №4. – Санкт-Петербург : ЦНИИ РТК. – 2021. – С. 299-311. – Текст : непосредственный.

Литература

1. Перспективные направления применения робототехники в бизнесе. — digital.gov.ru : [сайт]. — URL: https://digital.gov.ru/uploaded/presentations/20200325idoklad.pdf (дата обращения: 12.11.2021). Текст : электронный.
2. Городецкий В. И. Модель и архитектура инфраструктуры системы группового управления роботами / В. И. Городецкий, О. Л. Бухвалов // Робототехника и техническая кибернетика. — 2017. — № 1. — С. 33-44. — Текст : непосредственный.
3. Ju C. A distributed swarm control for an agricultural multiple unmanned aerial vehicle system / C. Ju, H. I. Son // Proceedings of the Institution of Mechanical Engineers, Part I: Journal of Systems and Control Engineering. — 2019. — Vol. 233. — № 10. — pp. 1298-1308. — Text : unmediated.
4. DroneGraffiti: Autonomous Multi-UAV Spray Painting / A. Uryasheva, M. Kulbeda, N. Rodichenko, D. Tsetserukou // ACM SIGGRAPH 2019 Studio. — 2019. — Pp. 1-2. — Text : unmediated.
5. Analyzing and improving multi-robot missions by using process mining / J. R. Juan, A. O. Miguel, D. C. Jaime, A. Barrientos // Autonomous Robots. — 2018. — Vol. 42. — № 6. — pp. 1187–1205. — Text : unmediated.
6. Multi-robot interfaces and operator situational awareness: Study of the impact of immersion and prediction / J. J. Roldán, E. Peña-Tapia, A. Martín-Barrio [et al] // Sensors. — 2017. — Vol. 17. — № 8. — P. 1720. — Text : unmediated.
7. Itkin M. Development of cloud-based UAV monitoring and management system / M. Itkin, M. Kim, Y. Park // Sensors. — 2016. — Vol. 16. — № 11. — P. 1913. — Text : unmediated.
8. Auterion Enterprise PX4. // http://auterion.com : [сайт]. — URL: https://auterion.com/drone-manufacturers/enterprise-px4 (accessed: 22.11.2021). — Text : electronic.
9. Visionair - GCS Software. // http://uavnavigation.com : [сайт]. — URL: https://www.uavnavigation.com/products/ground-control-station/visionair-gcs-software (accessed: 22.11.2021). — Text : electronic.
10. Sabatini R. Human-Machine Interfaces and Interactions for Multi UAS Operations / R. Sabatini, Y. Lim, A. Gardi // Proceedings of the 31th Congress of the International Council of the Aeronautical Sciences (ICAS 2018), Belo Horizonte, Brazil. — 2018. — pp. 9–14. — Text : unmediated.
11. Friedrich M. A Novel Human Machine Interface to Support Supervision and Guidance of Multiple Highly Automated Unmanned Aircraft / M. Friedrich, J. Lieb // 2019 IEEE/AIAA 38th Digital Avionics Systems Conference (DASC). — IEEE, 2019. — P. 1–7. — Text : unmediated.
12. Ilbeygi M. A New Single-Display Intelligent Adaptive Interface for Controlling a Group of UAVs / M. Ilbeygi, M. R. Kangavari // Journal of AI and Data Mining. — 2019. — Vol. 7. — № 2. — pp. 341–353. — Text : unmediated.
13. ПО для управления БВС. / http://supercam.aero // URL: https://supercam.aero/catalog/po-dlya-upravleniya-bvs (accessed: 22.11.2021). — Text : electronic.
14. A Human-System Interface with Contingency Planning for Collaborative Operations of Unmanned Aerial Vehicles / J. B. Mueller, Miller Ch, U. Kuter [et al] // AIAA 2017-1296. Session: Human Automation Interaction. — 2017. — https://doi.org/10.2514/6.2017-1296 — (accessed: 22.11.2021). — Text : electronic.
15. Bringing Adaptive and Immersive Interfaces to Real-World Multi-Robot Scenarios: Application to Surveillance and Intervention in Infrastructures / J. J. Roldán, E. Peña-Tapia, P. Garcia-Aunon [et al] // IEEE Access, Vol. 7. — IEEE, 2019. — pp. 86319 - 86335. — Text : unmediated.
16. Gromov B. Wearable multi-modal interface for human multi-robot interaction / B. Gromov, L. M. Gambardella, G. A. Di Caro // 2016 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). — IEEE, 2016. — pp. 240–245. — Text : unmediated.
17. Patel J. Mixed-granularity human-swarm interaction / J. Patel, Y. Xu, C. Pinciroli // 2019 International Conference on Robotics and Automation (ICRA). — IEEE, 2019. — pp. 1059–1065. — Text : unmediated.
18. MiR Robot Interface Reference guide // http://mobile-industrial-robots.com : [site]. — URL: https://www.mobile-industrial-robots.com/media/2806/mir-robot-interface-20-reference-guide-v13-en.pdf (accessed: 22.11.2021). — Text : electronic.
19. Сергеев, С. Ф. Проектирование интерфейсов / С. Ф. Сергеев. — ООО «Издательство ВВМ», 2020. — 132 c. — Текст : непосредственный.
20. Chaikalis D. Adaptive Control Approaches for an Unmanned Aerial Manipulation System / D. Chaikalis, F. Khorrami, A. Tzes // 2020 International Conference on Unmanned Aircraft Systems (ICUAS). — IEEE, 2020. — pp. 498–503. — Text : unmediated.
21. Tzafestas S. G. Supervisory and Distributed Control in Automation / S. G. Tzafestas // Human and Nature Minding Automation. — Springer, Dordrecht, 2010. — pp. 83—108. — Text : unmediated.
22. Zhang P. Human-machine interfaces // P. Zhang // Advanced Mchine Interface: Elsevier Science &Technology. — 2010. — pp. 527-55. — Text : unmediated.
23. Motlagh F. Y. Adaptive Human-Machine-Interface of Automation Systems / F. Y. Motlagh, P. Göhner // Doctoral Conference on Computing, Electrical and Industrial Systems. — Springer, Berlin, Heidelberg, 2014. — pp. 175–182. — Text : unmediated.
24. Шугаев А. Актуальные тенденции в развитии средств человеко-машинного интерфейса в производственной сфере / А. Шугаев. // http://controlengrussia.com : [сайт]. — URL: https://controlengrussia.com/cheloveko-mashinny-j-interfejs-hmi/magelis-gtu/ (дата обращения: 15.11.2021). — Текст : электронный.

Полный текст статьи (pdf)