Способы управления двурукой антропоморфной манипуляционной системой с использованием технологий виртуальной реальности

Способы управления двурукой антропоморфной манипуляционной системой с использованием технологий виртуальной реальности

Видимина Юлия Олеговна
Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (ЦНИИ РТК), инженер-электроник, 194064, Санкт-Петербург,
Тихорецкий пр., д. 21, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Фиков Михаил Геннадьевич
ЦНИИ РТК, программист, 194064, Санкт-Петербург, Тихорецкий пр., д. 21, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Варлашин Виктор Витальевич
ЦНИИ РТК, начальник лаборатории, 194064, Санкт-Петербург, Тихорецкий пр., д. 21, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.

Попов Дмитрий Сергеевич
ЦНИИ РТК, заместитель главного конструктора, 194064, Санкт-Петербург, Тихорецкий пр., д. 21, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0003-4575-9195

Материал поступил в редакцию 19 октября 2023 года.

Аннотация
Рассматриваются способы управления двурукой антропоморфной манипуляционной системой с использованием технологий виртуальной реальности для решения задач в пространствах малого объема с учетом факторов, снижающих эффективность управления. Описываются подходы к созданию пользовательского интерфейса и способы управления с учетом временных задержек, вероятности столкновений и самопересечений, рассогласования действий оператора и манипуляционной системы. Выявлены перспективные направления решения данных проблем. Предложена концепция способа управления двурукой антропоморфной манипуляционной системой на основе интуитивного пользовательского интерфейса с предиктивной системой визуальной обратной связи и поддержкой в виде вибрационной обратной связи.

Ключевые слова
Двурукая антропоморфная манипуляционная система, технологии виртуальной реальности, обратная связь, цифровой двойник.

Благодарности
Результаты получены в рамках выполнения государственного задания Минобрнауки России 2023 года FNRG-2022-0012 1021051302301-9-2.2.2 №075-01595-23-04 «Разработка коллаборативного робота с ассистирующей двурукой антропоморфной манипуляционной системой для работы в пространствах малого объема».

DOI
10.31776/RTCJ.12305

Индекс УДК 
004.896:007.52

Библиографическое описание
Способы управления двурукой антропоморфной манипуляционной системой с использованием технологий виртуальной реальности / Ю.О. Видимина [и др.] // Робототехника и техническая кибернетика. – Т. 12. - № 3. – Санкт-Петербург : ЦНИИ РТК. – 2024. – С. 202-211. – Текст : непосредственный.

Литература

  1. Купцов Е.А. Полуавтоматическая система управления двуруким манипуляционным роботом / Е.А. Купцов // Инженерный журнал: наука и инновации. – 2012. – №. 6 (6). – С. 31. – Текст: непосредственный.
  2. Сычков В.Б. Метод оценки эффективности копирующего управления манипуляторами антропоморфного робота // Системы управления, связи и безопасности. – 2019. – №. 3. – С. 179-201. – DOI: 10.24411/2410-9916-2019-10309. – Текст: электронный.
  3. Галин Р.Р. Взаимодействие человека и робота в эргатической робототехнической системе / Р.Р. Галин // XIII Всероссийское совещание по проблемам управления ВСПУ-2019. – 2019. – С. 1197-1201. – Текст: непосредственный.
  4. Naceri A. Towards a virtual reality interface for remote robotic teleoperation // 2019 19th International Conference on Advanced Robotics (ICAR). IEEE, 2019. – Pp. 284-289. – DOI: 10.1109/ICAR46387.2019.8981649. – Text: electronic.
  5. Wonsick M. A systematic review of virtual reality interfaces for controlling and interacting with robots / Wonsick M., Padir T. // Applied Sciences. – 2020. – Т. 10. – №. 24. – P. 9051. – Text: electronic.
  6. Immersive and interactive cyber-physical system: A Dissertation In Partial Fulfillment of the Requirements for the degree of doctor of philosophy School of Mechanical Engineering / Huitaek Yun; Purdue University Graduate School, West Lafayette, Indiana 2021. – URL: https://hammer.purdue.edu/articles/thesis/Immersive_and_interactive_cyber-physical_system/15016110/1 (дата обращения: 07.12.2023). – Text: electronic.
  7. Human-machine collaboration in virtual reality for adaptive production engineering / De Giorgio A. [et al.] // Procedia manufacturing. – 2017. – Т. 11. – Pp. 1279-1287. – Text: unmediated.
  8. Ostanin M. Interactive robots control using mixed // IFAC-papersonline. – 2019. – Т. 52. – №. 13. – Pp. 695-700. – DOI: 1016/j.ifacol.2019.11.307. – Text: electronic.
  9. TÄHEMAA T. Digital twin based synchronised control and simulation of the industrial robotic cell using virtual reality // Journal of Machine Engineering. – 2019. – Т. 19. – №. 1. – Pp. 128-144. – DOI: 10.5604/01.3001.0013.0464. – Text: electronic.
  10. Ostanin M. Interactive robot programing using mixed reality // IFAC-papersonline. – 2018. – Т. 51. – №. 22. – Pp. 50-55. – DOI: 1016/j.ifacol.2018.11.517. – Text: electronic.
  11. Sobhani M. Robot teleoperation through virtual reality interfaces: Comparing effects of fixed and moving cameras // Vam-Hri. – 2020. – Т. 2657. – Pp. 1-9. – Text: unmediated.
  12. Chen Y. Real-time 3D unstructured environment reconstruction utilizing VR and Kinect-based immersive teleoperation for agricultural field robots // Computers and Electronics in Agriculture. – 2020. – Т. 175. – P. 105579. – DOI: 10.1016/j.compag.2020.105579. – Text: electronic.
  13. Zhou T. Intuitive robot teleoperation for civil engineering operations with virtual reality and deep learning scene reconstruction // Advanced Engineering Informatics. – 2020. – Т. 46. – P. 101170. – DOI: 10.1016/j.aei.2020.101170. – Text: electronic.
  14. Патент № 2718240 Российская Федерация, МПК B25J 9/16(2006.01), G06F 3/00(2006.01) Способ управления роботом с помощью контроллеров и шлема виртуальной реальности: № 2019128514: заявл. 2019.09.11: опубл. 2020.03.31 / А.Л. Ганюшкин, И.А. Зуев. – 6 с.: ил. – Текст: непосредственный.
  15. Кулаков Ф.М. Телеуправление космическими роботами // Известия Российской академии наук. Теория и системы управления. – 2016. – №. 4. – С. 141-192. – Текст: непосредственный.
  16. Cash H. Improving the visual comfort of virtual reality telepresence for robotics // Social Robotics: 11th International Conference, ICSR 2019, Madrid, Spain, November 26–29, 2019, Proceedings 11. Springer International Publishing, 2019. – Pp. 697-706. – Text: unmediated.
  17. Кугуракова B.В. Удаленное управление роботизированным устройством с использованием технологий виртуальной реальности // Программные продукты и системы. – 2022. – Т. 35. – №. – C. 348-361. – Текст: непосредственный.
  18. Kheddar A. Enhanced teleoperation through virtual reality techniques // Advances in telerobotics. – 2007. – Pp. 139-159. – DOI: https://doi.org/10.1007/978-3-540-71364-7_10. – Text: electronic.
  19. Старостин А.Г. Система удаленного присутствия с использованием шлема виртуальной реальности // ГРАФИКОН'2016. – 2016. – С. 383-387. – Текст: непосредственный.
  20. Дудоров Е.А. Разработка алгоритмов управления движением робота с учетом временной задержки // Перспективные системы и задачи управления. – 2021. – С. 265-270. – Текст: непосредственный.
  21. Mostefa M. Design of mobile robot teleoperation system based on virtual reality // 2015 3rd International Conference on Control, Engineering & Information Technology (CEIT). IEEE, 2015. – Pp. 1-6. – DOI: 10.1109/CEIT.2015.7233180. – Text: electronic.
  22. Leeper A. Methods for collision-free arm teleoperation in clutter using constraints from 3d sensor data // 2013 13th IEEE-RAS International Conference on Humanoid Robots (Humanoids). IEEE, 2013. – Pp. 520-527. – DOI: 10.1109/HUMANOIDS.2013.7030023. – Text: electronic.
  23. Coffey M. Collaborative Teleoperation with Haptic Feedback for Collision-Free Navigation of Ground Robots // 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2022. – Pp. 8141-8148. – DOI: 10.1109/IROS47612.2022.9981426. – Text: electronic.
  24. Paiusco A. Bimanual robotic manipulation based on potential fields: Master Thesis in Computer Engineering / Alberto Paiusco; University of Padova. – 77 p. – 2023. – Text: unmediated.
  25. Szczurek K.A. Mixed reality human–robot interface with adaptive communications congestion control for the teleoperation of mobile redundant manipulators in hazardous environments // IEEE Access. – 2022. – Т. 10. – Pp. 87182-87216. – DOI: 10.1109/ACCESS.2022.3198984. – Text: electronic.
  26. Zhang D. Variable-scaling rate control for collision-free teleoperation of an unmanned aerial vehicle // Cornell University: [site]. – DOI:10.48550/arXiv.1911.04466. – Text: electronic.
  27. Воробьев Е.И. Двурукие роботы. Особенности построения алгоритмов управления движением // Автоматизация. Современные технологии. – 2016. – №. 3. – С. 19-23. – Текст: непосредственный.
  28. De Barros P.G. Performance effects of multi-sensory displays in virtual teleoperation environments // Proceedings of the 1st symposium on spatial user interaction. – 2013. – Pp. 41-48. – DOI: 10.1145/2491367.2491371. – Text: electronic.
  29. Yashin G.A. Aerovr: Virtual reality-based teleoperation with tactile feedback for aerial manipulation // 2019 19th International Conference on Advanced Robotics (ICAR). IEEE, 2019. – Pp. 767-772. – DOI: 10.1109/ICAR46387.2019.8981574. – Text: electronic.
  30. Pacchierotti C. Cutaneous haptic feedback to ensure the stability of robotic teleoperation systems // The International Journal of Robotics Research. – 2015. – Т. 34. – №. 14. – Pp. 1773-1787. – DOI: 10.1177/0278364915603135. – Text: electronic.
  31. Omarali B. Workspace scaling and rate mode control for virtual reality based robot teleoperation // 2021 IEEE International Conference on Systems, Man, and Cybernetics (SMC). IEEE, 2021. – Pp. 607-612. – DOI: 10.1109/SMC52423.2021.9658796. – Text: electronic.
  32. Florent A.P. TELESIM: A Modular and Plug-and-Play Framework for Robotic Arm Teleoperation using a Digital Twin // Cornell University: [site]. – https://arxiv.org/abs/2309.10579. – Text: electronic.
  33. Фиков М.Г. Исследование характеристик системы предотвращения столкновений манипуляторов / М.Г. Фиков, В.В. Варлашин // Робототехника и техническая кибернетика. – Т. 10. – № 4. – Санкт-Петербург: ЦНИИ РТК. – 2022. – С. 287-292. – Текст: непосредственный.