Сравнение сжатых векторных представлений матриц с помощью сегментной спайковой модели нейрона (CSNM)

Сравнение сжатых векторных представлений матриц с помощью сегментной спайковой модели нейрона (CSNM)

Фомин Иван Сергеевич
Центральный научно-исследовательский и опытно-конструкторский институт робототехники и технической кибернетики (ЦНИИ РТК), м.н.с., 194064, Санкт-Петербург, Тихорецкий пр., д. 21, Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра., ORCID: 0000-0001-9066-4836

Материал поступил в редакцию 13 сентября 2024 года.

Аннотация
В настоящей работе рассматривается задача сравнения сжатых векторных представлений матриц, где в одном случае некоторые параметры близости матриц известны, некоторые система должна определить в процессе настройки и обучения; в другом нужно сопоставить новую неизвестную часть группы с известной изначально. Сжатие выполняется с помощью сиамской сверточной нейронной сети, подготовленной специальным образом. Для сравнения точек в пространстве векторных представлений предлагается применить сегментную спайковую модель нейрона (CSNM), хорошо показавшую себя в других схожих задачах. Для преобразования точки в спайковое представление, пригодное для классификации сегментным спайковым нейроном используются несложные математические операции. Также представлен вариант сиамской сверточной сети на базе известной архитектуры ResNet-18 и набор экспериментов с ее использованием. Показан способ ускорения обучения за счет подбора сложных обучающих примеров. Приведенные результаты демонстрируют применимость предлагаемых подходов к решению поставленной задачи сравнения векторных представлений. Предложенный метод показывает качество около 92-95% точности при решении задачи сравнения для первой задачи, и около 70% при решении задачи сопоставления оставшейся части с известной. Подход может в частности представлять интерес для гражданского применения – сопоставление пассажиров транспорта, учет доступа и видеонаблюдение в системах охраны тепловых и атомных станций, распознавание посетителей автоматических магазинов и т.п., если в матричной форме будет представлена некая информация об объекте.

Ключевые слова
Преобразование матриц; сопоставление векторов; сегментная спайковая модель нейрона; сиамская нейронная сеть; сверточная нейронная сеть; распознавание объектов; классификация объектов.

Благодарности
Результаты получены в рамках выполнения государственного задания Минобрнауки России №075-00697-24-00 от 27.12.2023 «Исследование методов создания самообучающихся систем видеонаблюдения и видеоаналитики на базе комплексирования технологий пространственно-временной фильтрации видеопотока и нейронных сетей» (FNRG 2022 0015 1021060307687-9-1.2.1).

EDN
JHTACG

Индекс УДК 
004.896

Библиографическое описание
Сравнение сжатых векторных представлений матриц с помощью сегментной спайковой модели нейрона (CSNM) / И.С. Фомин // Робототехника и техническая кибернетика. – Т. 13. - № 1. – Санкт-Петербург : ЦНИИ РТК. – 2025. – С. 33-40. – Текст : непосредственный.

Литература

  1. Корсаков А.М. Применение сегментной спайковой модели нейрона со структурной адаптацией для решения задач классификации / А.М. Корсаков, Л.А. Астапова, А.В. Бахшиев // Информатика И Автоматизация. – 2022. – Т. 21. – N 3. – C. 493-520. – Текст: непосредственный.
  2. Deep Learning in Video Multi-Object Tracking: A Survey / Ciaparrone G. [et al.] // Neurocomputing. – 2020. – Т. 381. – Deep Learning in Video Multi-Object Tracking. – Pp. 61-88. – Text: unmediated.
  3. Multiple Object Tracking: A Literature Review / Luo W. [et al.] // Artificial Intelligence. – 2021. – Т. 293. – Multiple Object Tracking. – P. 103448. – Text: unmediated.
  4. Fully-Convolutional Siamese Networks for Object Tracking / L. Bertinetto [et al.] // Computer Vision – ECCV 2016 Workshops: Lecture Notes in Computer Science / eds. G. Hua, H. Jégou. – Cham: Springer International Publishing, 2016. – Pp. 850-865. – Text: unmediated.
  5. Kim M. Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking / Kim M., Alletto S., Rigazio L. – arXiv:1609.09156 [cs]. – 2017.
  6. Joint Learning of Convolutional Neural Networks and Temporally Constrained Metrics for Tracklet Association / B. Wang [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. – 2016. – Pp. 1-8. – Text: unmediated.
  7. Tracking Persons-of-Interest via Adaptive Discriminative Features / S. Zhang [et al.] // Computer Vision – ECCV 2016: Lecture Notes in Computer Science / eds. B. Leibe [et al.] – Cham: Springer International Publishing, 2016. – Pp. 415-433. – Text: unmediated.
  8. Multi-Object Tracking With Quadruplet Convolutional Neural Networks / J. Son [et al.] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2017. – Pp. 5620-5629. – Text: unmediated.
  9. Online Multi-Object Tracking with Dual Matching Attention Networks / J. Zhu [et al.] // Proceedings of the European Conference on Computer Vision (ECCV). – 2018. – Pp. 366-382. – Text: unmediated.
  10. Hermans A. In Defense of the Triplet Loss for Person Re-Identification / Hermans A., Beyer L., Leibe B. – arXiv:1703.07737 [cs]. – 2017.
  11. Zhou H. Deep Continuous Conditional Random Fields With Asymmetric Inter-Object Constraints for Online Multi-Object Tracking / Zhou H. [et al.] // IEEE Transactions on Circuits and Systems for Video Technology. – 2019. – Т. 29. – N 4. – Pp. 1011-1022. – Text: unmediated.
  12. Real-Time Multiple People Tracking with Deeply Learned Candidate Selection and Person Re-Identification / Chen L. [et al.] // 2018 IEEE International Conference on Multimedia and Expo (ICME). – 2018. – Pp. 1-6. – Text: unmediated.
  13. R-FCN: Object Detection via Region-based Fully Convolutional Networks / J. Dai [et al.] // Advances in Neural Information Processing Systems. – Curran Associates, Inc., 2016. – Т. 29. – R-FCN.
  14. Bakhshiev A. CSNM: The Compartmental Spiking Neuron Model for Developing Neuromorphic Information Processing Systems / A. Bakhshiev, A. Demcheva, L. Stankevich // Advances in Neural Computation, Machine Learning, and Cognitive Research V : Studies in Computational Intelligence / eds. B. Kryzhanovsky [et al]. – Cham: Springer International Publishing, 2022. – CSNM. – Pp. 327-333. – Text: unmediated.
  15. Motchallenge 2015: Towards a benchmark for multi-target tracking / Leal-Taixé L. [et al.]. – arXiv preprint arXiv: 1504.01942. – 2015.
  16. Bakhshiev A. Mathematical Model of the Impulses Transformation Processes in Natural Neurons for Biologically Inspired Control Systems Development / A. Bakhshiev, F. Gundelakh // CEUR Workshop Proceedings. – 2015. – Т. 1452. – P. 1. – Text: unmediated.
  17. Triplet Loss with PyTorch // Kaggle.com: [site]. – URL: https://kaggle.com/code/hirotaka0122/triplet-loss-with-pytorch (дата обращения: 30.08.2023). – Text: electronic.
  18. Deep Residual Learning for Image Recognition / He K. [et al.] // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). – 2016. – Pp. 770-778. – Text: unmediated.
  19. Bucher M. Hard negative mining for metric learning based zero-shot classification / Bucher M., Herbin S., Jurie F. // Computer Vision–ECCV 2016 Workshops: Amsterdam, The Netherlands, October 8-10 and 15-16, 2016, Proceedings, Part III 14. – Springer International Publishing, 2016. – Pp. 524-531. – Text: unmediated.