Візуальна локалізація на основі зображень: методи, виклики та напрями розвитку (2019–2025)

Іван Ільницький; Петро Пукач

doi:10.15407/fmmit2025.41.005

Іван Ільницький
Петро Пукач

DOI: https://doi.org/10.15407/fmmit2025.41.005

Ключові слова: візуальна локалізація, локалізація на основі зображень, 6DoF позиція камери, гібридні методи, imageretrieval, локальні ознаки, регресія пози, нейронні радіальні поля, SLAM, глибоке навчання.

Анотація

У статті представлено огляд домену систем локалізації на основі зображень, присвячений ключовим методам, викликам і сучасним напрямам розвитку у період 2019–2025 років. Розглянуто класифікацію підходів до візуальної локалізації, включно з традиційними підходами на основі локальних ознак і 3D-структур, підходами на основі пошуку зображень (візуальне розпізнавання місцевості), а також новітніми методами глибокого навчання. Проаналізовано набори даних, основні виклики галузі та перспективні напрями подальших досліджень.

Посилання

Arandjelović, R., P. Gronat, A. Torii, T. Pajdla, and J. Sivic. 2016. "NetVLAD: CNN Architecture for Weakly Supervised Place Recognition." Proc. IEEE Conferenceon Computer Visionand Pattern Recognition (CVPR), 5297-307. https://arxiv.org/abs/1511.07247 https://doi.org/10.1109/CVPR.2016.572

Brachmann, E., A. Krull, S. Nowozin, etal. 2017. "DSAC - Differentiable RANSAC for Camera Localization." Proc. IEEE Conferenceon Computer Visionand Pattern Recognition (CVPR), 668-76. https://arxiv.org/abs/1611.05705 https://doi.org/10.1109/CVPR.2017.267

Brachmann, E., and C. Rother. 2019a. "Expert Sample Consensus Appliedto Camera Re-Localization." Proc. IEEE/CVF International Conferenceon Computer Vision (ICCV), 7525-34.https://arxiv.org/abs/1908.02484

Brachmann, E., and C. Rother. 2019b. "Neural-Guided RANSAC: Learning Whereto Sample Model Hypotheses." Proc. IEEE/CVF International Conferenceon Computer Vision (ICCV).https://arxiv.org/abs/1905.04132 https://doi.org/10.1109/ICCV.2019.00442

Chen, C., B. Wang, C. X. Lu, N. Trigoni, andA. Markham. 2024. "Deep Learning for Visual Localization and Mapping: A Survey." IEEE Transactionson Neural Networks and Learning Systems, aheadof print. https://arxiv.org/abs/2308.14039

Chen, Y. etal. 2022. Transformer Fusion: Point Cloud Guided Global Feature Fusionfor Image-Based Localization. https://arxiv.org/abs/2203.10722

DeTone, D., T. Malisiewicz, and A. Rabinovich. 2018. "SuperPoint: Self-Supervised Interest Point Detection and Description." Proc. IEEE/CVF Conferenceon Computer Visionand Pattern Recognition Workshops (CVPRW). https://arxiv.org/abs/1712.07629 https://doi.org/10.1109/CVPRW.2018.00060

Garg, S. etal. 2019. Semantic-geometric visual place recognition: a new perspective forrecon ciling opposing views geometric_visual_place_recognition_a_new_perspective_for_reconciling_opposing_views

https://doi.org/10.1177/0278364919839761

https://www.researchgate.net/publication/332280264_Semantic-

Kendall, A., M. Grimes, and R. Cipolla. 2015. "PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization." Proc. IEEE International Conferenceon Computer Vision (ICCV). https://arxiv.org/abs/1505.07427

https://doi.org/10.1109/ICCV.2015.336

Lin, Yen-Chenetal. 2021. iNeRF: Inverting Neural Radiance Fields for Pose Estimation. https://arxiv.org/abs/2012.05877 https://doi.org/10.1109/IROS51168.2021.9636708

Maddern, W., G. Pascoe, C. Linegar, and P. Newman. 2017. "1 Year, 1000 Km: The Oxford Robot Car Dataset." International Journal of Robotics Research (IJRR). https://ora.ox.ac.uk/objects/uuid%3Ac5266bad-e0f8-49f1-918e-1602ef935990

https://doi.org/10.1177/0278364916679498

Mapillary Research. 2021. Visual Place Recognition for Autonomous Driving. https://research.mapillary.com

Noh, H., A. Araujo, J. Sim, T. Weyand, and B. Han. 2017. "Large-Scale Image Retrieval with Attentive Deep Local Features." Proc. IEEE International Conferenceon Computer Vision (ICCV). https://arxiv.org/abs/1612.06321 https://doi.org/10.1109/ICCV.2017.374

Sarlin, P.-E., C. Cadena, R. Siegwart, and M. Dymczyk. 2019. "From Coarse to Fine: Robust Hierarchical Localizationat Large Scale." Proc. IEEE/CVF Conferenceon Computer Visionand Pattern Recognition (CVPR), 12716-25. https://arxiv.org/abs/1812.03506

Sarlin, P.-E., D. DeTone, T. Malisiewicz, and A. Rabinovich. 2020. "Super Glue: Learning Feature Matching with Graph Neural Networks." Proc. IEEE/CVF Conferenceon Computer Vision and Pattern Recognition (CVPR), 4937-46. https://arxiv.org/abs/1911.11763 https://doi.org/10.1109/CVPR42600.2020.00499