Получение 3D моделей с помощью недорогих камер видимого и инфракрасного диапазонов на БПЛА

ВВЕДЕНИЕ

До сих пор для получения представления об изучаемой территории использовался такой метод, как фотограмметрия. Эта дисциплина имеет отношение в том числе к археологии, поскольку позволяет получить картографическую основу, на которой запечатлен археологический объект [1]. Эволюция фотограмметрии в последние годы была замечательной как в инструментальном и методологическом отношении, так и с точки зрения получаемого конечного продукта. Если в 1950-х годах этот метод позволял получать с помощью аэрофотоснимков точные стереограммы и, следовательно, классическую аналоговую картографическую продукцию, то в течение следующих 50 лет были внедрены картографирование в цифровом формате и работа с цифровыми моделями рельефа (ЦМР). Одно из применений ЦМР сосредоточено в области археологии, где можно оценить земляные работы, размеры раскопок, интуитивно определить направление, в котором простирается конкретный археологический объект, в зависимости от возвышений и понижений местности и т. д.

Появление беспилотных летательных аппаратов (БПЛА, дронов) в начале ХХ века привело к расширению фотограмметрической технологии [2] – в основном за счет упрощения используемых методов и аппаратуры, но прежде всего за счет резкого сокращения затрат [3, 4]. На дрон можно установить датчик практически любого типа – от самых мощных мультиспектральных камер [5] до самых простых и дешевых сенсоров, имеющихся на рынке [6]. Именно возможность использования недорогой аппаратуры и позволила расширить эту технологию.

Первыми из применяемых приборов на БПЛА в этом отношении были камеры, чувствительные к излучениям видимого диапазона (камеры RGB – Red, Green, Blue). Высота полета дронов и возможность получения  изображений с большими перекрытиями устранили необходимость в метрических камерах, что значительно снизило стоимость сенсорной аппаратуры. Кроме того, в последнее время стали использоваться недорогие гибридные двойные камеры, способные вести съемку как в видимом, так и в инфракрасном (тепловом) диапазоне.

Представленная работа сосредоточена на анализе планирования и получения трехмерных моделей с помощью одновременного использования двух таких типов съемки для решения археологических задач. Несмотря на доступную стоимость, двойная съемка указанного типа и обработка полученных материалов требуют определенного методологического подхода, что оправдывает необходимость данного исследования.

Археологическим памятником, выбранным для проверки предложенного метода, является Хулиобрига (рис. 1) – остатки древнеримского города на юге провинции Кантабрия в Испании. Хотя точная дата основания этого города неизвестна, общепринятым считается 15 год до н. э. Процесс его строительства завершился в I веке н. э., а населен он был до середины III века н. э. [7].

Рис. 1. Аэрофотоснимок изучаемой территории

ИНСТРУМЕНТЫ И МЕТОДЫ

Инструменты

В настоящее время существует множество датчиков с широким спектром возможностей, которые можно свести к следующим основным категориям: метрические, RGB (видимого диапазона), тепловизионные и гиперспектральные камеры. Стоимость метрических камер обычно высока, тогда как квазиметрические камеры обычно недороги. Недавно производители начали выпускать двойные камеры, состоящие из неметрического датчика видимого диапазона и термодатчика (инфракрасного). Эти камеры двойного назначения доступны по цене, но планирование полета для их работы должно быть более тщательным, поскольку они не являются метрическими.

После тщательного изучения имеющихся на рынке БПЛА был выбран квадрокоптер китайского производства DJI Mayic Enterprise Dual (рис. 2). Это компактный дрон, который позволяет измерять значения температуры на исследуемой территории, а также сохранять данные, полученные от RGB и инфракрасного датчиков, для эффективной обработки материалов, анализа и составления отчетов. Этот БПЛА был разработан для профессионального использования и оснащен двумя мощными камерами – тепловизионной и видимого диапазона. Это делает его универсальным инструментом для обследований, обеспечения безопасности, спасательных операций и т. д. Данный аппарат легкий и имеет уменьшенные размеры, что обеспечивает среднюю автономность полета и надежную сенсорную технологию. Он может быль стабильным и точным в полете даже в относительно неблагоприятных погодных условиях при скорости ветра до 50 км/ч.

Рис. 2. Дрон DJI Mayic Enterprise Dual

Камера RGB, встроенная в дрон Mavic Enterprise Dual, представляет собой камеру видимого диапазона M2ED китайского производства, дающую изображения с разрешением 4K (около 4000 столбцов пикселей). Изображения, снятые M2ED, автоматически сохраняются одновременно с полученными с помощью микротепловизионного модуля FLIR Lepton^® производства США. (Технические характеристики указанных камер и дрона можно посмотреть в таблицах I–III первоисточника, ссылка на который приведена в конце его сокращенного перевода, или на сайтах производителей. – Ред.).

Фотограмметрическое планирование полета

После выбора камер полет дрона должен быть спланирован таким образом, чтобы гарантировать получение наиболее подходящей информации для решения задач [8], необходимых для моделирования местности. Ведь недорогие датчики, особенно температурные (обычно с более низкими характеристиками, чем у RGB [10]), требуют гораздо более тщательной отработки технологии работы с точки зрения высоты полета, перекрытий съемки, опорных точек на местности (для которых известны координаты – Ground Control Points, GCP) и т. д [9].

В связи с этим и с учетом технических характеристик датчиков удобно спроектировать фотограмметрический полет, адаптированный к потребностям сенсора с более плохими характеристиками (температурного). Для быстрого и легкого программирования полета в соответствии с характеристиками камер и нужными характеристиками будущей 3D модели может быть применен ряд программных пакетов, включающих опции с открытым исходным кодом [10]. Перед полетом должны быть предварительно выбраны и обозначены опорные точки на местности, подлежащей облету [11], для чего используются специальные сигналы для автоматического распознавания программным обеспечением.

Результаты планирования полета и распределения опорных точек показаны на рисунке 3. После фотограмметрического полета продукты, полученные с помощью гибридного двойного датчика, представляют собой аэрофотоснимки в видимом и инфракрасном диапазонах (рис. 4).

Рис. 3. Результаты планирования полета и выбора опорных точек

Рис. 4. Изображения, полученные с помощью различных датчиков: а – камеры видимого диапазона (RGB); б – тепловизионной камеры

Следующий шаг на основе полученных изображений осуществляется с использованием соответствующего оборудования и специального программного обеспечения. В этом исследовании применялась программа Metashape Agisof, разработанная в российской компании Agisoft LLC, хотя существует множество платформ, позволяющих обрабатывать такие данные.

РЕЗУЛЬТАТЫ

В результате обработки изображений получаются различные побочные продукты. В зависимости от их назначения они могут быть очень полезны при моделировании участка местности.

Сначала получают все побочные продукты, связанные с камерой видимого диапазона, такие как облако точек, каркасная сетка, сплошная сеть триангуляции местности, текстурированная модель, затененная модель и, наконец, ортофотоснимок (цифровое изображение местности, привязанное к системе координат этой местности, масштабу и единицам измерения) (рис. 5–10).

Рис. 5. Облако точек, полученное с помощью камеры видимого диапазона (RGB)

Рис. 6. Каркасная сетка, полученная с помощью камеры видимого диапазона (RGB)

Рис. 7. Сплошная сеть триангуляции местности, полученная с помощью камеры видимого диапазона (RGB)

Рис. 8. Текстурированная модель, полученная с помощью камеры видимого диапазона (RGB)

Рис. 9. Затененная текстурированная модель, полученная с помощью камеры видимого диапазона (RGB)

Рис. 10. Ортофотоснимок

Затем получают все выходные данные, относящиеся к термодатчику. Среди относящихся к ним побочных продуктов – облака точек, каркасная сетка, сплошная сеть триангуляции местности, текстурированная модель и затененная модель (рис. 11–15).

Рис. 11. Облако точек, полученное с помощью тепловизионной камеры

Рис. 12. Каркасная сетка, полученная с помощью тепловизионной камеры

Рис. 13. Сплошная сеть триангуляции местности, полученная с помощью тепловизионной камеры

Рис. 14. Затененная модель, полученная с помощью тепловизионной камеры

Рис. 15. Текстурированная модель, полученная с помощью тепловизионной камеры

Разумеется, количество полученных результатов подтверждает потенциал этого метода, который еще совсем недавно был немыслим, а теперь может быть использован с минимальными усилиями.

ОБСУЖДЕНИЕ

После выполненной работы, которая была сосредоточена на методологическом анализе внедрения в археологические исследования информации, полученной с помощью недорогих датчиков, работающих в инфракрасном спектре, предлагается несколько возможных интерпретаций результатов.

1. Выбор датчика является одним из наиболее важных решений, когда речь идет о получении приемлемых результатов. В настоящее время производители недорогих сенсоров предлагают две возможности. Первый вариант – это использование камеры видимого диапазона (RGB) и тепловизионной камеры. Второй вариант – применение гибридного двойного устройства, включающего оба таких датчика. Второй вариант значительно ограничивает количество доступных устройств. Однако он позволяет избежать второго полета БПЛА и гарантирует, что вся соответствующая двойная информация будет собрана за один полет.

2. Данное исследование не было направлено на нахождение параметров, определяющих планирование полета. Полеты использованного типа, предназначенные для получения более или менее обычных результатов с точки зрения точности, не требуют специальных инструментов для их планирования. Они могут быть разработаны с применением обычных критериев для таких параметров, как размер пикселя на местности (GSD – Ground Sample Distance), высота полета, величина перекрытий съемки, опорные точки и т. д. В настоящее время для такого планирования существует широкий выбор программного обеспечения с закрытым или открытым исходным кодом. Однако для правильного планирования полета необходимо выбрать технические характеристики наиболее ограниченного по ним датчика.

3. Также необходимо выбрать программное обеспечение, которое будет использоваться. Этот выбор могут обусловливать различные факторы. В процессе принятия решений учитываются такие аспекты, как стоимость и имеет ли программное обеспечение открытый или с закрытый исходный код, учитывая что результаты работы в этих программах (облака точек, каркасные сетки, текстурированные модели, ортофотоснимки и пр.) более или менее схожи.

Все эти вопросы и необходимые меры предосторожности поддаются усовершенствованию и призваны помочь будущим исследованиям, направленным на сопоставление моделей, полученных в видимом и инфракрасном диапазонах с помощью недорогих датчиков, установленных на БПЛА.

ВЫВОДЫ

Проанализировав полученные результаты применения предложенной технологии исследований, можно сделать следующие выводы.

1. Хотя планирование полета не требует специальных инструментов, в случае использования прикрепленного к дрону рассмотренного гибридного двойного сенсорного устройства технические характеристики камеры видимого диапазона обычно значительно лучше, чем у термодатчика. Это необходимо учитывать при планировании полета, чтобы он соответствовал наиболее ограниченному диапазону технических характеристик, которые обычно относятся к датчику инфракрасного диапазона. В остальном планирование может быть разработано по обычным критериям, таким как размер пикселя на местности (GSD), высота полета, величина перекрытий съемки, опорные точки и т. д.

2. С учетом результатов, предоставленных программным обеспечением, имеется соответствие между моделями, сгенерированными на основе данных, полученных с помощью датчика видимого диапазона, и моделями, полученными с помощью термодатчика. Использование камер видимого диапазона в настоящее время более распространено и позволяет получать очень достоверные цифровые модели рельефа. Тепловизионные камеры используются менее широко, но могут предоставить термическую информацию о материалах, образующих земную кору, и, следовательно, внести свой вклад как в исследования и контроль состояния археологически объектов, так и в другие важные сферы инженерных изысканий и прочих наук.

3. Первоначально термический характер археологического объекта не будет достаточно характерным или дифференцирующим, но адекватное сочетание его изучения с анализом ЦМР и материалов, которые имеются на рассматриваемом участке, может дать положительные результаты. Исследования с помощью тепловизионных камер направлены на получение дополнительной информации для поддержки тех или иных выводов, причем с очень низкими и вполне допустимыми затратами.

ИСТОЧНИК ДЛЯ ПЕРЕВОДА

De Luis-Ruiz J.M., Sedano-Cibrian J., Perez-Alvarez R., Pereda-Garcia R., Pina-Garcia F. Generation of 3D models obtained with low-cost RGB and thermal sensors mounted on drones // International Journal of Geological and Environmental Engineering. World Academy of Science, Engineering and Technology, 2022. Vol. 16. № 1. URL: publications.waset.org/10012384/generation-of-3d-models-obtained-with-low-cost-rgb-and-thermal-sensors-mounted-on-drones.

СПИСОК ЛИТЕРАТУРЫ, ИСПОЛЬЗОВАННОЙ АВТОРАМИ ПЕРЕВЕДЕННОЙ СТАТЬИ

1. Tscharf A., Rumpler M., Fraundorfer F., Mayer G., Bischof H. On the use of UAVs in mining and archaeology-geo-accurate 3D reconstructions using various platforms and terrestrial views // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2015. Vol. 2. № 1W1. P. 15–22. URL: doi.org/10.5194/isprsannals-II-1-W1-15-2015.
2. Carrera-Hernandez J.J., Levresse G., Lacan P. Is UAV-SfM surveying ready to replace traditional surveying techniques? // International Journal of Remote Sensing. 2020. Vol. 41. № 12. P. 4818–4835. URL: doi.org/10.1080/01431161.2020.1727049.
3. Hill A.C. Economical drone mapping for archaeology: comparisons of efficiency and accuracy // Journal of Archaeological Science: Reports. 2019. Vol. 24 (April 2017). P. 80–91. URL: doi.org/10.1016/j.jasrep.2018.12.011.
4. Nex F., Remondino F. UAV for 3D mapping applications: a review // Applied Geomatics. 2014. Vol. 6. № 1. P. 1–15. URL: doi.org/10.1007/s12518-013-0120-x.
5. Raimundo J., Medina S.L.C., Prieto J.F., de Mata J.A. Super resolution infrared thermal imaging using pansharpening algorithms: quantitative assessment and application to UAV thermal imaging // Sensors (Switzerland). 2021. Vol. 21. № 4. P. 1–18. URL: doi.org/10.3390/s2104126.
6. Colomina I., Molina P. Unmanned aerial systems for photogrammetry and remote sensing: a review // ISPRS Journal of Photogrammetry and Remote Sensing. 2014. Vol. 92. P. 79–97.
7. Fernandez-Vega P.A., Bolado del Castillo R., Callejo-Gomez J., Mantecon-Callejo L. Un termino augustal del ager Iuliobrigensium // Archivo Espanol de Arquelogia. 2012. Vol. 85. P. 267–271.
8. Mesas-Carrascosa F.J., Garcia M.D.N., de Larriva J.E.M., Garcнa-Ferrer A. An analysis of the influence of flight parameters in the generation of unmanned aerial vehicle (UAV) orthomosaicks to survey archaeological areas // Sensors (Switzerland). 2016. Vol. 1. № 1. URL: doi.org/10.3390/s16111838.
9. De Luis-Ruiz J.M., Sedano-Cibrian J., Pereda-Garcia R., Perez-Alvarez R., Malagon-Picon B. Optimization of photogrammetric flights with UAVs for the metric virtualization of archaeological sites. Application to Juliobriga (Cantabria, Spain) // Applied Sciences. 2021. Vol. 11. № 3. P. 1204. DOI: 10.3390/app1103120.
10. Casana J., Wiewel A., Cool A., Hill A.C., Fisher K.D., Laugier E.J. Archaeological aerial thermography in theory and practice // Advances in Archaeological Practice. 2017. Vol. 5. № 4. P. 310–327. URL: doi.org/10.1017/aap.2017.23.
11. Blistan P., Kovaniс L., Patera M., Hurcik T. Evaluation quality parameters of DEM generated with low-cost UAV photogrammetry and structure-from-motion (SfM) approach for topographic surveying of small areas // Acta Montanistica Slovaca. 2019. Vol. 24. № 3. P. 198–212. URL: semanticscholar.org/paper/Evaluation-quality-parameters-of-DEM-generated-with-Bli%C5%A1%C5%A5an-Kovani/d0b394b5d8bdd113f2335f15dfaf9fb7b9a4c3c6.