Оборудование и технологии

Получение 3D моделей с помощью недорогих камер видимого и инфракрасного диапазонов на БПЛА

Авторы
ДЕ ЛУИС-РУИС ХУЛИО-МАНУЭЛЬ (DE LUIS-RUIZ JULIO-MANUEL)Факультет горного дела и энергетики Университета Кантабрии, провинция Кантабрия, Испания
СЕДАНО-СИБРИАН ХАВЬЕР (SEDANO-CIBRIAN JAVIER)Факультет горного дела и энергетики Университета Кантабрии, провинция Кантабрия, Испания
ПЕРЕС-АЛЬВАРЕС РУБЕН (PEREZ-ALVAREZ RUBEN)Факультет горного дела и энергетики Университета Кантабрии, провинция Кантабрия, Испания
ПЕРЕДА-ГАРСИЯ РАУЛЬ (PEREDA-GARCIA RAUL)Факультет горного дела и энергетики Университета Кантабрии, провинция Кантабрия, Испания
ПИНЬЯ-ГАРСИЯ ФЕЛИПЕ (PINA-GARCIA FELIPE)Факультет горного дела и энергетики Университета Кантабрии, провинция Кантабрия, Испания

Предлагаем вниманию читателей немного сокращенный адаптированный перевод статьи «Получение 3D моделей с помощью недорогих камер видимого и инфракрасного диапазонов, установленных на БПЛА», опубликованной в International Journal of Geological and Environmental Engineering («Международном журнале по инженерной геологии и инженерной защите окружающей среды») известным издательством академических журналов с открытым доступом World Academy of Science, Engineering and Technology («Всемирной академией наук, инженерии и технологий») по лицензии Creative Commom Attribution» 4.0 International (CC BY 4.0). Эта лицензия позволяет копировать и распространять материал на любом носителе и в любом формате, адаптировать, видоизменять и использовать в любых целях, включая коммерческие, при указании ссылки на первоисточник. В нашем случае ссылка приведена в конце перевода. Авторами указанной статьи являются Хулио-Мануэль де Луис-Руис, Хавьер Седано-Сибриан, Рубен Перес-Альварес, Рауль Переда-Гарсия и Фелипе Пинья-Гарсия, являющиеся представителями факультета горного дела и энергетики Университета Кантабрии (Испания).

В настоящее время для проведения разведки и/или исследований археологических памятников принято прибегать к аэрофотосъемке. В последние годы в качестве транспортных средств, несущих датчики, применяются беспилотные летательные аппараты (БПЛА, дроны). Это имеет определенные преимущества, такие как возможность использования достаточно дешевых датчиков, поскольку БПЛА могут летать на относительно небольших высотах. В последнее время стали применяться недорогие комбинированные системы из двух типов камер. Такое новое оборудование при исследовании археологических памятников может взаимодействовать с классическими цифровыми моделями рельефа (ЦМР), но это влечет за собой необходимость оптимизации технологии сбора, обработки и использования информации, предоставляемой двойными сенсорами.

Представленное исследование позволяет утверждать, что термическая природа исследуемого участка не дает о нем основных данных, но в сочетании с другими видами информации, такими как ЦМР, типология материалов и т. д., она может давать результаты, очень нужные для достижения целей исследования той или иной территории.

 

ВВЕДЕНИЕ

 

До сих пор для получения представления об изучаемой территории использовался такой метод, как фотограмметрия. Эта дисциплина имеет отношение в том числе к археологии, поскольку позволяет получить картографическую основу, на которой запечатлен археологический объект [1]. Эволюция фотограмметрии в последние годы была замечательной как в инструментальном и методологическом отношении, так и с точки зрения получаемого конечного продукта. Если в 1950-х годах этот метод позволял получать с помощью аэрофотоснимков точные стереограммы и, следовательно, классическую аналоговую картографическую продукцию, то в течение следующих 50 лет были внедрены картографирование в цифровом формате и работа с цифровыми моделями рельефа (ЦМР). Одно из применений ЦМР сосредоточено в области археологии, где можно оценить земляные работы, размеры раскопок, интуитивно определить направление, в котором простирается конкретный археологический объект, в зависимости от возвышений и понижений местности и т. д.

Появление беспилотных летательных аппаратов (БПЛА, дронов) в начале ХХ века привело к расширению фотограмметрической технологии [2] – в основном за счет упрощения используемых методов и аппаратуры, но прежде всего за счет резкого сокращения затрат [3, 4]. На дрон можно установить датчик практически любого типа – от самых мощных мультиспектральных камер [5] до самых простых и дешевых сенсоров, имеющихся на рынке [6]. Именно возможность использования недорогой аппаратуры и позволила расширить эту технологию.

Первыми из применяемых приборов на БПЛА в этом отношении были камеры, чувствительные к излучениям видимого диапазона (камеры RGB – Red, Green, Blue). Высота полета дронов и возможность получения  изображений с большими перекрытиями устранили необходимость в метрических камерах, что значительно снизило стоимость сенсорной аппаратуры. Кроме того, в последнее время стали использоваться недорогие гибридные двойные камеры, способные вести съемку как в видимом, так и в инфракрасном (тепловом) диапазоне.

Представленная работа сосредоточена на анализе планирования и получения трехмерных моделей с помощью одновременного использования двух таких типов съемки для решения археологических задач. Несмотря на доступную стоимость, двойная съемка указанного типа и обработка полученных материалов требуют определенного методологического подхода, что оправдывает необходимость данного исследования.

Археологическим памятником, выбранным для проверки предложенного метода, является Хулиобрига (рис. 1) – остатки древнеримского города на юге провинции Кантабрия в Испании. Хотя точная дата основания этого города неизвестна, общепринятым считается 15 год до н. э. Процесс его строительства завершился в I веке н. э., а населен он был до середины III века н. э. [7].

 

Рис. 1. Аэрофотоснимок изучаемой территории
Рис. 1. Аэрофотоснимок изучаемой территории

 

ИНСТРУМЕНТЫ И МЕТОДЫ

 

Инструменты

 

В настоящее время существует множество датчиков с широким спектром возможностей, которые можно свести к следующим основным категориям: метрические, RGB (видимого диапазона), тепловизионные и гиперспектральные камеры. Стоимость метрических камер обычно высока, тогда как квазиметрические камеры обычно недороги. Недавно производители начали выпускать двойные камеры, состоящие из неметрического датчика видимого диапазона и термодатчика (инфракрасного). Эти камеры двойного назначения доступны по цене, но планирование полета для их работы должно быть более тщательным, поскольку они не являются метрическими.

После тщательного изучения имеющихся на рынке БПЛА был выбран квадрокоптер китайского производства DJI Mayic Enterprise Dual (рис. 2). Это компактный дрон, который позволяет измерять значения температуры на исследуемой территории, а также сохранять данные, полученные от RGB и инфракрасного датчиков, для эффективной обработки материалов, анализа и составления отчетов. Этот БПЛА был разработан для профессионального использования и оснащен двумя мощными камерами – тепловизионной и видимого диапазона. Это делает его универсальным инструментом для обследований, обеспечения безопасности, спасательных операций и т. д. Данный аппарат легкий и имеет уменьшенные размеры, что обеспечивает среднюю автономность полета и надежную сенсорную технологию. Он может быль стабильным и точным в полете даже в относительно неблагоприятных погодных условиях при скорости ветра до 50 км/ч.

 

Рис. 2. Дрон DJI Mayic Enterprise Dual
Рис. 2. Дрон DJI Mayic Enterprise Dual

 

Камера RGB, встроенная в дрон Mavic Enterprise Dual, представляет собой камеру видимого диапазона M2ED китайского производства, дающую изображения с разрешением 4K (около 4000 столбцов пикселей). Изображения, снятые M2ED, автоматически сохраняются одновременно с полученными с помощью микротепловизионного модуля FLIR Lepton® производства США. (Технические характеристики указанных камер и дрона можно посмотреть в таблицах I–III первоисточника, ссылка на который приведена в конце его сокращенного перевода, или на сайтах производителей. – Ред.).

 

Фотограмметрическое планирование полета

 

После выбора камер полет дрона должен быть спланирован таким образом, чтобы гарантировать получение наиболее подходящей информации для решения задач [8], необходимых для моделирования местности. Ведь недорогие датчики, особенно температурные (обычно с более низкими характеристиками, чем у RGB [10]), требуют гораздо более тщательной отработки технологии работы с точки зрения высоты полета, перекрытий съемки, опорных точек на местности (для которых известны координаты – Ground Control Points, GCP) и т. д [9].

В связи с этим и с учетом технических характеристик датчиков удобно спроектировать фотограмметрический полет, адаптированный к потребностям сенсора с более плохими характеристиками (температурного). Для быстрого и легкого программирования полета в соответствии с характеристиками камер и нужными характеристиками будущей 3D модели может быть применен ряд программных пакетов, включающих опции с открытым исходным кодом [10]. Перед полетом должны быть предварительно выбраны и обозначены опорные точки на местности, подлежащей облету [11], для чего используются специальные сигналы для автоматического распознавания программным обеспечением.

Результаты планирования полета и распределения опорных точек показаны на рисунке 3. После фотограмметрического полета продукты, полученные с помощью гибридного двойного датчика, представляют собой аэрофотоснимки в видимом и инфракрасном диапазонах (рис. 4).

 

Рис. 3. Результаты планирования полета и выбора опорных точек
Рис. 3. Результаты планирования полета и выбора опорных точек

 

Рис. 4. Изображения, полученные с помощью различных датчиков: а – камеры видимого диапазона (RGB); б – тепловизионной камеры
Рис. 4. Изображения, полученные с помощью различных датчиков: а – камеры видимого диапазона (RGB); б – тепловизионной камеры

 

Следующий шаг на основе полученных изображений осуществляется с использованием соответствующего оборудования и специального программного обеспечения. В этом исследовании применялась программа Metashape Agisof, разработанная в российской компании Agisoft LLC, хотя существует множество платформ, позволяющих обрабатывать такие данные.

 

РЕЗУЛЬТАТЫ

 

В результате обработки изображений получаются различные побочные продукты. В зависимости от их назначения они могут быть очень полезны при моделировании участка местности.

Сначала получают все побочные продукты, связанные с камерой видимого диапазона, такие как облако точек, каркасная сетка, сплошная сеть триангуляции местности, текстурированная модель, затененная модель и, наконец, ортофотоснимок (цифровое изображение местности, привязанное к системе координат этой местности, масштабу и единицам измерения) (рис. 5–10).

 

Рис. 5. Облако точек, полученное с помощью камеры видимого диапазона (RGB)
Рис. 5. Облако точек, полученное с помощью камеры видимого диапазона (RGB)

 

Рис. 6. Каркасная сетка, полученная с помощью камеры видимого диапазона (RGB)
Рис. 6. Каркасная сетка, полученная с помощью камеры видимого диапазона (RGB)

 

Рис. 7. Сплошная сеть триангуляции местности, полученная с помощью камеры видимого диапазона (RGB)
Рис. 7. Сплошная сеть триангуляции местности, полученная с помощью камеры видимого диапазона (RGB)

 

Рис. 8. Текстурированная модель, полученная с помощью камеры видимого диапазона (RGB)
Рис. 8. Текстурированная модель, полученная с помощью камеры видимого диапазона (RGB)

 

Рис. 9. Затененная текстурированная модель, полученная с помощью камеры видимого диапазона (RGB)
Рис. 9. Затененная текстурированная модель, полученная с помощью камеры видимого диапазона (RGB)

 

Рис. 10. Ортофотоснимок
Рис. 10. Ортофотоснимок

 

Затем получают все выходные данные, относящиеся к термодатчику. Среди относящихся к ним побочных продуктов – облака точек, каркасная сетка, сплошная сеть триангуляции местности, текстурированная модель и затененная модель (рис. 11–15).

 

Рис. 11. Облако точек, полученное с помощью тепловизионной камеры
Рис. 11. Облако точек, полученное с помощью тепловизионной камеры

 

Рис. 12. Каркасная сетка, полученная с помощью тепловизионной камеры
Рис. 12. Каркасная сетка, полученная с помощью тепловизионной камеры

 

Рис. 13. Сплошная сеть триангуляции местности, полученная с помощью тепловизионной камеры
Рис. 13. Сплошная сеть триангуляции местности, полученная с помощью тепловизионной камеры

 

Рис. 14. Затененная модель, полученная с помощью тепловизионной камеры
Рис. 14. Затененная модель, полученная с помощью тепловизионной камеры

 

Рис. 15. Текстурированная модель, полученная с помощью тепловизионной камеры
Рис. 15. Текстурированная модель, полученная с помощью тепловизионной камеры

 

Разумеется, количество полученных результатов подтверждает потенциал этого метода, который еще совсем недавно был немыслим, а теперь может быть использован с минимальными усилиями.

 

ОБСУЖДЕНИЕ

 

После выполненной работы, которая была сосредоточена на методологическом анализе внедрения в археологические исследования информации, полученной с помощью недорогих датчиков, работающих в инфракрасном спектре, предлагается несколько возможных интерпретаций результатов.

1. Выбор датчика является одним из наиболее важных решений, когда речь идет о получении приемлемых результатов. В настоящее время производители недорогих сенсоров предлагают две возможности. Первый вариант – это использование камеры видимого диапазона (RGB) и тепловизионной камеры. Второй вариант – применение гибридного двойного устройства, включающего оба таких датчика. Второй вариант значительно ограничивает количество доступных устройств. Однако он позволяет избежать второго полета БПЛА и гарантирует, что вся соответствующая двойная информация будет собрана за один полет.

2. Данное исследование не было направлено на нахождение параметров, определяющих планирование полета. Полеты использованного типа, предназначенные для получения более или менее обычных результатов с точки зрения точности, не требуют специальных инструментов для их планирования. Они могут быть разработаны с применением обычных критериев для таких параметров, как размер пикселя на местности (GSD – Ground Sample Distance), высота полета, величина перекрытий съемки, опорные точки и т. д. В настоящее время для такого планирования существует широкий выбор программного обеспечения с закрытым или открытым исходным кодом. Однако для правильного планирования полета необходимо выбрать технические характеристики наиболее ограниченного по ним датчика.

3. Также необходимо выбрать программное обеспечение, которое будет использоваться. Этот выбор могут обусловливать различные факторы. В процессе принятия решений учитываются такие аспекты, как стоимость и имеет ли программное обеспечение открытый или с закрытый исходный код, учитывая что результаты работы в этих программах (облака точек, каркасные сетки, текстурированные модели, ортофотоснимки и пр.) более или менее схожи.

Все эти вопросы и необходимые меры предосторожности поддаются усовершенствованию и призваны помочь будущим исследованиям, направленным на сопоставление моделей, полученных в видимом и инфракрасном диапазонах с помощью недорогих датчиков, установленных на БПЛА.

 

ВЫВОДЫ

 

Проанализировав полученные результаты применения предложенной технологии исследований, можно сделать следующие выводы.

1. Хотя планирование полета не требует специальных инструментов, в случае использования прикрепленного к дрону рассмотренного гибридного двойного сенсорного устройства технические характеристики камеры видимого диапазона обычно значительно лучше, чем у термодатчика. Это необходимо учитывать при планировании полета, чтобы он соответствовал наиболее ограниченному диапазону технических характеристик, которые обычно относятся к датчику инфракрасного диапазона. В остальном планирование может быть разработано по обычным критериям, таким как размер пикселя на местности (GSD), высота полета, величина перекрытий съемки, опорные точки и т. д.

2. С учетом результатов, предоставленных программным обеспечением, имеется соответствие между моделями, сгенерированными на основе данных, полученных с помощью датчика видимого диапазона, и моделями, полученными с помощью термодатчика. Использование камер видимого диапазона в настоящее время более распространено и позволяет получать очень достоверные цифровые модели рельефа. Тепловизионные камеры используются менее широко, но могут предоставить термическую информацию о материалах, образующих земную кору, и, следовательно, внести свой вклад как в исследования и контроль состояния археологически объектов, так и в другие важные сферы инженерных изысканий и прочих наук.

3. Первоначально термический характер археологического объекта не будет достаточно характерным или дифференцирующим, но адекватное сочетание его изучения с анализом ЦМР и материалов, которые имеются на рассматриваемом участке, может дать положительные результаты. Исследования с помощью тепловизионных камер направлены на получение дополнительной информации для поддержки тех или иных выводов, причем с очень низкими и вполне допустимыми затратами.


ИСТОЧНИК ДЛЯ ПЕРЕВОДА

De Luis-Ruiz J.M., Sedano-Cibrian J., Perez-Alvarez R., Pereda-Garcia R., Pina-Garcia F. Generation of 3D models obtained with low-cost RGB and thermal sensors mounted on drones // International Journal of Geological and Environmental Engineering. World Academy of Science, Engineering and Technology, 2022. Vol. 16. № 1. URL: publications.waset.org/10012384/generation-of-3d-models-obtained-with-low-cost-rgb-and-thermal-sensors-mounted-on-drones.

 

СПИСОК ЛИТЕРАТУРЫ, ИСПОЛЬЗОВАННОЙ АВТОРАМИ ПЕРЕВЕДЕННОЙ СТАТЬИ

  1. Tscharf A., Rumpler M., Fraundorfer F., Mayer G., Bischof H. On the use of UAVs in mining and archaeology-geo-accurate 3D reconstructions using various platforms and terrestrial views // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2015. Vol. 2. № 1W1. P. 15–22. URL: doi.org/10.5194/isprsannals-II-1-W1-15-2015.
  2. Carrera-Hernandez J.J., Levresse G., Lacan P. Is UAV-SfM surveying ready to replace traditional surveying techniques? // International Journal of Remote Sensing. 2020. Vol. 41. № 12. P. 4818–4835. URL: doi.org/10.1080/01431161.2020.1727049.
  3. Hill A.C. Economical drone mapping for archaeology: comparisons of efficiency and accuracy // Journal of Archaeological Science: Reports. 2019. Vol. 24 (April 2017). P. 80–91. URL: doi.org/10.1016/j.jasrep.2018.12.011.
  4. Nex F., Remondino F. UAV for 3D mapping applications: a review // Applied Geomatics. 2014. Vol. 6. № 1. P. 1–15. URL: doi.org/10.1007/s12518-013-0120-x.
  5. Raimundo J., Medina S.L.C., Prieto J.F., de Mata J.A. Super resolution infrared thermal imaging using pansharpening algorithms: quantitative assessment and application to UAV thermal imaging // Sensors (Switzerland). 2021. Vol. 21. № 4. P. 1–18. URL: doi.org/10.3390/s2104126.
  6. Colomina I., Molina P. Unmanned aerial systems for photogrammetry and remote sensing: a review // ISPRS Journal of Photogrammetry and Remote Sensing. 2014. Vol. 92. P. 79–97.
  7. Fernandez-Vega P.A., Bolado del Castillo R., Callejo-Gomez J., Mantecon-Callejo L. Un termino augustal del ager Iuliobrigensium // Archivo Espanol de Arquelogia. 2012. Vol. 85. P. 267–271.
  8. Mesas-Carrascosa F.J., Garcia M.D.N., de Larriva J.E.M., Garcнa-Ferrer A. An analysis of the influence of flight parameters in the generation of unmanned aerial vehicle (UAV) orthomosaicks to survey archaeological areas // Sensors (Switzerland). 2016. Vol. 1. № 1. URL: doi.org/10.3390/s16111838.
  9. De Luis-Ruiz J.M., Sedano-Cibrian J., Pereda-Garcia R., Perez-Alvarez R., Malagon-Picon B. Optimization of photogrammetric flights with UAVs for the metric virtualization of archaeological sites. Application to Juliobriga (Cantabria, Spain) // Applied Sciences. 2021. Vol. 11. № 3. P. 1204. DOI: 10.3390/app1103120.
  10. Casana J., Wiewel A., Cool A., Hill A.C., Fisher K.D., Laugier E.J. Archaeological aerial thermography in theory and practice // Advances in Archaeological Practice. 2017. Vol. 5. № 4. P. 310–327. URL: doi.org/10.1017/aap.2017.23.
  11. Blistan P., Kovaniс L., Patera M., Hurcik T. Evaluation quality parameters of DEM generated with low-cost UAV photogrammetry and structure-from-motion (SfM) approach for topographic surveying of small areas // Acta Montanistica Slovaca. 2019. Vol. 24. № 3. P. 198–212. URL: semanticscholar.org/paper/Evaluation-quality-parameters-of-DEM-generated-with-Bli%C5%A1%C5%A5an-Kovani/d0b394b5d8bdd113f2335f15dfaf9fb7b9a4c3c6.

 


Журнал остается бесплатным и продолжает развиваться.
Нам очень нужна поддержка читателей.

Поддержите нас один раз за год

Поддерживайте нас каждый месяц