Учëные НИЯУ МИФИ нашли способ извлечь шум из изображений: точность выросла десятикратно

Каждый, кто снимает на смартфон или профессиональную камеру, сталкивался с присутствием на фото шумов — зернистостью и различными искажениями, особенно при съёмке в сумерках или при плохом освещении. Физики из Национального исследовательского ядерного университета МИФИ совершили прорыв: они разработали метод, который позволяет оценить уровень шумов камеры всего по одному снимку. Исследование опубликовано в престижном международном журнале IEEE Access (Q1).

Проблема присутствия шумов на изображениях стара как мир. При фотосъёмке цифровые камерами множество факторов являются источниками шума: неравномерность освещения, нагрев матрицы, различие в чувствительности пикселей, технологические дефекты при изготовлении камер и др. Производители камер редко указывают реальные шумовые характеристики своих устройств, а существующие стандарты измерения (например, EMVA 1288) требуют съёмки десятков специальных сцен и занимают массу времени.

Группа ученых из лаборатории фотоники и оптической обработки информации Института лазерных и плазменных технологий МИФИ предложила элегантное решение оценки шумовых характеристик цифровых камер. Вместо длительного процесса съёмок на лабораторных установках их метод использует инновационную математическую обработку одного-единственного кадра. Разработанный метод позволяет оценить не только величину полного шума, но и значения каждого вида шума по отдельности. Традиционно шумы делятся на четыре типа: световые временные и пространственные и темновые, тоже временные и пространственные шумы. Световые шумы появляются в процессе съёмки и зависят от количества попавшего на матрицу света, темновые присутствует даже при отсутствии освещения. Пространственные шумы неизменны во времени и связаны с различиями в чувствительности пикселей, а временные меняются от кадра к кадру.

Суть новинки — в сегментации изображения и многоступенчатой аппроксимации. Учёные разделяют снимок на участки с различной яркостью и однородностью, что позволяет приблизительно определить, насколько значителен шум в отдельных пикселах изображения. Затем к полученным данным применяется процедура взвешенного усреднения, которая отсеивает случайные флуктуации сигнала и позволяет получить существенно более точный результат.

Проведённые оптические эксперименты с использованием камер разных типов (включая популярную беззеркальную камеру Canon EOS M100) подтвердили эффективность подхода. Если существовавшие однокадровые методы давали значительную погрешность при определении шумовых характеристик, то новая разработка позволила повысить точность анализа шумов в единицы и даже десятки раз!

Особенно важно, что метод впервые позволяет корректно оценить параметр PRNU (Photo Response Non-Uniformity) — разницу в чувствительности пикселей — по одному снимку. Ранее это было возможно только по результатам съёмки длительной серии однородных изображений.

Новая технология радикально ускоряет процесс. Вместо съемки сотен кадров и многочасовой обработки результат можно получить за считанные минуты. Это открывает широчайшие перспективы: от быстрой настройки камер для научных экспериментов до улучшения алгоритмов шумоподавления в смартфонах и системах видеонаблюдения. Например, зная точные шумовые характеристики, нейросети смогут эффективнее корректировать изображения, разделяя шумовые компоненты и отдельные детали объектов на снимке.

«Качество работы камер часто страдает от шума пикселей фотосенсора. При этом сфера применения цифровых камер постоянно расширяется. И для повышения как скорости регистрации информации, так и её качества и даже количества всё важнее становится точность сведений о шумах сенсоров», — отмечают авторы работы.

Разработка ученых НИЯУ МИФИ — это шаг к созданию «идеальной» цифровой фотографии, где техника будет понимать свои собственные недостатки и компенсировать их на программном уровне, даря нам по-настоящему чистые и чёткие снимки в любых условиях.

Работа была выполнена при поддержке гранта Российского научного фонда
№ 24-19-00898, руководитель гранта — д.ф.-м.н., в.н.с. Владислав Родин.