В Южной Корее разработали адаптивную систему 3D-реконструкции динамических сцен

Исследователи Пусанского национального университета разработали два подхода к реконструкции динамических 3D-сцен на основе Mixture-of-Experts. Системы объединяют несколько специализированных моделей движения вместо использования одной универсальной схемы, передает Informed Infrastrcuture

Разработка основана на Dynamic Gaussian Splatting — методах представления трехмерных сцен с движущимися объектами. Авторы исходили из того, что разные модели движения показывают неодинаковую точность в зависимости от характера сцены и типа деформаций.

Первый подход, MoE-GS, обучает несколько динамических Gaussian-моделей независимо, после чего система маршрутизации адаптивно объединяет их результаты для конкретных участков сцены и моментов времени.

Вторая система, MoDE, использует несколько экспертов по деформации в рамках единой Gaussian-модели и совместной оптимизации. Такой подход позволяет выбирать наиболее подходящее представление движения без переключения между полностью независимыми моделями.

По данным исследователей, сочетание нескольких специализированных экспертов повысило качество реконструкции сложных сцен с разными типами движения по сравнению с использованием одной динамической модели.

Авторы рассматривают возможное применение метода в робототехнике, цифровых двойниках, автономных системах и пространственных вычислениях. Работа «On the Design of Mixture-of-Experts for Dynamic Gaussian Splatting» опубликована в журнале IEEE Transactions on Pattern Analysis and Machine Intelligence.