Записки ИИ-диссидента: какие опасности таит применение нейросетей в научной работе

Сервисы, основанные на математической модели, называемой «нейронной сетью», в последние несколько лет уверенно вошли в нашу жизнь: они используются в задачах прогнозирования, для распознавания образов, в задачах управления – то есть везде, где необходимо эффективно обрабатывать большие объемы данных. Нейросети уже давно встроены в поисковые системы, алгоритмы подбора развлекательного контента, генераторы забавных изображений и… текстов. И вот как раз об этой последней задаче хотелось бы поговорить подробнее.

«Подпоручик Киже»

Представьте себе следующую ситуацию. Вы приходите в библиотеку с целью получить вполне конкретное редкое издание, и обращаетесь к библиотекарю с соответствующим запросом. Но он не открывает ящичек картотеки, не ищет нужный стеллаж и полку, не лезет по стремянке наверх за столь необходимым Вам пыльным томом, нет. Вместо этого он достает из-под стола книгу с пустой обложкой и пустыми же страницами, прямо у Вас на глазах пишет на ней от руки нужное название, и гордо вручает Вам.

Сценариста этого дурного фантастического фильма следовало бы уволить, но именно в такой ситуации оказался автор этой статьи на прошлой неделе. На небезызвестном сайте научной электронной библиотеки elibrary.ru обнаружилось «непривязанное цитирование» - ссылка на якобы мою работу, которую мне полагается подтвердить, либо опровергнуть. Работа вот такая:

Мирный А.Ю. Основания и материалы земляных работ / А.Ю. Мирный. - Волгоград: ВолгГАСУ, 2015г. - 86с.

Естественно, я был заинтригован. Фамилия не самая распространенная, в сочетании с инициалами тем более, но у меня подобной работы не было, да и в ВолгГАСУ я никогда не издавался и не работал. При попытке выяснить, что это за публикация такая, поисковая система Google с готовностью предоставила «Обзор от ИИ» следующего содержания:

«Учебное пособие А.Ю. Мирного «Основания и материалы земляных работ», изданное в Волгограде (ВолгГАСУ) в 2015 году, вероятно, посвящено изучению физико-механических свойств грунтов, используемых в качестве оснований фундаментов и материалов для возведения земляных сооружений (насыпей, дамб). В работе рассматриваются вопросы классификации грунтов, их прочностные и деформационные характеристики.»

Далее же указано, что у А.Ю. Мирного имеется диссертация по этой теме, на основе которой, вероятно, подготовлено данное пособие. Действительно, диссертация у Мирного имеется, защищена в 2013 году. Только вот учебное пособие по ее материалам издавалось не в ВолгГАСУ, а в МГСУ, и совершенно под другим названием «Механические свойства грунтов с неоднородным гранулометрическим составом: методические указания для студентов и аспирантов», в 2014 году, в объеме 69 с.

Источником этой ссылки является публикация «Основные проблемы проведения геодезических работах на этапе строительства линий электропередач» (орфография авторская), опубликованная в журнале «Экономика строительства», №12 за 2025 год. Данный журнал – ярчайший пример ударного научного труда: в год выходит 12 номеров, в каждом порядке 200 статей. Страшно даже подумать, как тщательно там трудятся рецензенты.

Что делать в подобной ситуации? Особенно нечего. Писать авторам работы бесполезно – полагаю, они и сами знают, что при подготовке статьи пользовались «удобными сервисами». Так же бесполезно обращаться и в журнал, ведь уровень работы редакции понятен по количеству публикаций. Я написал в поддержку elibrary.ru, просто в качестве самоуспокоения, однако никакого ответа до сих пор не получил. Вероятно, их не беспокоит, что благодаря нерадивому редактору журнала и сомнительному с этической точки зрения поведению авторов статьи в их базе данных появилась несуществующая публикация.

Вывод же из этой истории следует такой: теперь при рецензировании научной работы от рецензента требуется не только рассмотреть статью по существу, но и проверить каждую позицию списка литературы на предмет ее… существования в природе!

«Figaro qua, Figaro la»

Другая забавная история произошла с одним из подписчиков нашего канала в Telegram - https://t.me/indepgeo, по собственному признанию, не геотехником. Он подбирал литературу по теме оценки влияния вибраций на памятники архитектуры, и с помощью нейросети обнаружил следующую публикацию:

Готман А.Л., Болдырев Г.Г., Каган А.И. Оценка допустимых уровней вибраций при строительстве вблизи объектов культурного наследия // Геотехника Москвы — 2019 : сборник докладов конференции / под ред. А.Л. Готмана, Г.Г. Болдырева. — М., 2019. — С. 89–94. 

Призываю читателя насладиться уровнем вымысла: формулировка названия идеальная, выбор авторов убедительный, и даже конференцию придумали! Правда, при более тщательном рассмотрении становится ясно, что ни Альфред Леонидович, ни Геннадий Григорьевич, как будто бы, ОКН не занимались. С другой стороны, все мы знаем о завидной работоспособности профессора Болдырева – об этом свидетельствуют его многочисленные прекрасные монографии. Воспользовавшись личным знакомством с Геннадием Григорьевичем, я уточнил у него, существует ли подобная статья и сборник трудов под его редакцией. Конечно же, нет.

Таким образом, не обладая специальными знаниями в нашей довольно узкой области, при поиске литературы можно потратить массу времени на «отбраковку» таких вот убедительных, но, к сожалению, не существующих источников. А если какой-нибудь не настолько внимательный и совестливый автор, как наш подписчик, не станет и проверять существование той или иной публикации – она автоматически рискует попасть в базы научного цитирования.

«Любить театр в себе, а не себя в театре»

Третья история на данную тему произошла с супругой автора, врачом-эндокринологом. Лечение тех или иных заболеваний регламентируется особыми документами – клиническими рекомендациями, в которых отражаются консенсусные на момент публикации методики и подходы. Аналогично привычным для нас сводам правил, эти документы так же периодически актуализируются профессиональным сообществом и дополняются результатами последних исследований. Естественно, документы эти довольно объемные и на прямое сравнение даже специалист затратит значительное время.

Моя супруга поставила нейросети задачу сопоставить между собой клинические рекомендации в актуальной и предыдущей редакциях, и с радостью обнаружила, что в новую редакцию «наконец-то включили» отдельные важные положения, которых в прошлой не было. Представьте себе ее удивление, когда в самом документе этого текста не нашлось!

Нейросетевые алгоритмы крайне чувствительны к запросу пользователя (это, кстати, и в прошлом примере хорошо видно), и очень сильно «стараются понравиться», написав именно то, и именно теми словами, которые использовал сам пользователь при составлении запроса. Известно, что сейчас уже появились специальные курсы, обучающие человека правильным образом составлять пресловутый «промпт» (prompt – «запрос»), позволяющий заставить нейросеть делать то, что нужно. Но, как известно, на любую хитрую гайку найдется болт с резьбой: по мере усложнения наших запросов, нейросеть будет учиться привирать все более изысканно. А учитывая, что в распоряжении нейросети огромная база «нужных слов», она может замаскировать свою ложь до такой степени, что выявить ее будет не так просто.

Анализ или синтез?

Автор ни в коем случае не претендует на экспертизу в данной области – но складывается ощущение, что технология применения нейросетей делится на две категории. Очевидно, есть «развлекательные» сервисы, доступные рядовому пользователю на бесплатной или платной основе, и предназначенные именно для синтеза информации: для генерации изображений, текстов и видео. А есть, видимо, и алгоритмы для исключительно профессионального использования для анализа данных, где любые фантазии не просто неуместны, но могут привести к катастрофическим последствиям. И для применения в научной работе пригодны только последние. Попытки же использовать доступные условно-бесплатные решения, не позволяющие настроить «градус выдумки», приводят к описанным выше курьезам. И если поначалу это выглядит даже забавно, то в перспективе приведет к двум тяжелейшим последствиям.

Во-первых, уже подрастает поколение молодых ученых (студентов старших курсов и аспирантов), которые теряют способность критически мыслить. Любой результат, особенно полученный с помощью сложного инструмента, должен проверяться – но если это требует времени, то в чем тогда смысл нейросетевых помощников? Ведь они созданы для упрощения работы человека! Однако для того, чтобы им слепо доверять, нужно быть на 100% уверенным в предсказуемости применяемого алгоритма. До этого, к сожалению, необходимо контролировать любой результат такого «анализа».

Во-вторых, нечистоплотное использование таких алгоритмов засоряет наши базы данных «мусорной» информацией. Как показано в первом примере, выдумки нейросети начинают жить самостоятельной жизнью, и выловить их из массива данных в будущем будет очень непросто – видимо, в довесок к «нейросетям-врунам» появятся «нейросети-полицейские», которые будут отслеживать недостоверные данные в базах. Безусловно, это создаст дополнительные рабочие места для программистов.

Русско-американский философ М.Н. Эпштейн (однофамилец) едко отметил, что «человечество уничтожит не искусственный интеллект, а естественная глупость». Безусловно, это так: нейросетевые модели не виноваты в том, что стали игрушкой в руках лентяев; и курок оружия спускает палец на курке – в данном случае, на клавиатуре компьютера. Мы не можем требовать равной ответственности перед будущими поколениями от каждого жителя планеты с доступом к сети Интернет. Но задачей научного сообщества является генерация и хранение не просто развлекательного контента, а верифицированного, достоверного знания, которое и позволяет двигать прогресс вперед. В том числе, и в направлении создания пресловутого искусственного интеллекта.

P.S. При подготовке этого текста нейросетевые алгоритмы не применялись – автору по-прежнему проще написать текст с нуля самостоятельно, чем проверять его за математическим алгоритмом.