ОЦЕНКА ЭФФЕКТИВНОСТИ КАРТ ОПОЛЗНЕВОГО ЗОНИРОВАНИЯ

Оценка неопределенностей, ошибкоустойчивости (робастности – robustness) и достоверности карты оползневого зонирования является сложной задачей.

Поскольку карты предрасположенности территорий к оползням, оползневых опасностей и рисков прогнозируют будущие события, наилучшим методом оценки было бы «подождать и посмотреть», проверить эффективность зонирования на основе событий, которые произошли после того, как были составлены карты. Однако это непрактичное решение, несмотря на то что последующие события могут обеспечить качественную степень уверенности для пользователей карт при условии, что понятны ограничения рассматриваемого периода времени, который неизбежно очень короток.

Проверка эффективности моделей является многокритериальной задачей, охватывающей:

1) адекватность (концептуальную и математическую) модели при описании системы;

2) ошибкоустойчивость (робастность) модели при небольших изменениях во входных данных (например, чувствительность к данным);

3) точность модели при прогнозировании данных [347, 348].

На практике эффективность модели оценивается с использованием данных инвентаризации оползней за определенный период времени и путем проверки результата с помощью другой инвентаризации за более поздний период. Однако сами инвентаризационные оползневые карты могут характеризоваться высокими уровенями неопределенности [52, 349].

Другой способ оценки эффективности модели – сравнение карт одной и той же территории, составленных независимо разными командами, хотя это оказалось довольно сложным [56, 350].

Чтобы охарактеризовать прогностическую эффективность карты зонирования, результаты инвентаризации оползней должны быть разделены на две группы (одна из которых используется для создания карты, а вторая – для анализа ее точности). Это можно сделать, используя случайную выборку оползней или применяя две карты инвентаризации, различающиеся по времени составления. Хорошее представление о прогностической точности также может дать сравнение карт зонирования, созданных разными методами.

В этом разделе представлен обзор методов, которые можно использовать для оценки эффективности карт предрасположенности территорий к оползням и карт оползневой опасности. Термин «эффективность» (performance) здесь применяется для отражения того, насколько правильно карты зонирования проводят различия между территориями, потенциально предрасположенными и не предрасположенными к возникновению оползней.

Неопределенности и ошибкоустойчивость (робастность) карт оползневого зонирования

Природа неопределенностей и тенденция к использованию более сложных моделей (например, путем перехода от эвристических к статистическим и основанным на процессах моделям) обусловливают необходимость в усовершенствованных инструментах идентификации и оценки моделей [351, 352] для доказательства того, что повышенная сложность действительно обеспечивает более хорошие результаты моделирования.

Для оценки оползневых моделей обычно учитываются алеаторные (связанные с внутренними свойствами системы – со случайным характером изучаемых процессов и явлений) и эпистемические (связанные с недостатком знаний или данных) неопределенности. Различия в интерпретации данных специалистами, участвующими в зонировании, относятся к эпистемическим неопределенностям.

Термин «ошибкоустойчивость» («робастнсть» – robustness) относится к изменению точности классификации из-за пертурбаций (нарушений, изменений) в процессе моделирования [353]. Анализ ошибкоустойчивости часто фокусируется только на нарушениях в работе модели из-за ошибок во входных параметрах [354]. В этом контексте термин «чувствительность»  (sensitivity) [355] используется для идентификации ключевых неопределенных параметров, которые больше всего влияют на неопределенность выходных данных (для глобального анализа чувствительности), и для выделения параметров, которые оказывают наибольшее влияние на сами выходные данные, но не на их неопределенность (для локального анализа чувствительности).

Для оценки качества зонирования оползней можно рассмотреть использование количественных методов, основанных на дисперсии, для анализа глобальной чувствительности (например, для исследования влияния масштаба и формы распределения параметров) и применение графических методов для анализа локальной чувствительности [104]. Для внесения изменений в различные входные параметры используются вероятностные методы, основанные на теории моментов, поскольку они позволяют получать результаты в виде математических функций, а не уникальных значений [356]. Такие подходы дают возможность получать выходные данные на основе нескольких теоретических наборов входных данных и выводить доверительные интервалы, охватывающие эти обратные пути.

Авторами работ [289, 357–359] был выполнен анализ чувствительности входных параметров при оценке качества оползневого зонирования в детальном (сайт-специфическом) и локальном масштабах. В региональном масштабе анализ чувствительности возможен как для многомерных статистических моделей, так и для моделей процессов. Связанные гидрологические модели и модели устойчивости склонов, которые применяют метод «бутстреп» (bootstrap, bootstrapping – компьютерный метод, основанный на многократной генерации выборок методом Монте-Карло на базе имеющейся выборки и позволяющий оценивать статистические характеристики для сложных моделей. – Ред.), показывают, что физическое моделирование, основанное на средних значениях, не всегда может быть практичным [360]. В статьях [90, 104, 361] представлены другие примеры. В отношении многомерных статистических моделей только несколько статей посвящено оценке ошибкоучтойчивости (робастности) путем создания ансамблей моделей, откалиброванных для разных выборок оползней из одного и того же инвентаризационного набора [56, 362, 363] или путем калибровки моделей для разных инвентаризаций оползней для одного и того же региона [364]. В нескольких работах изучалось влияние разных классификаций независимых переменных, полученных по литологическим, почвенным картам или картам почвенно-растительного покрова [365]. А, например, авторы статьи [354] определили показатель робастности (ошибкоустойчивости), отражающий чувствительность к изменениям в наборе данных независимых (предикторных) переменных.

Точность карт зонирования

Ни одна из представленных в литературе методик оценки точности моделей оползневого зонирования не учитывает экономические издержки из-за неправильной классификации, которые становятся важными, когда зонирование применяется на практике для планирования использования земель. Это является существенным ограничением для анализа предрасположенности территорий к оползням, поскольку расходы из-за неправильной классификации варьируют в зависимости от типов ошибок. Последние могут быть следующими.

1. Ошибка типа I (ошибочно положительная классификация) – когда реальная территориальная единица без оползней классифицируется в модели как неустойчивая (есть или могут быть оползни) и, следовательно, имеющая ограничения в использовании и экономическом развитии. Следовательно, стоимость потерь из-за ошибочно положительной классификации соответствует потере экономической ценности таких территориальных единиц. Эта стоимость различна для разных единиц, поскольку является функцией экологических и социально-экономических характеристик.

2. Ошибка типа II (ошибочно отрицательная классификация) – когда реальная территориальная единица с оползнями классифицируется в модели как устойчивая
(нет или не может быть оползней) и, следовательно, может использоваться без ограничений. Стоимость потерь из-за ошибочно отрицательной классификации соотвествует потере объектов, которые могут быть затронуты оползнями в пределах таких территориальных единиц.

В моделях оползневого зонирования издержки, связанные с ошибками типа II, обычно намного больше, чем затраты, связанные с ошибками типа I. Например, размещение такого общественного объекта, как здание школы, на территориальной единице, которая ошибочно определена как устойчивая (то есть сделана ошибка типа II), может привести к очень большим социальным потерям и экономическим затратам.

Далее представлены различные методы оценки эффективности оползневых моделей.

Статистические характеристики точности, зависящие от порогового значения

Точность оценивается путем анализа соответствия между выходными данными модели и результатами наблюдений. Поскольку результаты наблюдений говорят о наличии или отсутствии оползней в пределах определенной территориальной единицы, более простой метод оценки точности модели заключается в сравнении этих данных с двоичной классификацией предрасположенности территории к оползням на устойчивые и неустойчивые единицы. Такая классификация требует порогового (cutoff) значения предрасположенности, которое делит зоны на устойчивые (с предрасположенностью меньше пороговой) и неустойчивые (с предрасположенностью больше пороговой).

Сопоставление результатов наблюдений и модельных данных после их переклассификации на эти два класса представляют в виде таблиц сопряженности признаков (contingency tables ) (таблица 20). Статистические характеристики точности оценивают эффективность модели путем объединения правильно (истинно) и неправильно (ошибочно) классифицированных положительных и отрицательных по оползневой опасности случаев (таблица 21).

Таблица 20. Таблица сопряженности, используемая для оценки эффективности предсказаний по модели оползневого зонирования

При построении SR-кривых [375, 376] для оценок оползневого зонирования (рис. 4, б) по оси Y обычно откладывается процент суммарной площади (или количество) правильно классифицированных оползней. В случае ячеек сетки, где оползни соответствуют отдельным ячейкам и все единицы площади одинаковы, оси Y соответствуют истинно положительные (TP) результаты (аналогично пространству ROC), а оси X соответствует число единиц, классифицированных как положительные.

Стоимостные кривые

При оценке эффективности модели с помощью ROC-кривых можно учесть издержки в случае неправильной классификации, используя дополнительную процедуру [370]. Но получаемые при этом результаты трудно визуализировать и оценивать.

Стоимостные кривые [377] показывают нормализованную ожидаемую стоимость как функцию зависимости «вероятность – стоимость» (рис. 5), где ожидаемые издержки нормализованы по отношению к максимальным ожидаемым издержкам, которые возникают, когда все случаи классифицированы ошибочно (например, когда и FP, и FN равны единице). Максимальная нормализованная стоимость равна единице, а минимальная – нулю.

Таким образом, единственная модель классификации, которая представляла бы собой единственную точку с координатами (FP, TP) в пространстве ROC, соответствует прямой линии в представлении стоимостной кривой (см. рис. 5). Чем ниже стоимостная кривая, тем лучше точность модели, а разница между двумя моделями заключается просто в расстоянии по вертикали между соответствующими им кривыми.

Для получения стоимостных кривых необходимо определить значение функции «вероятность – стоимость», которая зависит как от априорной вероятности, так и от издержек в случае неправильной классификации. Для моделей оползневого зонирования при учете неопределенности в наблюдаемом распределении совокупности оползней, разумным выбором является условие равновероятности [378].

Издержки в случае ошибочной классификации зависят от участка и значительно различаются в пределах изучаемой территории. Строгий анализ мог бы позволить выполнить их независимую оценку для каждой территориальной единицы и оценить общие издержки, суммируя затраты, возникающие в результате принятия каждой модели. Это потребует вклада администраторов и политиков из местных (муниципальных) и национальных органов власти.

Чтобы оценить среднюю стоимость для ошибочно отрицательных и ошибочно положительных прогнозов, можно использовать карту землепользования для расчета как площади, занимаемой объектами, потенциально подверженными риску (например, вносящими вклад в стоимость ошибочно отрицательных прогнозов), так и площади, потенциально пригодной для застройки (например, вносящей вклад в стоимость ошибочно положительных прогнозов) [378].

По этой причине карты прогнозируемой предрасположенности территорий к оползням должны быть тщательно проанализированы и критически рассмотрены перед обнародованием результатов. «Настройка» статистических методов и независимая валидация результатов уже признаны совершенно необходимыми этапами при любом исследовании природных опасностей для оценки точности и прогностической способности модели. Валидация может также позволить установить степень уверенности в модели и сравнить результаты, получаемые с помощью разных моделей. По этой причине также должна быть проверена пространственная согласованность карт подверженности территории к оползням, полученных с помощью разных моделей, особенно если эти модели характеризуются схожей прогностической способностью.

Ограничения на использование статистических характеристик точности

Применение каждого статистического показателя надежно только при определенных условиях (например, при редких или при частых событиях). Их следует оценивать в каждом конкретном случае, чтобы выбрать наиболее подходящий метод [369]. Это – ограничение на общее применение статистических характеристик для оценок качества оползневого зонирования.

Для статистических моделей простым и научно правильным является использование показателей точности, зависящих от порогового значения, поскольку оно статистически значимо. Это верно, только если принимаются равные априорные вероятности и равные издержки в случае ошибочной классификации – условия, которые обычно нарушаются в оползневых моделях. Для других видов моделей зонирования (эвристических, физически обоснованных) нет теоретических оснований для выбора определенного порогового значения, поэтому применение статистических показателей точности не годится.

Оценка эффективности карт оползневого зонирования с не зависящими от порогового значения критериями имеет то преимущество, что априорное пороговое значение не требуется и эффективность может быть оценена для всего диапазона порогов. Кривые ROC и SR дают разные результаты, поскольку ROC-кривая основывается на анализе классификации статистических единиц и описывает способность статистической модели различать два класса объектов, в то время как SR-кривая основывается на анализе пространственного соответствия между фактическими оползнями и картами зонирования и, таким образом, учитывает площади как оползней, так и территориальных единиц, а не только количество единиц, правильно или неправильно классифицированных.

SR-кривые связаны с некоторыми теоретическими проблемами, когда они применяются к моделям с ячейками сетки. Количество истинно положительных прогнозов фактически вносит вклад в значения, отложенные как по оси X, так и по оси Y. Увеличение числа истинно положительных прогнозов вызывает сдвиг кривой вверх (в сторону более хорошей эффективности) и вправо (в сторону более плохой эффективности). В некоторых случаях сдвиг вправо может происходить быстрее, чем вверх, вызывая кажущуюся потерю эффективности при увеличении количества истинно положительных прогнозов, а такая оценка эффективности явно обманчива. Более того, SR-кривая чувствительна к начальным соотношениям количеств положительных и отрицательных прогнозов. Следовательно, применение SR-кривых к территориям с низкой степенью опасности (например, с ровным рельефом лишь с небольшими крутыми участками) всегда даст более хорошие результаты, чем их использование для территорий с высокой степенью опасности (например, для горных долин с крутыми склонами), даже если качество классификации абсолютно одинаково.

Важным ограничением является то, что вышеупомянутые статистические показатели не являются пространственно явнымии и, соответственно, схожие формы кривых ROC и SR могут отражать разные пространственные случаи прогнозируемых устойчивых и неустойчивых территориальных единиц [379].

ЗАКЛЮЧЕНИЕ

В этой статье были рассмотрены ключевые компоненты количественного анализа оползневых рисков (КолАР), который позволяет ученым и инженерам объективно и воспроизводимо оценивать риски и сравнивать результаты, полученные в разных местах (участках, регионах и т.д.). Важно понимать, что оценки рисков – это это всего лишь оценки. Ограничения на доступную информацию и использование чисел могут таить существенные потенциальные ошибки. В этом отношении результаты КолАР не обязательно являются более точными, чем качественные оценки, поскольку, например, вероятность может рассчитываться на основе личных суждений. Однако КолАР облегчает общение между специалистами в области наук о Земле, землевладельцами и лицами, принимающими решения.

Были представлены рекомендуемые методики количественного анализа оползневой опасности, уязвимости и риска в разных масштабах (детальном, локальном, региональном и национальном), а также методы верификации и валидации результатов. Рассмотренные методики сфокусированы на оценке вероятностей возникновения различных типов оползней с определенными характеристиками.

Также рассмотрены: методы определения пространственного распределения интенсивности оползней, объекты риска, оценка потенциальной степени ущерба, количественная оценка уязвимости объектов риска, а также КолАР.

Статья предназначена для ученых, инженеров-практиков, геологов и других специалистов по оползням.

—

Авторы выражают благодарность за поддержку проекта SafeLand (по грантовому соглашению 226479), финансируемого Европейской комиссией в рамках ее Седьмой рамочной программы.

Перевод статьи выполнен при поддержке ГК «ПЕТРОМОДЕЛИНГ» и Алексея Бершова.