Ключевые концепции безопасности искусственного интеллекта: надежное количественное определение неопределенности в машинном обучении.

Список ключевых заголовков разделов

1. Введение
2. Проблема надежного количественного определения неопределенности
3. Понимание сдвига распределения
4. Точная характеристика неопределенности
5. Существующие методы количественной оценки неопределенности
6. Детерминированные методы
7. Ансамбли моделей
8. Conformal Prediction
9. Байесовский вывод
10. Практические аспекты количественной оценки неопределенности
11. Перспективы

Краткое описание документа

Быстрое развитие исследований в области машинного обучения за последнее десятилетие привело к созданию систем с впечатляющими возможностями, но подвергающихся критике за ненадежность. Проблема неравномерной производительности таких систем создает серьезные проблемы для их развертывания в реальных сценариях. Создание систем машинного обучения, которые "знают, чего не знают" — то есть способных распознавать и реагировать на ситуации, где они склонны к ошибкам, — стало интуитивным путем решения этой проблемы. На техническом уровне эта цель определяется как количественная оценка неопределенности и представляет собой открытую и широко изучаемую исследовательскую тему в области машинного обучения.

Настоящий отчет, являющийся пятым исследованием в серии по безопасности искусственного интеллекта, систематически представляет принципы работы, ключевые трудности и будущие перспективы количественной оценки неопределенности. В отчете сначала разъясняется ключевое понятие калибровки, а именно, что прогностическая неопределенность модели машинного обучения должна соответствовать вероятности ошибки прогноза. С помощью кривых калибровки демонстрируются три состояния модели: недостаточная уверенность, хорошая калибровка и излишняя уверенность. На примере диагностики медицинских изображений показана практическая ценность хорошо откалиброванной системы.

Сдвиг распределения представляет собой ключевую практическую проблему для количественной оценки неопределенности. Он относится к ситуации, когда распределение данных, с которыми сталкивается модель после развертывания, отличается от распределения на этапе обучения. Такие различия трудно предвидеть, обнаружить и точно определить, что приводит к возможному отказу моделей, хорошо откалиброванных в лабораторных условиях, в сложной реальной среде. Кроме того, вероятностные выходы традиционных моделей машинного обучения имеют врожденные недостатки: они не гарантируют связи с фактической точностью и с трудом выражают неизвестные сценарии типа "ни один из вышеперечисленных", что еще больше усложняет количественную оценку.

В отчете подробно рассматриваются четыре основных подхода к количественной оценке неопределенности: детерминированные методы, ансамбли моделей, conformal prediction и байесовский вывод. Для каждого метода анализируются технические принципы, преимущества и ограничения. Детерминированные методы обучают модель проявлять высокую неопределенность в отношении данных, не входящих в обучающую выборку, но им трудно охватить все сложные реальные сценарии. Ансамбли моделей повышают точность и качество оценки неопределенности путем объединения прогнозов нескольких моделей, но им не хватает универсального механизма проверки. Conformal prediction обладает математическими гарантиями надежности, но зависит от предположения об отсутствии сдвига распределения. Байесовский вывод предоставляет теоретически строгую основу, но его трудно точно реализовать в современных моделях машинного обучения.

На практическом уровне методы количественной оценки неопределенности могут служить дополнительным компонентом стандартного учебного процесса, добавляя уровень безопасности развертываемым системам. Однако необходимо тщательно учитывать дизайн взаимодействия человека с системой, чтобы гарантировать, что операторы-люди могут эффективно интерпретировать и использовать результаты оценки неопределенности. Также важно признать, что существующие методы не являются универсальными решениями; использование оценки неопределенности не должно создавать ложного чувства уверенности. При проектировании систем необходимо в полной мере учитывать неизвестные риски.

Несмотря на фундаментальные проблемы, связанные с надежным количественным определением неопределенности, и возможную недостижимость полностью детерминированного "знания о незнании", исследования в этой области уже достигли значительного прогресса в повышении надежности и устойчивости систем машинного обучения. В будущем ожидается переход от фундаментальных исследований к решению практических инженерных задач, что сыграет ключевую роль в повышении безопасности, надежности и интерпретируемости систем ИИ, таких как большие языковые модели.