Есть многое в природе, друг Горацио,

Что и не снилось нашим мудрецам.

Несмотря на то что система раннего оповещения «Око» присвоила сигналу о ракетном нападении высший уровень достоверности, Петров чувствовал, что ситуация развивается слишком странно, чтобы слепо доверять электронике. К счастью, в контуре управления был человек, и это спасло сотни миллионов жизней.

Но основная проблема – когда компьютерные системы не просто приходят к ошибочным выводам, но и делают это с запредельной степенью уверенности, – продолжает волновать исследователей и сегодня.

Хорошо известно, что систем глубокого обучения весьма «хрупки». Мы уже видели, как нейросеть AlexNet версии 2012 года, обучившись на сотнях тысяч фотографий, смогла выявить обобщенные паттерны и научилась безошибочно узнавать кошек, собак, людей и машины, которых никогда раньше не видела. Но в этом и кроется подвох. Система пытается отнести к знакомым ей категориям абсолютно любое изображение, которое ей показывают. Даже если это случайно сгенерированный цветовой шум. Алгоритм может заявить, что с вероятность 99,6 % этот визуальный мусор – гепард. А вон тот разноцветный шум с такой же вероятностью – хлебное дерево. Система не просто «галлюцинирует»; у нее, похоже, вообще нет механизма для распознавания помех, не говоря уж о способности как‐то сообщить о них пользователю. Как подытожили авторы одной из самых цитируемых статей 2015 года: «Глубокие нейронные сети легко одурачить» [705].

С этим тесно связана и проблема так называемых состязательных примеров. Если показать нейросети фотографию панды (и это действительно панда), она распознает ее с уверенностью в 57,7 %. Но если изменить в этом изображении всего несколько невидимых глазу пикселей, система вдруг начнет с уверенностью 99,3 % утверждать, что перед ней гиббон [706].

Сегодня ученые прилагают множество усилий, чтобы понять природу этих ошибок и найти способы с ними бороться.

Специалист по информатике Томас Диттерих из Университета штата Орегон считает, что корень проблемы кроется в самом процессе обучения: абсолютно каждое изображение, на котором тренировалась система машинного зрения, действительно было неким конкретным объектом – кистью руки, гекконом, лобстером. Однако в реальности подавляющее большинство возможных комбинаций цветных пикселей вообще ничего не значат. Это просто шум. Туман. Случайные линии и пятна без формы. Как отмечает Диттерих, системы вроде AlexNet, обученные классифицировать картинки на тысячу категорий, «неявно предполагают, что мир состоит только из этих тысячи видов объектов» [707]. Как система может быть умной, если она никогда не видела ничего за рамками этих категорий? Как она может догадаться, что некоторые картинки вообще не содержат никаких предметов? Диттерих называет это «проблемой открытой категории» [708].

С этой проблемой Диттерих столкнулся на собственном горьком опыте. Он работал над проектом по «автоматическому подсчету пресноводных макробеспозвоночных» – проще говоря, речных жуков. Управление по охране окружающей среды и экологические организации используют подсчет насекомых в реках как индикатор здоровья местной экосистемы. Студенты и ученые проводят долгие часы за микроскопами, вручную определяя, к какому виду относится каждый выловленный жук: веснянка это, ручейник или поденка. Диттерих решил, что новейшие технологии распознавания изображений могут автоматизировать этот труд. Вместе с коллегами он собрал образцы 29 различных видов насекомых и обучил систему компьютерного зрения сортировать их с точностью 95 %.

«Работая в стиле классического машинного обучения, – рассказывал исследователь, – мы забыли об одной „мелочи“: в ручьях плавают не только эти жуки. Там полно других насекомых, а еще кусочки листьев, веточки, песчинки и прочий мусор. Но наша система исходила из того, что все, что она видит, обязательно относится к одному из 29 известных ей видов. Так что если бы вы сунули под микроскоп палец и сфотографировали его, она бы неизбежно классифицировала его как какой‐нибудь наиболее похожий вид жука».

Более того, Диттерих понял, что большинство проектных решений, принятых его командой для улучшения сортировки именно этих 29 видов, в условиях реального водоема (с его «открытыми категориями») сработали во вред. Например, поскольку эти виды жуков хорошо различались по форме контуров, ученые решили обрабатывать изображения в черно-белом формате. Но на практике оказалось, что цвет, даже если он не очень помогает отличить одного жука от другого, критически важен, чтобы отличить жука от не-жука (например, от мусора). «Мы сами себя перехитрили», – признал Диттерих. Эти ошибки не давали ему покоя. «Эти шрамы саднят до сих пор», – сокрушался ученый.

Выступая с президентской речью на ежегодной конференции Ассоциации по развитию искусственного интеллекта (Association for the Advancement of Artificial Intelligence, AAAI), Диттерих отметил, что во второй половине ХХ века ИИ совершил путь от работы с «известными известными» (дедукция и планирование) к работе с «известными неизвестными» (причинно-следственные связи, логические выводы и вероятности).

«Так что же нам делать с „неизвестными неизвестными“? – обратился он к залу, словно бросая вызов. – Думаю, это естественный шаг вперед для нашей отрасли» [709].