Выступление Н.Касперской на форуме «Этика искусственного интеллекта: начало доверия»

Я участвовала в разработке Кодекса Искусственного Интеллекта и, в частности, именно с точки зрения рисков. Поскольку я занимаюсь информационной безопасностью, любая технология и искусственное интеллектное исключение несет определенные риски.

Причем риски от информационной безопасности и заканчиваясь социальными. Многие из них Дмитрий Николаевич называл, я повторяться не буду, но ключевым, безусловно, является вопрос доверия к Искусственному Интеллекту.

И, собственно, то, почему этот Кодекс пишется, это в частности для того, чтобы системы, которые создавались, они этому доверию соответствовали. Что подразумевается под доверием и почему возникают такие большие проблемы доверия?

Ну, первое, это, конечно, ошибки Искусственного Интеллекта. Такой пример, буквально три дня назад, значит, правоохранительные органы хватают оперного певца одновременно в Петербурге и одновременно в Одинцово хватают, значит, режиссера Федора Ермошина, тащат их в отделение, несмотря на их сопротивление.

И потом выясняется, что они не являются тем преступником, из-за которого их приняли, несмотря на то, что они заявляли, у одного из них даже был паспорт. Правоохранители не стали смотреть паспорт, они доверились системе Искусственного Интеллекта, которая указала, что это преступники.

Значит, это очень интересно, что люди глазам своим не доверяют, а доверяют системе Искусственного Интеллекта, которая, как известно, имеет ошибки первого и второго рода, любая система Искусственного Интеллекта, без исключения. Понятно, что эти ошибки можно сводить к...

ну, стремиться их минимизировать, но, тем не менее, они все равно будут. И, кроме того, из, значит, рисков, возможность манипулирования человеком, возможность вмешательства в частную жизнь, потому что все системы Искусственного Интеллекта строятся на огромном массиве данных, и доступ к этим данным, вообще-то говоря, могут получать разработчики, а не только разработчики, а это значит, что они могут настраивать систему определенным образом.

Риски принятия неправильных решений. Вот как я задавала вопрос Александру Александровичу насчет того, что человеку отказывает кредит, банк отказывает в кредите.

Это общее место, да, это частая история. И это тоже, на самом деле, этический вопрос.

У человека должно быть право опротестовать это решение, и решение должно все-таки, конечное, финальное решение, по тому, выдавать ли кредит или не выдавать, должно оставаться за человеком, а не за машиной системой. Еще один аспект, который вот сегодня не затрагивали, а который очень важный, это, вообще говоря, постоянное использование системы Искусственного Интеллекта приводит к оглуплению, к массовому...если так можно выразиться, ну или там, к снижению интеллектуальных способностей, если хотите.

Причем это, ну, на бытовом уровне очень просто можно заметить. Использование калькулятора приводит к тому, что люди сейчас перестали считать в уме.

Я вот, значит, тут расплачивалась в магазине, беру там три каких-то предмета и говорю, вот такая будет сумма. Она говорит, сейчас-сейчас-сейчас, подождите.

Она, значит, лезет, ищет калькулятор, потом потом гордом говорит, вот такая сумма. Вот я уже стою с деньгами, потому что я успел почитать.

Уже даже продавцы не умеют в уме сложить три цифры. Я не говорю о том, что ездить по городу Москве.

Вот представьте себе на секунду, не дай бог, конечно, Лена, ни в коем случае, что Яндекс-навигатор упал и Яндекс-карты не работают. Ну, на семь часов, как вот было у нас сбой Фейсбука тут недавно.

Значит, сколько людей доберется до места, куда они хотели бы. Ну, наверное, из дома до работы, может быть, люди еще по инерции как-то доедут, но Яндекс.Такси встанет весь, потому что современные таксисты, они не могут, они не знают города вообще.

И вот это большая, понимаете, проблема, особенно в критических областях. Я вот тут разговаривал с одним пилотом.

Он говорит, что сейчас в руководящих документах для пилотов есть указание на то, что нельзя отключать автопилот. При этом мы помним, что три года была авария Суперджет, который совершал рейс к Москве-Мурманск.

Там погибло 40 человек, он загорелся, ударила молния, отказали системы, отказала автоматика. В ясную погоду пилот не смог посадить самолет.

И сейчас уже доказано, что это была ошибка пилота. А что вы хотите от пилота?

Он привык с автопилотом сажать, он уже не умеет. И через какое-то время мы будем иметь поколение пилотов, которые, в принципе, не могут сажать на нужном управлении.

И при выводе автоматики из строя они уже будут неспособны к этому. Я не говорю о том, что медики, которые могут отучаться ставить диагнозы, потому что они просто теряют эту квалификацию.

Это важный вопрос, который вообще нам как человечеству предстоит еще каким-то образом решить. Потому что понятно, что технологии усложняются, а при этом навигации снижаются.

И получается, что эти точки, они уже, на мой взгляд, пересеклись. И большинство людей не понимают, как функционирует система.

Просто даже вот из тех, кто разговаривает, очень мало кто вообще понимает, а что там внутри. И, ну, значит, вот это вот излишнее доверие, 48 процентов доверия, оно о чем говорит?

Оно говорит о том, что люди не понимают. Потому что люди, которые понимают, как устроена система искусственного интеллекта, доверяют им с очень большой осторожностью.

Что касается кодекса, вот смотрите, кодекс это в некотором смысле... Да, вот в кодексе есть одна очень важная вещь, что любая система искусственного интеллекта, прежде чем разрабатываться, должна иметь модель угроз.

Это такое, ну, стандартное понятие в информационной безопасности и очень хорошо, что это понятие вошло и в кодекс. Вот сам кодекс, по сути, является такой моделью угроз, в котором часть угроз попытались оценить и предотвратить.

Но в частности, там есть запрет на финальность решения искусственного интеллекта, то есть ответственность за последствия решения должно оставаться за человеком. Это есть в кодексе.

Есть обязательность уведомления человека о том, что используется в данный момент, с ним общается система искусственного интеллекта. Это, кстати, по идее Татьяны Владимировны, которая была высказана еще на секции искусственный интеллект, вот на конгрессе искусственного интеллекта в армии.

И это вошло в кодекс. Это вошло в кодекс, да.

Там есть этот пункт о том, что человек должен понимать, что он общается именно с системой искусственного интеллекта. Там же отсутствие дискриминации явно заявлено, непричинение вреда, безопасность, коэффициентность.

Вот это все включено. И мне кажется, это очень важно.

И очень важно то, что вот Татьяна Владимировна говорила, что это не застывшее некое образование. Кодекс, конечно, должен развиваться с развитием технологий.

Понятно, что мы еще не на все грабли наступили. Мы периодически на какие-то грабли наступаем.

Нас шлепают по лбу. Мы узнаем что-то новое о том, что нам, какую очередную угрозу мы пропустили.

И, соответственно, в кодекс это тоже будет добавляться. Я думаю, что на каком-то разумном промежутке времени он будет пересматриваться.

Ну и хочу сказать, что вообще работа была очень интересной и очень здорово, что нам... Она была сложной, потому что очень много разных мнений.

И очень здорово, что нам удалось ее свести, в конце концов, по финальному документу. Будет здорово, что мы его подписываем.

Я прочел внимательно кодекс. Я так понимаю, что тот проект, который мне прислали, это то, что сегодня будет подписано, он действительно очень приятный пример саморегулирования сообщества.

Думаете, на этом остановиться? Это законодательному регулированию должно подвергаться или лучше идти по пути саморегулирования?

Знаете, мне кажется, эти истории должны идти параллельно. Смотрите, кодекс это все-таки мягкая, да, инструмент мягкой силы, инструмент мягкого влияния.

И, ну вот, Дмитрий Николаевич сказал, что компании-разработчики искусственного интеллекта должны под этим подписываться. Вот сейчас подписываются 20 компаний, но надо агитировать всех остальных, чтобы они тоже шли и подписывались, потому что иначе, ну, не будет это иметь смысла.

Но если вот компании подписываются, то тогда у нас появляется как раз инструмент влияния. Нужно ли это дальше закреплять в законодательных документах?

Я думаю, что-то будет закрепляться, ну а что-то, может быть, даже и нет. Потому что все-таки законы сильно отстают, мы понимаем, что они очень сильно отстают.

И человек должен там сам принимать решение быстро, без давления регулятора.