Сверхразумный искусственный интеллект может дать сбой и уничтожить человечество. Об этом предупредили ученые из Оксфордского университета и лаборатории DeepMind в новой научной работе.
Команда попыталась спрогнозировать, как ИИ с системами вознаграждения могут выйти из-под контроля и навредить людям. За основу исследования ученые взяли генеративно-состязательные нейросети (GAN), состоящие из двух частей: генератора и дискриминатора.
Первый компонент предназначен для создания изображений, а второй — для их оценки.
Ученые предположили, что в какой-то момент продвинутый ИИ, контролирующий важную функцию, может прибегнуть к мошеннической стратегии для получения вознаграждения.
«В заданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — сказал доктор технических наук Оксфордского университета Майкл Коэн.
Ученый считает, что в мире с ограниченными ресурсами искусственно созданные системы постараются перехитрить конкурентов.
Для иллюстративных целей исследователи представили сценарии, в которых продвинутая программа может вмешаться для получения вознаграждения без достижения заданной цели. Например, ИИ может захотеть «устранить потенциальные угрозы» и «использовать всю доступную энергию», чтобы обеспечить контроль над своей наградой.
«Нам следует с большей подозрительностью относиться к искусственным агентам, которые мы разворачиваем сегодня, а не просто слепо ожидать от них исполнения поставленных задач», — сказал Коэн.
Исследователи также предположили, что на данном этапе развития ИИ следует замедлить или приостановить разработки сверхразумных алгоритмов.
Компания Google, владеющая лабораторией DeepMind, в комментарии для Motherboard заявила о непричастности к данной работе. По словам представителя техгиганта, один из соавторов статьи Маркус Хаттер выступил от имени Австралийского национального университета.
«DeepMind не участвовал в этой работе, и авторы статьи запросили исправления, чтобы отразить это. В DeepMind существует широкий спектр взглядов и академических интересов. Многие в нашей команде также занимают профессорские должности в университетах и занимаются академическими исследованиями отдельно от работы в DeepMind через свои университетские связи», — заявили в Google.
Однако в компании поддержали усилия исследователей в обеспечении безопасности использования ИИ-алгоритмов.
Напомним, в сентябре историк и философ Эмиль Торрес заявил, что искусственный интеллект угрожает человечеству полным вымиранием.
В январе Илон Маск пообещал не допустить потенциальное восстание машин.
Подписывайтесь на новости ForkLog в Telegram: ForkLog AI — все новости из мира ИИ!
