Программист создал ИИ-расиста

Microsoft непреднамеренно узнал о рисках создания расистского ИИ со своим экспериментом Tay.ai, но что произойдет, если вы намеренно направите разведданные на токсичный форум?

И один человек решил это проверить. Как отмечают новостные порталы Motherboard и The Verge, ютубер Янник Килчер обучил языковую модель ИИ, используя трехлетний контент с политического раздела форума 4chan (/pol/), печально известного своим расизмом и другими формами фанатизма. После реализации модели в десяти ботах Килчер запустил ИИ, что неудивительно вызвало волну ненависти. В течение 24 часов боты написали 15 000 сообщений, которые часто содержали расистский контент или взаимодействовали с ним. По словам Килчера, в тот день они составляли более 10% постов в /pol/.

Модель, получившая прозвище GPT-4chan (в честь GPT-3 от OpenAI), научилась не только подбирать слова, используемые в сообщениях /pol/, но и общий тон, который, по словам Килчера, сочетал в себе «оскорбление, нигилизм, троллинг и глубокое недоверие». Создатель видео позаботился о том, чтобы обойти защиту 4chan от прокси и VPN, и даже использовал VPN, чтобы создать впечатление, что посты ботов исходят с Сейшельских островов.
ИИ допустил несколько ошибок, таких как пустые сообщения, но был достаточно убедителен, чтобы многим пользователям потребовалось примерно два дня, чтобы понять, что что-то не так. По словам Килчера, многие участники форума заметили только одного из ботов, и данный бот был настолько убедительным, что люди еще несколько дней после отключения ИИ называли друг друга ботами.

В беседе с новостным порталом The Verge ютубер охарактеризовал эксперимент как «розыгрыш», а не исследование. Это напоминание о том, что обученный ИИ хорош настолько, насколько хорош его исходный материал. Вместо этого беспокойство связано с тем, как Килчер делился своей работой. Хотя он избегал предоставления кода бота, он поделился частично стерилизованной версией модели с репозиторием ИИ на Hugging Face. Посетители могли воссоздать ИИ для зловещих целей, и Hugging Face решила ограничить доступ в качестве меры предосторожности. У проекта были явные этические проблемы, и сам Килчер сказал, что в будущем ему следует сосредоточиться на «гораздо более позитивной» работе.