Одна из самых престижных в мире конференций по машинному обучению запретила авторам использовать инструменты искусственного интеллекта, такие как ChatGPT, для написания научных статей, что вызвало дебаты о роли текста, сгенерированного искусственным интеллектом, в научных кругах.

Международная конференция по машинному обучению (ICML) объявила об этой политике ранее на этой неделе, заявив:

«Документы, содержащие текст, сгенерированный с помощью крупномасштабной языковой модели (LLM), такой как ChatGPT, запрещены, если созданный текст не представлен как часть экспериментального анализа статьи».

Эта новость вызвала широкое обсуждение в социальных сетях, причем ученые и исследователи ИИ защищали и критиковали эту политику. В ответ организаторы конференции опубликовали более подробное заявление, объясняющее их точку зрения.

По данным ICML, появление общедоступных языковых моделей ИИ, таких как ChatGPT — чат-бот общего назначения, запущенный в Интернете в ноябре прошлого года, — представляет собой «захватывающее» развитие, которое, тем не менее, сопряжено с «непредвиденными последствиями [и] вопросами без ответов». ICML заявляет, что они включают в себя вопросы о том, кому принадлежат результаты таких систем (их обучают на общедоступных данных, которые обычно собираются без согласия и иногда повторяют эту информацию дословно) и о том, следует ли текст и изображения, созданные ИИ, «рассматривать как новые или простые производные от существующей работы».

Последний вопрос связан с каверзным спором об авторстве — то есть о том, кто «пишет» сгенерированный ИИ текст: машина или ее человек-контролер? Это особенно важно, учитывая, что ICML запрещает только текст, «полностью созданный» ИИ. Организаторы конференции заявляют, что не запрещают использование таких инструментов, как ChatGPT, «для редактирования или полировки авторского текста» и отмечают, что многие авторы уже использовали для этой цели «полуавтоматические инструменты редактирования», такие как программа для исправления грамматики Grammarly.

«Несомненно, что со временем на эти и многие другие вопросы будут даны ответы, поскольку эти крупномасштабные генеративные модели получают более широкое распространение. Однако ни на один из этих вопросов у нас пока нет четких ответов», — пишут организаторы конференции.

В результате ICML заявляет, что в следующем году его запрет на текст, сгенерированный ИИ, будет пересмотрен.

Однако вопросы, которые решает ICML, не могут быть легко решены. Доступность инструментов искусственного интеллекта, таких как ChatGPT, вызывает путаницу у многих организаций, некоторые из которых ответили собственными запретами. В прошлом году сайт вопросов и ответов Stack Overflow запретил пользователям отправлять ответы, созданные с помощью ChatGPT, а Департамент образования Нью-Йорка только на этой неделе заблокировал доступ к инструменту для всех в своей сети.

В каждом случае существуют разные опасения по поводу вредного воздействия текста, сгенерированного ИИ. Одним из наиболее распространенных является то, что выход этих систем просто ненадежен. Эти инструменты ИИ представляют собой обширные системы автозаполнения, обученные предсказывать, какое слово следует за следующим в любом заданном предложении. Таким образом, у них нет жестко запрограммированной базы данных «фактов», на которые можно опереться — только возможность писать правдоподобно звучащие заявления. Это означает, что они склонны выдавать ложную информацию за правду, поскольку то, звучит ли данное предложение правдоподобно, не гарантирует его правдивости.

В случае запрета ICML на текст, сгенерированный ИИ, еще одна потенциальная проблема заключается в том, чтобы провести грань между текстом, который был только «отшлифован» или «отредактирован» с помощью ИИ, и текстом, который был «полностью создан» с помощью этих инструментов. В какой момент несколько небольших исправлений под управлением ИИ составляют большую переделку? Что, если пользователь попросит инструмент искусственного интеллекта резюмировать свою статью в краткой аннотации? Считается ли это свежесгенерированным текстом (поскольку текст новый) или простой полировкой (поскольку это краткое изложение мыслей, изложенных автором)?

До того, как ICML разъяснил сферу своей политики, многие исследователи опасались, что потенциальный запрет на текст, сгенерированный ИИ, также может нанести вред тем, кто не говорит или не пишет на английском как на родном языке. Профессор Йоав Голдберг из Университета Бар-Илан в Израиле сказал журналистам из новостного издания The Verge, что полный запрет на использование инструментов для письма с искусственным интеллектом будет актом контроля над этими сообществами.

По словам Голдберга, такие инструменты могут помочь исследователям сэкономить время, а также улучшить общение со своими коллегами.

Но инструменты для письма с искусственным интеллектом также качественно отличаются от более простого программного обеспечения, такого как Grammarly. Деб Раджи, научный сотрудник по искусственному интеллекту в Mozilla Foundation, которая много писала о больших языковых моделях, сказала журналистам новостного издания The Verge, что для ICML имеет смысл ввести политику, специально предназначенную для этих систем. Как и Голдберг, она сказала, что слышала от тех, для кого английский язык не является родным, что такие инструменты могут быть «невероятно полезными» для составления документов, и добавила, что языковые модели могут вносить более радикальные изменения в текст.

«Я считаю, что LLM сильно отличаются от чего-то вроде автокоррекции или Grammarly, которые являются корректирующими и образовательными инструментами», — сказал Раджи. «Хотя LLM можно использовать для этой цели, они явно не предназначены для настройки структуры и языка уже написанного текста — у них есть и другие, более проблематичные возможности, такие как генерация нового текста и спама».

Голдберг сказал, что, хотя он считал, что ученые, безусловно, могут создавать статьи, полностью используя ИИ, «у них очень мало стимулов для того, чтобы делать это».

«В конце концов, авторы подписывают бумагу, и у них есть репутация, которую нужно поддерживать», — сказал он. «Даже если поддельная статья каким-то образом пройдет рецензирование, любое неверное утверждение будет связано с автором и «прилипнет» к нему на всю его карьеру».

Этот момент особенно важен, учитывая, что не существует абсолютно надежного способа обнаружения текста, сгенерированного ИИ. Даже ICML отмечает, что надежное обнаружение «сложно» и что конференция не будет упреждающе применять свой запрет, пропуская материалы через программное обеспечение детектора. Вместо этого он будет расследовать только те материалы, которые были отмечены другими учеными как подозрительные.

Другими словами: в ответ на появление прорывных и новых технологий организаторы полагаются на традиционные социальные механизмы для обеспечения соблюдения академических норм. ИИ можно использовать для полировки, редактирования или написания текста, но люди все равно должны оценить его ценность.