Модерация контента является насущной необходимостью на многочисленных интернет-сайтах. Вопрос о том, какой контент разрешать, а какой запрещать, всегда вызывает разногласия. Создатель чат-бота ChatGPT полагает, что на помощь может прийти языковая модель GPT-4, которая станет основой масштабируемой и настраиваемой системы модерации контента.
В блоге компании OpenAI появилась запись о том, что GPT-4 может заниматься не только модерацией, но и помогать создавать политики взаимодействия с контентом, на изменения которых будут уходить часы вместо месяцев. Модель сможет анализировать правила и нюансы политики по отношению к контенту и быстро адаптироваться к внесённым изменениям. Это сделает модерацию более последовательной.
При наличии доступа к API OpenAI любой желающий сможет состоятельно создать систему модерацию контента на основе ИИ. Вместо шести месяцев разработки потребуется всего один день.
Считается, что психическое здоровье модераторов может страдать от просмотра травмирующего контента, особенно в графическом виде. В 2020 году компания Meta* выплатила более 11000 модератором сумму от $1000 в качестве компенсации за возможные проблемы с психическим здоровьем при просмотре размещаемых в Facebook материалов. Применение искусственного интеллекта может сократить подобную нагрузку на людей.
Правда, крупные компании уже используют в процессе модерации ИИ, что не мешает им периодически принимать неверные решения. Полностью устранять из процесса людей не планируется, к тому же с технической точки зрения это в настоящее время невозможно.
*Meta – признана в России экстремистской организация.