30 октября 2026 года крупнейшие разработчики искусственного интеллекта объявили о поддержке общего механизма, который позволит владельцам сайтов централизованно сообщать о своём отношении к использованию опубликованных материалов для обучения нейросетей. Среди участников инициативы — OpenAI, Google, Microsoft и Anthropic.
Предложение основано на работе группы AI Preferences (AIPREF) при международной организации IETF, занимающейся разработкой интернет-стандартов. Его главная задача — избавить владельцев сайтов от необходимости отдельно настраивать правила для каждой компании, собирающей данные из интернета.
Как будет работать новый механизм?
Сегодня многие владельцы сайтов используют файл robots.txt, расположенный в корневом каталоге сайта. С его помощью можно сообщать поисковым роботам и другим автоматическим системам, какие разделы разрешено посещать, а какие следует игнорировать.
Однако у разных разработчиков ИИ собственные поисковые роботы. Например, OpenAI использует GPTBot, Anthropic — ClaudeBot, а Google применяет собственные механизмы сбора информации. Поэтому администраторам приходится прописывать отдельные правила для каждой компании.
Новая инициатива предлагает добавить общий идентификатор __usage_ai-training. Он позволит передавать единое указание всем участвующим в соглашении разработчикам.
Например, чтобы запретить использование всего содержимого сайта для обучения генеративных моделей, в robots.txt можно будет добавить следующую запись:
User-Agent: __usage_ai-training Disallow: /
При этом можно оставить открытыми отдельные разделы. Например, разрешить использование материалов пресс-кита, одновременно запретив обучение на остальных публикациях:
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/
Таким образом, владелец сайта сможет самостоятельно определять, какие материалы могут использоваться для обучения нейросетей, а какие должны оставаться вне обучающих выборок.
Что говорят крупнейшие разработчики ИИ?
Компании уже обозначили свои планы по внедрению общего механизма, однако сроки отличаются.
- Anthropic уже приступила к реализации поддержки нового механизма. Он дополнит существующие настройки управления доступом её поисковых роботов.
- OpenAI заявила о намерении внедрить поддержку общего сигнала в ближайшие месяцы. При этом действующие настройки GPTBot продолжат работать.
- Google планирует поддержать новый механизм в 2027 году. Компания также сохранит собственные инструменты управления использованием контента.
- Microsoft намерена начать учитывать новые настройки с 1 февраля 2027 года по мере повторного сканирования сайтов.
Meta пока не подтвердила, что будет соблюдать новый общий сигнал, хотя идея единого механизма получила поддержку и за пределами перечисленных компаний.
Обучение нейросетей и использование информации — не одно и то же
Важная особенность инициативы заключается в том, что она касается именно обучения генеративных моделей. Это не означает автоматического запрета на индексацию сайта поисковыми системами или использование его материалов для формирования ответов ИИ.
Например, Microsoft отдельно разделяет два понятия:
- AI Training — использование материалов для изменения параметров обучаемой модели.
- AI Grounding — использование информации с сайта в качестве источника при формировании ответа нейросети.
Для этих сценариев Microsoft предлагает отдельные настройки. Это позволяет владельцу сайта запретить обучение на своих материалах, но при определённых условиях сохранить возможность появления публикаций в ответах ИИ со ссылкой на первоисточник.
При этом сам по себе запрет на обучение не блокирует посещение сайта поисковыми роботами. Для ограничения доступа к страницам по-прежнему понадобятся соответствующие правила управления сканированием.
Защитит ли это авторов от использования их работ?
Здесь есть несколько важных ограничений. Новый механизм пока представляет собой проект стандарта, а не обязательный международный закон. Его эффективность будет зависеть от того, насколько последовательно разработчики нейросетей станут соблюдать опубликованные правила.
Кроме того, новые настройки не могут задним числом удалить материалы, которые уже были собраны и использованы при обучении существующих моделей.
Тем не менее появление общего механизма может стать важным шагом к более прозрачным отношениям между разработчиками искусственного интеллекта и создателями контента.
Почему это важно для независимых авторов?
Сегодня интернет наполнен материалами, созданными фотографами, художниками, музыкантами, журналистами и обычными пользователями. Многие из этих публикаций становятся частью огромных массивов данных, на которых обучаются современные нейросети.
При этом авторы далеко не всегда знают, где и каким образом используются их работы.
Если общий механизм получит широкое распространение, владельцы небольших сайтов и независимые авторы получат более простой способ обозначить свою позицию. Не придётся отдельно разбираться в настройках каждой технологической компании.
Для небольших независимых проектов это особенно актуально: собственный сайт зачастую является единственным местом, где автор полностью контролирует размещение своих материалов.
Похоже, интернет постепенно входит в новую эпоху: теперь владельцам контента придётся решать не только вопрос о том, кому разрешено читать их публикации, но и о том, кому разрешено учиться на их основе.
Обсуждение (0)