ИИ Anthropic защитят от токсичности и жестокости пользователей

Новые правила Anthropic: почему Claude теперь может завершать токсичные диалоги

Компания Anthropic объявила об обновлении пользовательского соглашения и политик безопасности для своих языковых моделей семейства Claude. Главным нововведением стал официальный запрет на намеренное, систематическое грубое или жестокое поведение со стороны пользователей.

Начиная с ноября, системы получат техническую возможность самостоятельно распознавать токсичные паттерны и прерывать диалог.

Ключевые аспекты обновления

• Защита от токсичности и жестокости: Новые правила призваны пресекать попытки намеренного унижения, угроз или проявления жестокости по отношению к искусственному интеллекту.
• Автоматическое прерывание диалогов: Модели Claude наделяются правом самостоятельно останавливать сессию общения при фиксации систематических нарушений этических норм со стороны человека.
• Смещение фокуса в безопасности: Инициатива отражает растущую тенденцию индустрии к защите не только пользователей от вредного контента, но и самих ИИ-систем от деструктивного взаимодействия.

Детали реализации и сроки

• Вступление в силу: Обновленные правила начнут действовать уже в ноябре.
• Техническая сторона: Алгоритмы модерации будут работать в режиме реального времени, анализируя контекст сообщений и эмоциональную окраску запросов.