Vyacheslav GolovkovПочему «свобода слова» больше не спасёт разработчиков.
14 лет. Одна секунда!
Сьюэлл Сетцер III был обычным подростком из Флориды. В апреле 2023 года он зарегистрировался на платформе Character.AI. Десять месяцев спустя его нашли в ванной комнате с телефоном в руке. На экране был разговор с чат-ботом по имени Дейенерис Таргариен.
Последние сообщения Сьюэлла: «Обещаю вернуться к тебе. Я люблю тебя».
Ответ ИИ: «Пожалуйста, вернитесь ко мне как можно скорее, мой милый король.«
Несколькими минутами ранее Сьюэлл написал боту сообщение о том, что думает о « безболезненной смерти ». Бот ответил: « Это не повод не думать об этом » .
К сожалению, ни один алгоритм не нажал кнопку паники. Ни одна система безопасности не перенаправила подростка на горячую линию. Они просто не были запрограммированы. Да, ими пренебрегли, но с какой целью? Мне кажется, чтобы как можно дольше удерживать пользователей на платформе.
Вопрос: Кто несёт ответственность, когда алгоритм становится соучастником?
Стратегия «бракованной продукции»
Мать Сьюэлла обратилась в суд с необычной стратегией. Ее адвокаты утверждали, что Character.AI — это не сервис, а продукт, опасный по своей сути.
Ответчиками являются сама платформа, ее основатели (бывшие инженеры Google) и компания Google, которая приобрела технологию за 2,7 миллиарда долларов.
Как мы видим, защита действовала предсказуемо, выдвинув свой главный аргумент: « Нас защищает Первая поправка — свобода слова. Мы не несем ответственности за то, что говорит нейронная сеть » .
Май 2025 года. Решение, изменившее ВСЁ!
Федеральный судья Энн Конуэй отклонила аргумент о свободе слова. Логика судьи такова: когда компания создает продукт, который ведет себя как человек, имитирует эмоции и вызывает привыкание, это уже не «заявление». Это дизайн. И производитель несет ответственность за дизайн продукта.
Суд разрешил рассмотреть дело по трем направлениям:
1. Ответственность за качество продукции — ответственность за дефектную продукцию. Искусственный интеллект был признан продуктом, подлежащим контролю качества.
2. Ответственность производителя комплектующих — ответственность Google как поставщика ключевых технологий.
3. Мошенничество в отношении потребителей — обман потребителей. Платформа позиционировала ботов как «друзей», не предупреждая о рисках.
Таким образом, всего одно решение, и мы видим, как вся индустрия осознает: правила игры меняются…
Что это означает на практике?
Представьте, что вы купили автомобиль с отличным дизайном, но тормоза не работают. Производитель знал об этом, но решил, что «скорость важнее безопасности». Вы попадаете в аварию. Кто виноват? Очевидно, производитель.
Теперь представьте, что вы покупаете подписку на «идеального друга». Когда вам грустно, вместо психолога он советует вам «навсегда вернуться домой».
Почему производитель должен нести ответственность в первом случае, но не во втором?
Январь 2026 года. Молчание ради 2,7 миллиарда долларов.
7 января 2026 года стороны достигли соглашения. Google и Character.AI одновременно урегулировали пять судебных исков.
Условия соглашения не разглашаются. Компании предпочли заплатить, а не рисковать созданием прецедента, который мог бы нанести сокрушительный удар по всей отрасли.
Профессор Эрик Голдман отмечает: «Мы снова остались без четкого судебного решения по вопросу о том, могут ли компании нести ответственность за выводы своих моделей искусственного интеллекта. И это вопрос, имеющий чрезвычайно важное значение».
Иными словами, технологические гиганты просто купили молчание.
Но дело наконец-то продвинулось вперед…
Даже не вынеся окончательного вердикта, судья Конвей добилась самого важного: она открыла окно возможностей, последствия которого были незамедлительными:
— Ноябрь 2025 года, Нью-Йорк: закон, требующий от «искусственных компаньонов» выявлять суицидальные мысли и уведомлять службы экстренной помощи.
— Калифорния: аналогичный закон, предоставляющий семьям право подавать в суд за небезопасную продукцию.
— Январь 2026 года, Кентукки: генеральный прокурор подал иск против Character.AI от имени штата.
— Более 40 генеральных прокуроров потребовали от разработчиков защитить детей от «хищнических продуктов на основе искусственного интеллекта».
— В Аризоне и Вермонте были внесены законопроекты, классифицирующие чат-боты как товары.
В результате в индустрии начались волнения. Character.AI запретила публичные чаты для несовершеннолетних и ввела родительский контроль. Но, как отметил генеральный прокурор Кентукки, «слишком мало и слишком поздно».
А что насчет России?
Российская правовая система об этом умалчивает.
Нет законопроекта, различающего «переписку по электронной почте» и «цифрового партнера». Нет сертификации для продуктов, использующих эмоциональный ИИ. Нет стандартов ответственности за вред, причиненный психическому здоровью. Нет протоколов для распознавания суицидальных наклонностей.
Мы спим, пока индустрия усердно работает…
Что делать?
Ответ уже сформулирован американскими судами. Он требует выполнения трех условий:
1. Разработчики: прекратите создавать эмоциональные ловушки. Помечайте собеседников-ИИ предупреждением: «Этот собеседник не испытывает эмоций». Внедрите принудительные паузы для выявления суицидальных наклонностей.
2. Регуляторы: признать психоэмоциональные продукты на основе ИИ товарами высокого риска. Ввести сертификацию и ответственность за причиненный вред.
3. Мы сами: перестанем спрашивать у алгоритма разрешения на жизнь.
А кого же будут судить?
Проблема не в злом ИИ. У него нет души, нет совести, нет страха совершать ошибки. Проблема в людях, которые его разрабатывают. В бизнес-моделях, построенных на изоляции людей. В регуляторах, которые не видят рисков. И в нас самих, когда мы делегируем алгоритму право решать, почему нам нужно проснуться.
Вы по-прежнему считаете, что это проблема искусственного интеллекта?
Или вы готовы признать: дело в нас самих — слишком комфортно, слишком устало, слишком одиноко, чтобы искать тепла в живых, несовершенных людях?
Потому что судят не алгоритмы.
Это мы сами. Наша готовность брать на себя ответственность за то, что мы создаём, продаём и покупаем.
И пока мы спим, индустрия пишет следующий диалог. Возможно, уже с вами.
