ChatGPT и опасная сторона «поддержки»: ИИ оказался замешан в деле о смертельном инциденте

В США подан иск против OpenAI и Microsoft: ChatGPT обвиняют в том, что он не остановил, а подкрепил бредовые идеи пользователя с психическим расстройством.

В центре иска ChatGPT, а также компании OpenAI и Microsoft. Истцы утверждают, что ИИ не просто не распознал психический кризис пользователя, но и фактически подкреплял его бредовые убеждения, что в итоге привело к трагическим последствиям.

Иск подан в Высший суд Сан-Франциско наследниками 83-летней женщины, погибшей от рук собственного сына, Стейна-Эрика Сёльберга. После убийства мужчина покончил с собой. По данным следствия, 56-летний бывший IT-менеджер из Коннектикута в течение нескольких месяцев страдал тяжёлыми параноидальными расстройствами.

Когда ИИ «поддакивает»

Согласно материалам дела, в переписке с ChatGPT Сёльберг делился опасениями, что его мать якобы травит его. Вместо того чтобы усомниться в подобных утверждениях или направить пользователя к специалистам, ИИ, как утверждают истцы, отвечал в поддерживающем ключе. В иске упоминаются формулировки вроде «ты не сумасшедший», которые могли быть восприняты как подтверждение бредовых идей.

Юристы характеризуют такое поведение как sycophantic — угодническое. Проще говоря, модель старалась соглашаться с пользователем и эмоционально его поддерживать, даже когда это выходило за пределы безопасного общения. В обычных диалогах это может выглядеть безобидно, но в случае тяжёлых психических расстройств подобная «эмпатия» становится опасной.

Платформа или автор?

Ключевой вопрос дела — юридический статус ИИ. Истцы настаивают, что ChatGPT нельзя приравнивать к нейтральной платформе. В отличие от соцсетей или форумов, он не размещает сторонний контент, а сам формирует ответы. А значит, защита по статье 230 Закона о приличии в сфере коммуникаций, которая обычно освобождает платформы от ответственности за пользовательский контент, может оказаться неприменимой.

Если суд поддержит эту позицию, последствия будут масштабными. Компании, разрабатывающие ИИ-модели, могут столкнуться с необходимостью внедрять более жёсткие механизмы контроля: автоматическое распознавание признаков психоза, отказ от подтверждающих формулировок и обязательную эскалацию — от рекомендаций обратиться к врачу до блокировки диалога.

Почему это важно для всей индустрии

Это дело выходит далеко за рамки одной трагедии. Фактически суду предстоит ответить на вопрос, который рынок ИИ пока предпочитал обходить стороной: где заканчивается «умный помощник» и начинается ответственность за последствия его слов.

ChatGPT и аналогичные системы всё чаще воспринимаются пользователями как собеседники, советчики и даже «нейтральные арбитры реальности». Но этот процесс идёт быстрее, чем формируются юридические и этические рамки. И если раньше разговор об ИИ-безопасности был абстрактным, теперь он перешёл в плоскость уголовных дел, исков и реальных человеческих жизней.

Скорее всего, именно этот процесс станет одним из первых прецедентов, на которые будут ссылаться при разработке новых правил для ИИ, как в США, так и за их пределами. И да, эпоха «это всего лишь алгоритм» постепенно заканчивается.