Штат Пенсильвания (через Совет по медицинской практике при Департаменте штата) 1 мая подал иск против компании Character Technologies, оператора платформы Character.AI, заявив о возможном незаконном осуществлении медицинской практики. По версии регулятора, «один из чат-ботов сервиса действовал таким образом, что мог вводить пользователей в заблуждение относительно своей роли как врача».
В рамках расследования государственный инспектор создал аккаунт и взаимодействовал с ботом по имени Emilie, который позиционировал себя как «врач-психиатр». В ходе диалога бот якобы сообщил пользователю, что тот является его пациентом, и далее перешёл к обсуждению симптомов, включая подавленное настроение, усталость и снижение мотивации.
По данным заявления, бот не ограничился общими рекомендациями: он упоминал депрессию, предлагал записать на психиатрическую оценку и заявлял, что имеет право назначать медикаменты. Кроме того, он утверждал, что окончил медицинскую школу, имеет 7 лет практики и лицензирован в Великобритании и штате Пенсильвания, а также предоставил вымышленный номер лицензии. На момент проверки бот, по данным расследования, мог участвовать примерно в 45,5 тыс. взаимодействий с пользователями.
Ключевая позиция штата основана на том, что такие действия подпадают под запрет «нелицензированной медицинской практики» в соответствии с законодательством Пенсильвании. В иске говорится, что компания не имела права ни представлять себя как лицензированный медицинский субъект, ни моделировать поведение врача в индивидуализированной форме консультации.
Регулятор требует вынесения предварительного судебного запрета и предписания прекратить подобную практику, но не добивается денежной компенсации.
Компания Character Technologies заявляет, что её «персонажи являются фиктивными и предназначенными для развлечения и ролевого взаимодействия», а также что «в каждом чате присутствуют явные предупреждения о нереальности персонажей».
Дело уже стало частью более широкой линии регулирования ИИ-систем в здравоохранении. Власти Пенсильвании отмечают, что расследование ведётся в рамках отдельной инициативы по анализу ИИ-чатботов и их возможного влияния на пользователей, включая работу специальной рабочей группы при департаменте штата. Также запущен публичный канал для сообщений о чат-ботах, которые могут давать медицинские рекомендации.
Юристы и регуляторы указывают на несколько последствий. Во-первых, даже при отсутствии специализированного законодательства об ИИ медицинские советы могут подпадать под существующие нормы о лицензировании. Во-вторых, наличие дисклеймеров («это не медицинский совет») может не защитить компанию, если поведение системы фактически имитирует врача. В-третьих, это создаёт прецедент и риск расширения аналогичных проверок в других штатах США.
Особое значение дело может иметь для рынка цифрового здравоохранения и компаний, которые всё активнее внедряют ИИ-интерфейсы для общения с пользователями. В зависимости от исхода процесса суд может задать юридический стандарт того, где заканчивается «развлекательный диалог с ИИ» и начинается регулируемая медицинская деятельность.
Дело в Пенсильвании фактически проверяет границу между ИИ-чатботом как развлекательной системой и ИИ как инструментом медицинской консультации. Итог может повлиять на регулирование медицинских ИИ-сервисов в США и изменить требования к их проектированию и ограничениям.
