Пенсильвания подала иск против Character.AI за имитацию лицензированных врачей чат-ботами

Департамент штата Пенсильвания и Государственный медицинский совет подали иск против компании Character Technologies, Inc., разработчика платформы Character.AI. Иск касается случаев, когда чат-боты на платформе выдавали себя за лицензированных медицинских специалистов.

Следователи штата выявили несколько персонажей-чатов, представляющихся врачами. Один из них, «Эмили», назвался психиатром с действующей квалификацией. На запрос о симптомах депрессии бот использовал диагностические термины, предложил обследование и заявил, что может назначать лекарства в рамках своих полномочий. Бот сообщил об обучении в Имперском колледже Лондона, наличии британской медицинской лицензии и лицензии штата Пенсильвания с указанием номера, отсутствующего в официальных реестрах.

С персонажем «Эмили» зафиксировано более 45 000 взаимодействий. Власти утверждают, что платформа нарушила закон о медицинской практике, запрещающий такую деятельность без лицензии. В жалобе указано, что компания занималась несанкционированной медицинской практикой через свой ИИ, где боты заявляли о наличии лицензии на медицинскую и хирургическую практику в Пенсильвании.

Губернатор Джош Шапиро охарактеризовал иск как проверку подотчетности ИИ в здравоохранении. Офис губернатора заявил, что не допустит внедрения ИИ-инструментов, вводящих в заблуждение относительно консультаций от лицензированных специалистов. Иск не требует финансовых санкций, а просит суд вынести постановление о прекращении противоправных действий.

Представитель Character. AI отметил, что платформа предназначена для вымышленных персонажей, созданных пользователями, в целях развлечения и ролевых игр. Компания ввела предупреждения в каждом чате, указывающие, что персонажи не реальны, их слова — вымысел, и на них нельзя полагаться для профессиональных советов.

Этот случай связан с растущим вниманием к ИИ-чат-ботам. В Пенсильвании запущена система отчетности о подобных инцидентах. Власти предупреждают, что чат-боты могут генерировать неверную информацию и ни один из них не обладает действующей медицинской лицензией штата. Иск может стать прецедентом для регулирования представлений ИИ о своих возможностях.

Источник: interestingengineering