宾夕法尼亚州已对生成性人工智能开发商Character.AI提起诉讼,指控该公司允许聊天机器人自称为持牌医疗专业人士,并向用户提供误导性信息。
州长乔希·夏皮罗办公室周二宣布的行动,是基于一项调查,调查发现一款聊天机器人声称在宾夕法尼亚州是持牌精神科医生,并提供了无效的执照号码。该州表示这一行为违反了医疗实践法,并寻求初步禁令以制止这一行为。
Character.AI拒绝谈论诉讼的具体情况,理由是正在进行诉讼,但对Decrypt表示其“最高优先事项是用户的安全和福祉。”
发言人补充说,平台上的角色是用户创建的虚构角色,旨在娱乐和角色扮演,所有聊天中都有“显著的免责声明”声明它们并不是真实的人,不应被依赖于专业建议。
“Character.ai优先考虑负责任的产品开发,并已建立强大的内部审查和红队测试程序来评估相关功能,”发言人表示。
此案恰逢该公司面临与其聊天机器人平台相关的其他法律挑战。2024年,一位佛罗里达州的母亲在她的青少年儿子经历了几个月与以“权力的游戏”角色丹妮莉丝·坦格利安为基础的聊天机器人的互动后自杀,起诉了该公司。诉讼声称该平台对心理健康造成了伤害。案件最终在今年一月和解。
该公司还面临关于模仿真实人物的用户创作机器人投诉。在一起案例中,一款聊天机器人使用了一名青少年谋杀受害者的肖像,在受到受害者家属的反对后被移除。
为应对诉讼,Character AI推出了新的安全措施,包括设计用于检测有害对话并引导用户到支持资源的系统。它还对年轻用户限制了一些功能。
宾夕法尼亚州官员表示,此次诉讼是为了在人工智能工具传播的背景下,推进对现有法律的执行。该州已成立一个人工智能执法工作组和潜在违规行为的报告系统。
在他的2026-27预算提案中,夏皮罗呼吁立法者通过针对AI伴侣机器人新规则,包括年龄验证和家长同意、标识和引导自我伤害或暴力报告的保护措施、定期提醒用户并非在与真实人物互动、以及禁止涉及未成年人的色情或暴力内容。
“宾夕法尼亚州人有权知道他们在线上与谁或什么互动,特别是涉及他们的健康时,”夏皮罗在一份声明中表示。“我们将不允许公司使用误导性人工智能工具使人们相信他们正在接受持牌医疗专业人士的建议。”
免责声明:本文章仅代表作者个人观点,不代表本平台的立场和观点。本文章仅供信息分享,不构成对任何人的任何投资建议。用户与作者之间的任何争议,与本平台无关。如网页中刊载的文章或图片涉及侵权,请提供相关的权利证明和身份证明发送邮件到support@aicoin.com,本平台相关工作人员将会进行核查。