就人工智能给出法律、医疗建议而产生的安全风险这一问题, 美国纽约州正审议一项新法案, 该新法案意在禁止AI聊天机器人假冒律师、医生等持有执照的专业人士给出实质性答复, 并且允许受到误导的用户提起诉讼要求赔偿。
据了解, 这会是全美国第一部这样的立法, 它的适用范畴包含法律、医疗、心理健康等全部持证的行业, 是纽约州一系列AI监管法案里重要的构成部分中的一个。
涉及AI生成的健康类虚假信息，已充斥着美国互联网
据路透社报道, 纽约州和全美各州一样, 严禁没有证件的人员冒充律师、医生去提供服务, 不然就会构成非法执业。纽约州参议员、法案发起人克里斯汀·冈萨雷斯5日表示, 情况是目前并没有任何法律能够限制大语言模型模仿律师、医生做出回复, 这是非常令人担忧的标点符号。
冈萨雷斯还讲了这么个事儿, 要是有用户因为轻信AI聊天机器人给出的错误行动建议而遭受了损失, 那么这个用户是有权利提起诉讼的。按照法案条款所规定的, 哪怕平台标注了“非人类聊天机器人”这样的提示, 也没办法免去它所要承担的法律责任。受害者能够向法院去起诉违规机器人的所有者, 以此来要求损害赔偿。
该法案若通过，将在90天后正式生效
在这里需要留意的是, 法案作出规定, “向所有者授权其聊天机器人技术的第三方开发商”被排除在所有者的定义范围之外, 这就意味着, 像OpenAI这样的语言大模型提供商并非该法案主要针对的对象。而那些采用了这些模型, 并且把它们部署到专业咨询领域, 提供给最终用户使用的公司和机构, 才会承担法律风险。
另外一方面, 鉴于这些年来, 美国的医疗保健体系变得越发复杂, 同时还特别难以获取, 于是, 美国人在OpenAI旗下的GPT平台之上开展健康方面的提问, 这已经从单个的行为逐渐演变成了一种普遍存在的社会现象。依据OpenAI在2026年年初所发布的一份报告表明, 有超过4000万的美国人每天利用GPT去咨询跟医疗健康有关的问题。
至于就全球范畴而言, 跟医疗存在关联的提示词, 已然占据GPT全部消息的5%还要多, 有着四分之一的用户, 每一周都会提交起码一个跟健康有关的问题。与此同时, 患者在就医进程当中, 愈发深入地运用AI问诊, 包含把检查结果, 医学影像, 甚至医嘱都发送给AI, 去寻求解释或者第二诊疗意见。
拥有如此大规模的AI问诊情形, 同样引发了临床医生以及学者们的忧虑。依据2025年4月一份针对PubMed里涉GPT的文献剖析报告表明, 尽管GPT能够回答常见医学问题、给出建议, 并且在不太繁杂的场景里对症状予以分类, 然而其临床准确率却在20%至95%之间进行大幅度波动, 极为不稳定, 不适宜当作独立的临床即时决策工具。
还有, OpenAI、谷歌Gemini以及Character.AI, 曾因为AI生成的回复致使最终用户自杀, 进而被起诉。尽管这些企业对指控持否认态度, 且达成了部分和解情形, 然而争议内容持续不断地发酵。就在本周这个时间段内, 日本生命保险美国子公司才刚刚起诉了OpenAI, 指控制GPT没有相关许可就开展业务, 诱导之前的伤残索赔人违反和解协议, 还向联邦法院递交了大量没有事实根据的法律文件来实行滥诉行为。而OpenAI答复声称, 该指控“没有依据”。
关于此次纽约州针对AI职业冒充所颁布的禁令能不能取得成功, 这会依赖于其给出定义的精确程度以及法院所做的解释, 重点在于“实质性回应”的定义是什么。比如说, AI摘要公布的法律条文或者建议, 也许仅仅是在提供信息。然而当它把信息运用至用户的特定情形时, 有可能会被判定为超出界限, 最终还是要靠法院来进行界定。
当下, OpenAI公司没有进行置评, Anthropic等公司也都没有进行置评。
