谷歌(Google)近日更新了其生成式AI的使用条款,明确指出客户可以在医疗保健等“高风险”领域部署其生成式AI工具进行“自动化决策”,但前提是必须有人工监督。

根据谷歌周二发布的最新版《生成式AI禁止使用政策》,客户可以使用谷歌的生成式AI做出可能对个人权利产生“重大不利影响”的“自动化决策”。只要有人工以某种形式进行监督,客户就可以使用谷歌的生成式AI来决定就业、住房、保险、社会福利和其他“高风险”领域的事项。

在AI领域,自动化决策指的是AI系统基于事实数据和推断数据做出的决策。例如,一个系统可能会自动决定是否批准贷款申请,或筛选求职者。

此前,谷歌的条款草案暗示全面禁止在高风险自动化决策中使用该公司的生成式AI。但谷歌告诉TechCrunch,只要有人工监督,客户始终可以使用其生成式AI进行自动化决策,即使是高风险应用也不例外。

“对于所有高风险领域,我们的人工监督要求始终存在于我们的政策中,”谷歌发言人在通过电子邮件联系时表示,“我们正在重新分类[条款中的]一些项目,并更明确地列出一些例子,以使客户更清楚地了解。”

谷歌的主要AI竞争对手OpenAI和Anthropic对高风险自动化决策中AI的使用有更严格的规定。例如,OpenAI禁止将其服务用于与信贷、就业、住房、教育、社会评分和保险相关的自动化决策。Anthropic允许其AI在法律、保险、医疗保健和其他高风险领域用于自动化决策,但前提是必须由“合格的专业人员”监督,并且要求客户披露他们正在为此目的使用AI。

影响个人的自动化决策AI受到了监管机构的密切关注,他们对这项技术可能造成的偏见结果表示担忧。研究表明,例如,用于批准信贷和抵押贷款申请的AI可能会延续历史歧视。

非营利组织人权观察呼吁禁止“社会评分”系统,该组织认为这可能会破坏人们获得社会保障支持的机会,损害他们的隐私,并以带有偏见的方式对他们进行画像。

在欧盟的《人工智能法案》中,高风险AI系统(包括做出个人信贷和就业决定的系统)面临最严格的监管。这些系统的提供商必须在数据库中注册,执行质量和风险管理,雇用人工监督员,并向相关部门报告事件,以及其他要求。

在美国,科罗拉多州最近通过了一项法律,要求AI开发人员披露有关“高风险”AI系统的信息,并发布总结系统功能和局限性的声明。与此同时,纽约市禁止雇主使用自动化工具筛选候选人的就业决定,除非该工具在前一年内接受过偏见审计。

此次谷歌澄清AI使用条款,表明了该公司在AI应用监管方面的态度。允许高风险领域自动化决策,但又强调人工监督的重要性,这既体现了AI技术应用的潜力,也反映了对潜在风险的警惕。