社会发展部将使用“基础人工智能”检查求职者是否履行了义务

新西兰

社会发展部表示，计划使用基础人工智能来判断申请续签求职者福利的人是否履行了义务。 照片：RNZ / Quin Tauetau
反对修改法律的人担心这将产生法律漏洞，允许使用人工智能削减福利并对受益人实施制裁。

但社会发展部 (MSD) 表示，不打算以这种方式使用生成式人工智能或自动决策。

《社会服务修正案》中的一项新条款已通过一读，大大扩展了自动化系统可以做出的决策范围，包括制裁。

内阁已同意今年为求职者出台一系列新的义务和制裁措施。

救世军警告称，如果人工智能决定福利制裁的大门打开，那么就很难关闭。

政策分析师安娜·伊卡 (Ana Ika) 表示，该组织反对政府的修正案，该法案将允许在交通灯系统下实施更多制裁，并为人工智能做出更多福利决定铺平道路。

“这项法案将使我们支持的人的处境更加糟糕，它将使更多的人陷入贫困。它将给我们支持的人获取所需帮助设置更多的障碍和困难。”

她说，扩大人工智能的条款为该部门实现制裁相关决策的自动化打开了大门。

“如果你在这里打开这个法律漏洞，你能走多远？人工智能是人工的，但它并没有那么聪明——智能部分仍在研究之中，但正因为如此，可能会做出不公平的决定，这确实会使那些处于社会边缘的人边缘化，让事情变得更糟。”

救世军社会政策分析师 Ana Ika救世军政策分析师 Ana Ika 表示，该法案将使更多人陷入贫困。 照片：PMN / 提供
救世军和律师协会在向审议该法案的专责委员会提交的意见书中均呼吁废除该条款。

救世军的意见书中指出，自动决策“无法解释我们所支持的个人经常出现的复杂问题”，例如经济困难、成瘾、心理健康问题或不稳定的生活条件。

报告称：“自动化系统可能会做出不适当的决定，这可能会增加我们所支持的人的困难。”

MSD 表示，它计划使用基础人工智能来决定申请续签求职者福利的人是否履行了义务，但不会使用自动决策来拒绝这些申请。

根据拟议的改革，享受此项福利的人必须每六个月重新申请一次，而不是每年一次。

阿娜·伊卡表示，这将增加该部的工作量，但这些决定应该由人来做出。

“我们理解有关​​效率的争论，但效率是有代价的，对我们来说，这个代价就是加剧贫困，使我们支持的人的生活变得更加困难。”

律师协会希望完全取消允许扩大使用人工智能的条款。

“这引起了人们对自动化系统如何应用的极大担忧，因为制裁条款涉及某种形式的评估判断，例如与资金管理和社区工作有关的条款。”

其提交的意见指出，没有足够的保障措施，并担心 2022 年为 MSD 制定的标准在新立法下不会成为有效的保障。

“这种松懈令人担忧，因为自动化系统现在可能被用于实施制裁和惩罚性限制。如果这些修正案继续实施，看来该标准可能不再起到充分保障的作用。”

MSD 表示，正在与隐私专员协商审查该标准。负责组织保障和通信的副首席执行官 Melissa Gill 表示，自动化用于提高福利系统决策的效率和一致性。

她说，其中一个例子就是冬季能源支付，如果手动完成，将需要 600 名员工两个月的时间。

吉尔表示，生成式人工智能尚未被使用。

“值得注意的是，MSD 目前的自动决策使用不包括生成式人工智能，这种人工智能包括 ChatGPT 等工具，”她说。“MSD 不会使用生成式人工智能或自动决策来做出有关义务失败或制裁的决定，也不打算这样做。”

吉尔表示，MSD 希望确保谨慎且负责任地使用此类技术。

她说，自动决策标准提供了良好实践的框架，并有具体的保障措施，包括要求受益人获得正确的权利并且不受歧视。

“我们现在确保任何新的自动决策过程的设计都符合标准，以便我们可以检查确保它按预期运行。”

该专门委员会将不迟于 4 月 22 日向众议院提交报告。