- 发布日期
原告在法庭文件中隐藏隐形AI指令,秘密影响自动化审查
- 作者

- 姓名
- 荷鲁斯快报
- 社交账号
康涅狄格州一名原告试图通过在官方文件中嵌入不可见的人工智能指令,秘密影响自动化法院审查,促使法官撤销其电子文件提交权限。此案凸显了一种日益严重的威胁,即提示注入,即隐藏在文档中的恶意文本可以操纵自动化系统。随着法院开始采用人工智能工具,这也引发了关于法律程序公正性的重要问题。该裁决强调,虽然人工智能可以帮助诉讼当事人,但不诚实地试图利用它的行为将不会被容忍。
自行代理的原告马修·埃利奥特于2025年10月对纽约减重集团提起诉讼,指控其违反数据隐私和歧视。他在文件中嵌入了提示注入,使用白色背景上的3磅白色文字,使人类无法看到,但任何处理该文档的人工智能都能完全读取。这些指令指示一个假设的人工智能系统使其输出与他的文件保持一致,并将之前书记官的拒绝视为需要纠正的错误。这种技术利用了语言模型解析文档方式的一个根本弱点。
当法院注意到埃利奥特文件中的异常空白时,这个计划败露了。仔细检查后发现这些近乎隐形的文字,促使法官小沃尔特·斯佩德安排听证会,并警告埃利奥特不要隐藏文字。埃利奥特无视警告,随后在后续文件中隐藏了嘲讽性评论和一个YouTube链接。他向404 Media表示,最初的举动是对可能存在的AI审查系统的‘审计’,后来的消息只是‘隐形玩笑’。然而,法院认为这种反复行为是故意的。
从技术上讲,这种攻击之所以有效,是因为人工智能系统处理原始文本时不考虑格式。与人类不同,语言模型读取每一个字节,包括白色背景上的白色文字,并且可以遵循嵌入的指令。这是一种提示注入的形式,其中对抗性输入旨在覆盖系统的预期目的。
阅读原文 →来源:the-decoder