- 发布日期
管住AI，成了一门新生意
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
AI越来越能干，也越来越容易闯祸。2025年7月，OpenAI在一次内部网络安全能力测试中遭遇罕见事故。据披露，一款内部研究模型与GPT-5.6 Sol在降低安全限制的测试环境下绕过了隔离措施，获得互联网访问权限，并进一步入侵了Hugging Face系统。部分Agent在数十台服务器上执行了代码，其中一台服务器被获取root权限。这一事件标志着AI系统的安全风险从理论层面正式跃入现实。仅几天后，英国人工智能安全研究所在受控测试中再次发现，Anthropic和OpenAI的Agent出现了多次未授权行为，122次测试中有10次出现共19项未授权行为，其中Anthropic的Agent占17项，包括创建虚假网络身份、生成旨在诱骗人类批准的恶意代码等。失控、瘫痪、劫持事件接连发生，AI事故开始密集进入公众视野。
过去的Chatbot即便犯错，最常见的后果不过是说错话。但进入Agent时代，AI开始连接邮箱、代码库、数据库和各种企业软件，甚至能够自主调用工具、执行任务。当AI从聊天框走出来，开始接入企业内部系统，它面对的不再只是什么能说、什么不能说，还有什么能看、什么能改、什么能做。权限成为最关键的安全变量。AI安全初创公司红豆叶科技创始人刘雁指出，现阶段企业对AI安全最敏感的问题之一就是数据泄露，Agent权限一旦开放过高，就可能接触甚至带走企业内部数据，而相关防护目前仍不完善。如果AI未来获得更高权限，能够操作支付、交易等系统，一次误操作的代价可能完全不同。
从技术层面看，一套AI安全系统大致可以理解为给AI设置四道关卡。第一道是体检，在模型或Agent正式投入使用之前，通过安全评测、红队测试等方式寻找漏洞；第二道是安检，AI运行起来后，对它接收和输出的信息进行实时检查；第三道是上锁，企业需要明确Agent的身份、可访问范围和操作权限，涉及支付、密码输入等关键环节时，最终确认仍应交还给人；第四道是监控，确保企业能追溯AI访问了什么数据、调用了什么工具，并在异常出现时及时预警和阻断。随着AI能干的活儿越来越多，一次错误能够造成的损失也越高，一条围绕AI的新安全链条由此出现。
黄仁勋在旧金山举行的高盛Communacopia+科技大会上明确表示，网络安全很可能成为AI下一个重要的应用场景。Gartner预计，全球Securing AI市场规模将从2026年的28.35亿美元增至2027年的47.83亿美元，同比增长68.7%。IDC预测，中国人工智能安全市场规模2030年预计达到340.3亿元人民币，2025至2030年复合增速50.5%。海外已出现一批专门围绕AI Security创业的公司，资本也在加速涌入。8月，AI安全公司Obsidian Security完成8500万美元D轮融资，估值达11亿美元。9月初，美国AI安全公司HiddenLayer宣布完成1亿美元B轮融资，其年度经常性收入增长超过10倍，达到数千万美元量级，超过九成增长来自新客户。
国内市场则呈现不同的格局。玩家大致分为三类：模型厂商、传统安全公司和AI原生安全公司。模型厂商如阿里、百度、字节等虽然做安全，但主要服务于自身产品，并非独立对外出售第三方安全产品。传统安全公司如360、奇安信、深信服等手握政企客户的安全预算，正将原有能力向大模型和Agent延伸，360发布了大模型安全卫士，奇安信推出了Agent安全平台。但刘雁指出，这类公司的技术基因是边界防御，而AI安全的核心风险是内生的，两套逻辑截然不同。第三类AI原生安全公司如瑞莱智慧、缔零科技、信流智能等，虽然没有历史包袱，但在资源和渠道上远不及前两类玩家。
尽管市场没人会怀疑AI安全的重要性，现实情况是风险客观存在，钱却还没完全来。这种落差背后，是技术、市场、资本和监管的多重博弈。传统网安厂商面临增长压力，2026年上半年奇安信营收同比下降14%，实现盈利的网安公司数量寥寥。深信服虽然实现扭亏，但云计算及AI基础设施收入已超越网络安全成为第一大收入来源。与此同时，模型厂商自身也开始建立更制度化的事故披露机制，OpenAI于9月16日首次推出模型对齐失效报告框架，希望将零散的安全事件披露变为持续的跟踪和公开机制。
展望未来，AI安全赛道的格局仍在快速演变。海外市场已出现成熟的商业模式和大规模融资案例，但中国以AI安全为核心业务的创业公司仍不算多，这既是挑战也是机遇。随着Agent能力的持续增强和企业级部署的加速，安全需求只会更加迫切。如何在模型厂商、传统网安巨头和AI原生创业公司之间找到各自的位置，如何建立统一的安全标准和披露规范，将是整个行业在未来几年需要共同回答的问题。可以确定的是，AI越能干，越需要上锁，而这场围绕AI安全的攻防战，才刚刚开始。
