荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

能无限制生成“灾难”图片,谷歌地球 AI 生图功能上线不到一天就下架

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

谷歌地球(Google Earth)一项基于人工智能的图像编辑功能在上线不足24小时后便紧急下架,这一戏剧性转折源于该功能被滥用生成大量以假乱真的“灾难”图片。8月1日,谷歌确认已从谷歌地球中撤下这项功能,并承诺将加强安全防护措施后再重新评估。此次事件再次引发业界对AI生成内容监管的激烈讨论。

该功能是谷歌为谷歌地球新增的AI图像编辑工具,调用旗下Gemini模型中的Nano Banana 2图像生成系统。用户只需输入文字指令,即可对谷歌地球中的真实地点影像进行修改,例如添加火灾、洪水或战争废墟等场景。谷歌原本期望这一功能能够帮助地理空间领域的专业人员快速模拟不同环境变化,从而辅助规划与应急响应工作,但未料想其上线后迅速成为滥用工具。

据科技媒体IT之家报道,该功能于7月31日上线后,AI研究人员亨克·范埃斯便制作了多张虚假卫星图像并在社交平台展示,从美墨边境的难民营到位于伊朗的核电站,这些图像细节逼真,几乎无法用肉眼辨别真伪。范埃斯的测试很快引发关注,更多用户开始效仿,生成各类灾难性场景,导致舆论压力骤增。

从技术层面看,Nano Banana 2模型能够基于地理影像的上下文进行语义理解,并生成与原始场景无缝融合的像素级修改。谷歌方面强调,所有AI生成图像均带有不可见水印,且这些内容并未进入公众可查看的谷歌地球地图库中,普通用户仅能将其作为独立图片输出。但这一技术特性仍未阻止滥用行为,因为截图可以轻易去除水印标识。

此次下架对多个群体产生了直接影响。对于依赖谷歌地球进行城市规划、灾害预警和新闻报道的专业机构而言,该功能的突然移除打乱了其工作流程;而广大用户则对谷歌产品在AI伦理上的把控能力投下不信任票。更关键的是,这一事件为尚在襁褓中的地理信息AI应用蒙上了阴影,使资本和开发者更加谨慎。

谷歌发言人于7月31日在X平台发布声明称:“地理空间领域的专业人员利用这项功能完成了不少实用工作,但也有人分享生成图像的截图,部分内容似乎违反了我们的政策。因此,在建立更严格的安全防护措施期间,我们将从Google Earth中撤下该功能。”这一表态被外界解读为谷歌在承认技术漏洞的同时,试图挽回企业形象。AI伦理研究者则指出,谷歌的仓促行动恰恰暴露了其内部审核流程的缺陷。

未来,谷歌可能会在模型训练中引入更严格的内容过滤机制,并增加实时滥用监测系统。有迹象表明,谷歌将成立专项小组,针对地理影像生成制定红线政策,例如禁止生成涉及军事设施、边境管控或人文灾难的图像。业界分析师预测,该功能不会永久关闭,但重新上线的门槛将大幅提高,且很可能要求用户身份认证或限制生成次数。

从宏观视角看,谷歌并非唯一在AI功能上“翻车”的科技巨头。7月7日,Meta推出Muse Image功能,允许调用成年用户公开Instagram图片生成AI内容,不到一周便因隐私争议紧急撤回。这种“先上线、后补救”的模式在AI竞赛中愈发常见,背后是企业在创新速度与责任之间的失衡。行业观察家呼吁,监管机构应出台更明确的AI内容标识规则,而企业则需在产品设计初期就嵌入安全治理,否则类似谷歌地球的闹剧将会不断重演。

阅读原文 →来源:ithome