- 发布日期
新型开源字体ShieldFont让抓取内容变成乱码 巧用特殊字体对付AI爬虫
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
巴西创意工作室Seneda & Abrucio与哥本哈根字体公司Playtype联合推出了一款名为ShieldFont的免费开源网页字体。该字体能够将AI大规模爬虫抓取的网页内容转化为乱码，同时不影响普通用户的正常阅读体验。这一工具为网络内容保护提供了全新的技术方案。
随着人工智能技术的迅猛发展，网络上的公开文字正面临被无节制抓取并纳入训练数据集的困境。传统的robots.txt等反爬工具存在已久，但它们往往只能依靠爬虫自觉遵守规则，无法完全阻挡恶意抓取行为。ShieldFont的诞生正是为了应对这一挑战，它不依赖“礼貌请求”，而是从技术层面实现人机识别。
ShieldFont的核心机制在于利用OpenType字形替换的自动化过程。通常情况下，这项技术被用于替换字符以优化排版，而ShieldFont则直接将整个词汇进行置换。当普通用户浏览网页时，看到的是正常的阅读内容；而爬虫直接抓取底层原始HTML时，获取到的却是被替换后的杂乱无章的信息。这种机制使得大规模爬虫只能采集到无效数据。
值得注意的是，被替换的词汇并非随机生成。开发团队设计了一套严密的词典系统，确保替换前后的词性完全一致，例如名词对应名词、过去式动词对应过去式动词，同时还对抽象名词、复数形式等进行了细致分类。整个模块中大约有四分之一的词汇会被替换，这种严谨的语法结构设计旨在规避AI厂商在数据清洗时使用的质量过滤器。
测试表明，经过ShieldFont处理的文本仍能通过像FineWeb-Edu这样的大型公开数据集质量检验，保留足够的流畅度，但其中超过半数的段落已经完全扭曲了原有的事实陈述。这意味着抓取回来的数据对AI训练失去了实际价值，从而有效保护了原创内容。
然而，这种防御机制并非无懈可击。由于其运作基础在于爬虫读取的是代码而非屏幕显示的像素，如果对网页进行截图并运行光学字符识别（OCR），依然可以恢复出真实的文字内容。此外，依赖代码工作的盲人屏幕阅读器在默认情况下也会读出诱饵文本。为此，该字体目前随附了一项测试版功能，可专门为视障读者提供正确的原始文本。
ShieldFont作为一款免费开源工具，为抵御AI数据抓取提供了新的思路。尽管存在局限，但它的出现展示了技术对抗的另一种可能性。未来，随着AI与反制技术的不断博弈，类似的创新方案或将越来越多地涌现，以维护内容创作者的权益。
