可以说，维基百科是普通人弄懂一个概念，最便捷也最权威的方式之一。
维基百科的运营机构，是一个叫维基媒体的非盈利组织。组织旗下除了有维基百科，还有维基共享资源，维基词典，维基教科书等项目。
这些项目都是免费给大家用的，因为维基媒体的核心价值观就是让知识能自由获取和共享。
但最近，维基媒体真的被AI公司们闹麻了。
这些公司为了训练大模型，派了无数个AI爬虫源源不断爬取维基媒体上面的数据。
但说起来你可能不信：维基媒体居然没告这些AI公司，而是选择了——
主动上交。
“各位大哥，我把资料都整理好了，你们别爬了行不。”
前段时间，维基媒体把英语、法语的维基百科内容托管在社区平台Kaggle，告诉那些AI公司，要资源自取。
光给资源还不行，维基还要服务好这些大哥，专门把资料针对AI模型的口味优化了一遍。
因为机器和人类不一样，我们看起来清晰直观的页面，他们还需要多动点脑子，来判断每一部分是啥。
所以维基就把页面做成了JSON格式的结构化内容，那些标题、摘要、解释都按照统一格式分好。
这样AI在查看时更容易读懂每一段的内容和数据，从而降低了AI公司的成本。
这一波啊，这一波属于是为了保护老巢不被冲垮，维基给狼群做了一盘美味的肉，扔在了别的地方。
世超觉得，维基这么做真挺无奈的。
早在4月1号时，他们已经发过博客吐槽了：从2024年以来，平台用来下载多媒体内容的流量增加了50%。
本以为是大家更爱学习了，结果一查发现全TM是AI公司的爬虫。爬虫们源源不断地把资源爬回去，然后拿去训练大模型。
爬虫对维基的影响，还真挺大的。
因为维基媒体在全球有多个区域数据中心（欧洲、亚洲、南美等）和一个核心数据中心（美国弗吉尼亚州阿什本）。
核心数据中心存着所有的资料，而区域数据中心会临时缓存一些热门词条。
这么做好处是啥呢？
比如最近很多亚洲人在查“Speed”这个词，那“Speed”就会被缓存到亚洲的区域数据中心。
这样后来的亚洲网友查看“Speed”时，这些数据就会走同城快递，从亚洲数据中心出发，不用再从美国的数据中心走国际物流了。
这高频词条走廉价通道，低频词条走高价通道的办法，不光提高了各个区域用户的加载速度，也降低了维基媒体的服务器压力。
但问题是：AI管你这的那的？只要是个词条，它都要访问，而且批量性访问。
这就导致不断有流量走高价通道。
前段时间维基媒体就发现，那些走美国数据中心的高成本流量，居然有65%都是AI爬虫糟蹋的。
要知道维基是免费的，但它的服务器不是，每年都有300万美元托管成本呢。
不过吐槽可能并没啥用，所以几周后维基媒体选择把资源整理出来，托管在其他平台，让AI公司自取。
其实不光是维基百科，从内容平台到开源项目，从个人播客到媒体网站大家都遇到过类似问题。
去年夏天，iFixit老板就在推特上吐槽Claude的爬虫在一天访问了自家网站100万次。。。
看到这，你可能会说，不是一个有机器人协议robot.txt么，不想让AI爬虫访问自己的网站，可以把它写进协议里。
啊对，在ifixit把Claude爬虫添加到robots.txt后，爬行确实暂停了下（变成了30分钟一次）
在曾经的互联网时代，robots协议的确是个一劳永逸的技术，也有公司因为不遵守吃到了官司。
但搁现在，这个君子协议只能算纸老虎。
现在的大模型公司，能爬尽爬。
毕竟别家都在爬，你不爬，那你的语料库就不如别人强大，大模型起跑线就会低人一等。
那咋办——
给爬虫换一个名字呗（user-agent）。你只说不让鲁迅爬，又没让说不让周树人爬。
有没有大模型这么无耻？可太多了。
之前就有reddit网友明明在协议中禁止OpenAI的爬虫，结果对面改了下名字，继续爬。
再比如perplexity也被科技媒体WIRED抓包过，根本无视robots协议。
这些年呢，大家也在尝试各种新的办法。
有人研究出在robots协议中放一个坏死链接，但凡点进链接的一定是爬虫，毕竟正常用户是不会点击这个协议。
还有人选择借助Web应用程序防火墙(WAF)，基于IP地址、请求模式、行为分析综合识别恶意爬虫。
也有人决定给网站弄一套验证码。
但基本上这些办法，往往道高一尺，魔高一丈。你抵抗越狠，AI公司也会采取更残暴的爬取手段。
所以赛博菩萨cloudflare前段时间出了一套技术是监测到有恶意爬虫，就索性让爬虫进来。
当然放它进来，不是给它好吃的，而是做了一道“错饭”——
提供一串和被抓取网站无关的网页，让AI在里面慢慢看。
cloudflare的操作还算是收敛着了。
今年1月，有网友写了一款更凶狠的工具，叫Nepenthes猪笼草。
和猪笼草杀死昆虫一样，“猪笼草”将AI爬虫困在没有出口链接的“无限迷宫”静态文件中，让它们抓不了真实内容。
不光如此，“猪笼草”还不断向爬虫投喂“马尔可夫乱语”，来污染AI的训练数据。据说这个技术目前仅有OpenAI的爬虫能逃脱。
好好好，原来AI攻防战，在大模型训练源头就已经打响了。
当然了，平台们也可以和AI公司达成协议。
比如Reddit和推特都向AI公司推出了收费套餐，每月使用多少API、访问多少推文，我就收你多少钱。
也有没谈成还打起官司的。比如《纽约时报》商量无果后，就起诉了OpenAI抓取自家文章。
看到这你可能会好奇：为什么维基百科不告这些AI爬虫呢？
世超猜测，这可能和维基百科本身有关。
维基百科的许可协议非常开放。
它大部分内容是允许任何人（包括AI公司）在遵守署名和相同协议共享的条件下，自由地使用、复制、修改和分发。
所以从法律角度来看，AI公司抓取、使用维基百科的数据进行模型训练，大概率还是合法的。
而且就算把AI公司告上法庭，但现在业内也没有对AI侵权这块有个明确的法律界限。这种风险大、成本高、消耗时间久的选择，对维基媒体来说，并不切合实际。
最主要的是，维基媒体的使命就是——让地球上的每个人都能自由获取所有知识。
虽然AI爬虫带来的服务器成本是一个问题，但通过法律手段或商业协议，来限制别人获取资源，或许和他们的使命相违背吧。
照这么来看，维基媒体选择把数据整理好，给AI公司拿去训练，也许是最合适，但也最无奈的办法吧。
