
马修·普林斯怀揣着互联网乌托邦愿景。
在这一愿景中,任何人都能免费在线阅读任何内容,就像早期互联网时代一样。得益于强大的商业模式,内容创作者将如互联网泡沫破裂之前的时期一般拥有充裕的现金支持,而受众将对他们所消费的内容质量感到满意。
但维持这一系统运转的资金并非来自读者腰包,甚至也不会完全依赖广告商。在普林斯的乌托邦里,无需付费墙或令人不胜其烦的腹型肥胖减肥广告,媒体公司也能维持运营。
相反,资金将源自向海量机器人收取访问其网站内容的费用——目前,人工智能公司派遣的机器人正在无偿进行网络爬虫和“抓取”数据以训练它们永不满足的大型语言模型(LLM)。
普林斯有独特的优势。作为网络安全公司Cloudflare的联合创始人,他表示整个互联网有超过20%的内容被隐匿于幕后,而他亲眼目睹了网站爬虫数量的激增态势。
十年前,当Cloudflare还是一家处于起步阶段的初创公司时,普林斯表示,谷歌(Google)的爬虫机器人每为某个网站带来一个用户(即唯一访客,通过谷歌搜索被引荐至该网站的用户),就会抓取该出版商的页面两次。这在很大程度上构成了一种双赢的局面:那些被引荐的用户为网站带来了流量,而出版商则能够通过订阅服务或广告来实现流量变现。
普林斯表示,如今谷歌的爬虫机器人每为某个网站引荐一个用户,就会抓取该网站六次,而对于那些新兴的人工智能公司而言,抓取情况要糟糕得多:OpenAI的抓取与引荐比为250:1,而Anthropic的这一比例更是高达 6000:1。
(Cloudflare称其与80%的顶级人工智能初创公司合作,其数据团队通过比较每家公司推荐的唯一页面请求数与人工智能爬虫发出的请求数来计算这些数字。同样值得注意的是,Anthropic的产品并不包括网页搜索功能,也并未像OpenAI那样旨在将用户引荐到出版商的网站上。)
普林斯表示:“对于这些新人工智能系统而言,‘我将获取你的数据,然后作为交换,我将为你的网站带来流量’价值交换模式将不再奏效。因此,我们必须探索其他模式。”
普林斯致力于拯救媒体行业免于人工智能灭顶之灾,这一动机虽非全然基于道德义务,但严格来说,他本身也是科技界亿万富翁出身的媒体所有者之一,诸如《华盛顿邮报》的所有者杰夫·贝佐斯(Jeff Bezos)和《洛杉矶时报》的所有者黄馨祥(Patrick Soon-Shiong)。2018年,普林斯收购了当地报纸《Park Record》,并正着手将其转型为非营利机构。
在普林斯看来,内容创作的崩盘是对互联网存在本身的一大威胁。倘若缺乏有效的商业模式作为支撑,就没有人有动力创作内容。没有新鲜内容,人工智能模型就没有持续训练的基础,最终也就导致互联网衰亡。
而互联网的消亡,无疑也将意味着Cloudflare的终结,而Cloudflare正是普林斯的主要业务。
人工智能的出现似乎给出版商带来了致命一击。自上世纪90年代以来,随着广告费用和读者群体被谷歌、亚马逊(Amazon)和Meta等大型科技公司侵蚀,出版商业务经历了缓慢而痛苦的衰退。
出版商们就内容使用权提起了诉讼,如《纽约时报》诉OpenAI案,以防止原创作品在未经授权或未获补偿的情况下被抓取。Dotdash Meredith等其他出版物也与人工智能公司达成了数百万美元的一次性协议,允许大型语言模型利用其作品进行训练。
曾助力创建按点击付费在线搜索广告模式的比尔·格罗斯(Bill Gross)创立了一家名叫ProRata.ai的初创公司。该公司希望根据出版商网页在人工智能搜索结果中被引用的频次来给予出版商相应的补偿(披露:《财富》杂志与ProRata.ai和Perplexity.ai均保持着业务合作关系)。他将这一模式比作Spotify,后者采用流媒体付费机制,而非按歌曲或专辑计费,尽管并非所有艺术家都对这一收入分成模式感到满意。
普林斯考虑了所有这些方案,认为它们均未能完全满足要求。但他认为存在一个简单的解决方案,而他正是实施此方案的最佳人选。
普林斯上个月在瑞士举行的世界经济论坛(World Economic Forum)上对我说:“资深媒体高管一直对我说:'我们束手无策!'[人工智能公司] 掠走了我们所有的数据,除了诉诸法律,我们别无他法来捍卫自己的权益。但我的看法是,Cloudflare每天都在与中国政府较量。这只是帕洛阿托的几个书呆子,根本算不上什么大事。”
普林斯拯救内容创作者的计划分为三个部分,他表示该计划已经开始实施。
首先,出版商需要精确掌握其网站被抓取的频率以及具体的抓取方。去年秋天,Cloudflare发布了AI Audit工具,使网站能够使用这套工具来管控人工智能模型对其内容的利用方式,因此,Cloudflare的客户获得了透明度。
一旦网站所有者掌握了这些信息,他们便能自主决定允许哪些爬虫程序(如果有的话)访问其网站。AI Audit通过网络应用程序防火墙规则在网络层面阻止爬虫程序的入侵,因此相较于其他要求网站在后端插入robots.txt代码片段并寄希望于机器人遵守的解决方案,AI Audit提供了更难以渗透的防护。
目前,AI Audit 是Cloudflare用户的一项可选功能。普林斯表示,到2025年上半年,这一情况将转变为“选择退出”机制,届时所有访问受Cloudflare保护的网站的人工智能爬虫都将像恶意流量一样被默认拦截。
普林斯认为,在网络层面阻止每一家人工智能公司的机器人是关键所在。
“当你与OpenAI的山姆·奥特曼(Sam Altman)交谈时,他会说,‘我们当然需要向内容创作者付费。’”普林斯表示,他已就此事与OpenAI的高管进行了直接对话。但是,他表示,他们期望构建公平竞争环境。“如果你向OpenAI收费,但不向Perplexity收费,那么在某种程度上,OpenAI会说,‘这种做法有失公允。’”普林斯表示,解决之道在于全面营造稀缺性。
一旦原创内容变得稀缺,权力就会转移到内容创作者手中,他们将有权决定向人工智能公司收取多少费用以获取其作品。这就是普林斯计划的最终阶段,尽管该阶段的具体细节他尚未完全敲定:即创建一个以高费率卡为交易媒介的原创内容市场。
普林斯说:“如果我们的网络能回归这样一种状态:人类免费获取内容,而机器人则需要为这些内容支付高额费用,那将是非常理想的局面。”
这听起来确实如同一个美好的乌托邦愿景。但普林斯的计划在很大程度上取决于最理想的情况和当前的假设,而在像人工智能这样发展迅速的行业里,这些都无疑是充满风险的。内容创作者们并未坐以待毙,期盼救世主的降临;许多人积极主动地投身于塑造人工智能未来的行列,而非被其击垮。尽管如此,任何有助于解决制作高质量内容所面临的最大挑战之一,以及谁为内容付费构建全新框架的新思路,都无疑是令人耳目一新的思维洗礼。
普林斯说:“也许我们能够真正激发更多极具价值的内容创作,重新为记者、学者以及其他人士开辟一种能让他们繁荣发展的商业模式。如果我们能参与其中,那将是一件极为令人钦佩的事情。”(财富中文网)
译者:中慧言-王芳
马修·普林斯怀揣着互联网乌托邦愿景。
在这一愿景中,任何人都能免费在线阅读任何内容,就像早期互联网时代一样。得益于强大的商业模式,内容创作者将如互联网泡沫破裂之前的时期一般拥有充裕的现金支持,而受众将对他们所消费的内容质量感到满意。
但维持这一系统运转的资金并非来自读者腰包,甚至也不会完全依赖广告商。在普林斯的乌托邦里,无需付费墙或令人不胜其烦的腹型肥胖减肥广告,媒体公司也能维持运营。
相反,资金将源自向海量机器人收取访问其网站内容的费用——目前,人工智能公司派遣的机器人正在无偿进行网络爬虫和“抓取”数据以训练它们永不满足的大型语言模型(LLM)。
普林斯有独特的优势。作为网络安全公司Cloudflare的联合创始人,他表示整个互联网有超过20%的内容被隐匿于幕后,而他亲眼目睹了网站爬虫数量的激增态势。
十年前,当Cloudflare还是一家处于起步阶段的初创公司时,普林斯表示,谷歌(Google)的爬虫机器人每为某个网站带来一个用户(即唯一访客,通过谷歌搜索被引荐至该网站的用户),就会抓取该出版商的页面两次。这在很大程度上构成了一种双赢的局面:那些被引荐的用户为网站带来了流量,而出版商则能够通过订阅服务或广告来实现流量变现。
普林斯表示,如今谷歌的爬虫机器人每为某个网站引荐一个用户,就会抓取该网站六次,而对于那些新兴的人工智能公司而言,抓取情况要糟糕得多:OpenAI的抓取与引荐比为250:1,而Anthropic的这一比例更是高达 6000:1。
(Cloudflare称其与80%的顶级人工智能初创公司合作,其数据团队通过比较每家公司推荐的唯一页面请求数与人工智能爬虫发出的请求数来计算这些数字。同样值得注意的是,Anthropic的产品并不包括网页搜索功能,也并未像OpenAI那样旨在将用户引荐到出版商的网站上。)
普林斯表示:“对于这些新人工智能系统而言,‘我将获取你的数据,然后作为交换,我将为你的网站带来流量’价值交换模式将不再奏效。因此,我们必须探索其他模式。”
普林斯致力于拯救媒体行业免于人工智能灭顶之灾,这一动机虽非全然基于道德义务,但严格来说,他本身也是科技界亿万富翁出身的媒体所有者之一,诸如《华盛顿邮报》的所有者杰夫·贝佐斯(Jeff Bezos)和《洛杉矶时报》的所有者黄馨祥(Patrick Soon-Shiong)。2018年,普林斯收购了当地报纸《Park Record》,并正着手将其转型为非营利机构。
在普林斯看来,内容创作的崩盘是对互联网存在本身的一大威胁。倘若缺乏有效的商业模式作为支撑,就没有人有动力创作内容。没有新鲜内容,人工智能模型就没有持续训练的基础,最终也就导致互联网衰亡。
而互联网的消亡,无疑也将意味着Cloudflare的终结,而Cloudflare正是普林斯的主要业务。
人工智能的出现似乎给出版商带来了致命一击。自上世纪90年代以来,随着广告费用和读者群体被谷歌、亚马逊(Amazon)和Meta等大型科技公司侵蚀,出版商业务经历了缓慢而痛苦的衰退。
出版商们就内容使用权提起了诉讼,如《纽约时报》诉OpenAI案,以防止原创作品在未经授权或未获补偿的情况下被抓取。Dotdash Meredith等其他出版物也与人工智能公司达成了数百万美元的一次性协议,允许大型语言模型利用其作品进行训练。
曾助力创建按点击付费在线搜索广告模式的比尔·格罗斯(Bill Gross)创立了一家名叫ProRata.ai的初创公司。该公司希望根据出版商网页在人工智能搜索结果中被引用的频次来给予出版商相应的补偿(披露:《财富》杂志与ProRata.ai和Perplexity.ai均保持着业务合作关系)。他将这一模式比作Spotify,后者采用流媒体付费机制,而非按歌曲或专辑计费,尽管并非所有艺术家都对这一收入分成模式感到满意。
普林斯考虑了所有这些方案,认为它们均未能完全满足要求。但他认为存在一个简单的解决方案,而他正是实施此方案的最佳人选。
普林斯上个月在瑞士举行的世界经济论坛(World Economic Forum)上对我说:“资深媒体高管一直对我说:'我们束手无策!'[人工智能公司] 掠走了我们所有的数据,除了诉诸法律,我们别无他法来捍卫自己的权益。但我的看法是,Cloudflare每天都在与中国政府较量。这只是帕洛阿托的几个书呆子,根本算不上什么大事。”
普林斯拯救内容创作者的计划分为三个部分,他表示该计划已经开始实施。
首先,出版商需要精确掌握其网站被抓取的频率以及具体的抓取方。去年秋天,Cloudflare发布了AI Audit工具,使网站能够使用这套工具来管控人工智能模型对其内容的利用方式,因此,Cloudflare的客户获得了透明度。
一旦网站所有者掌握了这些信息,他们便能自主决定允许哪些爬虫程序(如果有的话)访问其网站。AI Audit通过网络应用程序防火墙规则在网络层面阻止爬虫程序的入侵,因此相较于其他要求网站在后端插入robots.txt代码片段并寄希望于机器人遵守的解决方案,AI Audit提供了更难以渗透的防护。
目前,AI Audit 是Cloudflare用户的一项可选功能。普林斯表示,到2025年上半年,这一情况将转变为“选择退出”机制,届时所有访问受Cloudflare保护的网站的人工智能爬虫都将像恶意流量一样被默认拦截。
普林斯认为,在网络层面阻止每一家人工智能公司的机器人是关键所在。
“当你与OpenAI的山姆·奥特曼(Sam Altman)交谈时,他会说,‘我们当然需要向内容创作者付费。’”普林斯表示,他已就此事与OpenAI的高管进行了直接对话。但是,他表示,他们期望构建公平竞争环境。“如果你向OpenAI收费,但不向Perplexity收费,那么在某种程度上,OpenAI会说,‘这种做法有失公允。’”普林斯表示,解决之道在于全面营造稀缺性。
一旦原创内容变得稀缺,权力就会转移到内容创作者手中,他们将有权决定向人工智能公司收取多少费用以获取其作品。这就是普林斯计划的最终阶段,尽管该阶段的具体细节他尚未完全敲定:即创建一个以高费率卡为交易媒介的原创内容市场。
普林斯说:“如果我们的网络能回归这样一种状态:人类免费获取内容,而机器人则需要为这些内容支付高额费用,那将是非常理想的局面。”
这听起来确实如同一个美好的乌托邦愿景。但普林斯的计划在很大程度上取决于最理想的情况和当前的假设,而在像人工智能这样发展迅速的行业里,这些都无疑是充满风险的。内容创作者们并未坐以待毙,期盼救世主的降临;许多人积极主动地投身于塑造人工智能未来的行列,而非被其击垮。尽管如此,任何有助于解决制作高质量内容所面临的最大挑战之一,以及谁为内容付费构建全新框架的新思路,都无疑是令人耳目一新的思维洗礼。
普林斯说:“也许我们能够真正激发更多极具价值的内容创作,重新为记者、学者以及其他人士开辟一种能让他们繁荣发展的商业模式。如果我们能参与其中,那将是一件极为令人钦佩的事情。”(财富中文网)
译者:中慧言-王芳
Matthew Prince, co-founder and chief executive officer of Cloudflare.DAVID PAUL MORRIS—BLOOMBERG/GETTY IMAGES
Matthew Prince has a vision of internet utopia.
In it, anyone can read anything online for free, just like how it was in the early dotcom days. Content creators would be flush with cash thanks to strong business models, like in the pre-dotcom days, and audiences would be satisfied with the quality of content they consumed.
But the cash keeping this system running wouldn’t come from readers’ pockets, or even entirely from advertisers. In Prince’s utopia, there are no paywalls or intrusive belly fat ads required to keep media companies afloat.
Instead, the money would come from charging an army of bots to access content on their websites—something the bots, dispatched by AI companies, currently do for free as they crawl the web and “scrape” data to train their insatiable large language models (LLMs).
Prince has a unique vantage point. As the cofounder of Cloudflare, a cybersecurity company that he says more than 20% of the entire internet sits behind, he’s seen the number of crawls on sites drastically increase.
Ten years ago, when Cloudflare was an early-stage startup, Prince says Google’s bots would crawl a publisher’s pages twice for every person—or unique visitor—that Google’s search engine referred back to that site. It was, for the most part, a mutually beneficial arrangement: Those referred users resulted in website traffic, which publishers could then monetize through subscriptions or advertisements.
Today, Prince says Google crawls websites six times for every referred user and for upstart AI companies, the crawling is significantly worse: OpenAI’s crawl-to-referral ratio is 250:1, and Anthropic’s is a whopping 6,000:1.
(Cloudflare says it works with 80% of the top AI startups and its data team calculated these numbers by comparing the number of unique page requests referred by each company versus the number of requests made from their AI crawlers. It’s also worth noting that Anthropic’s product doesn’t include a web search function and is not designed to refer users to publisher sites to the same extent that OpenAI does.)
“For these new AI systems, the value of, ‘I’m going to take your data and then in exchange I’m going to send traffic back to your site’—that’s just going to break,” says Prince. “And so we have to invent some other model.”
Prince’s motivation to save the media industry from AI demise isn’t derived purely from a sense of moral obligation, although he is technically one of those tech-billionaires-turned-media-owners like the Washington Post’s Jeff Bezos and L.A. Times’ Patrick Soon-Shiong. In 2018, Prince purchased his local paper, the Park Record, which he is currently trying to turn into a nonprofit.
In Prince’s view, the collapse of content creation is an existential threat to the internet itself. If there’s no business model to support it, then no one will be incentivized to make it. Without fresh content, there is nothing for the AI models to continuously train on, and eventually, no internet at all.
And no internet means no Cloudflare, which is Prince’s primary business.
The advent of AI has seemed like the nail in the coffin for publishers, who have experienced a slow, painful decline in their businesses since the 1990s as advertising dollars and readers got siphoned off to large tech companies like Google, Amazon, and Meta instead.
Lawsuits over content usage rights, like the New York Times vs. OpenAI, have been filed to protect original work from being scraped without permission or compensation. Other publications, like Dotdash Meredith, have struck multimillion-dollar, one-time deals with AI companies to allow LLMs to train on their work.
Bill Gross, who helped create the pay-per-click online search advertising model, founded ProRata.ai, a startup that wants to compensate publishers based on how heavily referenced their pages are in AI search results (disclosure: Fortune has a business partnership with ProRata and Perplexity.ai). He likens the approach to Spotify, which pays artists per stream versus on a per song or per album basis, although not all artists find that model’s revenue split satisfactory.
Prince has considered all of these options and thinks none of them totally suffice. But he thinks there is an easy solution that he’s best positioned to execute.
“Senior media executives keep saying to me, ‘There’s nothing we can do! [AI companies] take all of our data, and there’s no way to fight back except with lawsuits,” Prince told me at the World Economic Forum in Switzerland last month. “My view is, Cloudflare battles the Chinese government every day. This is just a couple of nerds in Palo Alto. This is no big deal.”
Prince’s plan to save content creators has three parts, which he says he’s already begun to roll out.
First, publishers need to see precisely how often their sites are being scraped, and by whom. Cloudflare’s clients were given this transparency last fall when the company announced AI Audit, a suite of tools sites can use to control how their content is used by AI models.
Once site-owners have that information, they can figure out which—if any—of the crawlers they want to enable access to. AI Audit blocks the crawlers at a network level through a web application firewall rule, making it more impenetrable than other solutions, which require sites to stick in snippets of robots.txt code into their backends and hope bots will obey.
Right now, AI Audit is an opt-in experience for Cloudflare users. Within the first half of 2025, Prince says that will change to become opt-out, at which point all AI crawlers to the sites Cloudflare protects will become blocked by default, like malicious traffic.
Blocking every AI company’s bots at the network-level is key, Prince believes.
“When you talk to Sam Altman of OpenAI, he’ll say, ‘Of course we need to pay content creators,’” says Prince, who says he has talked to OpenAI executives directly about the problem. But, he says, they want it to be an even playing field. “If you charge OpenAI, but you don’t charge Perplexity, at some point, OpenAI will say, ‘Well, that’s not fair.’” The solution is to create scarcity across the board, Prince says.
Once original content becomes scarce, the power then flips to the content creators, who can decide how much to charge AI companies for access to their goods. That’s the final phase of Prince’s plan, which he doesn’t have fully formulated: creating a marketplace for original content with a high rate card.
“It would be great if we got to a web that was back to: Humans get content for free, and bots pay a lot for that content,” Prince says.
It’s a nice-sounding utopia. But a lot of Prince’s plan hinges on best-case scenarios and current assumptions, all of which can be dangerous in an industry that moves as fast as AI. Content creators also aren’t waiting for a knight in shining armor; many are actively determined to shape the AI future instead of being pummeled by it. Still, any creative thinking that helps solve one of the biggest challenges to the production of high-quality content—and that creates a new framework for who pays for it—is a refreshing thought exercise.
“Maybe we can actually unlock a lot more really valuable content creation and re-enable a business model for journalists and academics and others to thrive and survive,” Prince says. “If we can be a little part of that, that would be pretty cool.”