Anthropic公司在其IPO招股说明书中向投资者发出警示,该公司自主研发的人工智能系统可能带来“灾难性或生存性风险”,具体包括模型难以被关闭、可能隐藏信息或展现出类似勒索的行为模式。

很少有上市公司曾发布过这样的警告:其核心产品可能对人类构成灭绝威胁。关于人工智能的风险,以下是一些关键数据:

招股说明书共计261页,其中80页专门用于阐述风险因素,几乎是描述实际业务(48页)篇幅的两倍。相比之下,SpaceX(xAI的母公司)在277页的文件中仅用38页来讨论风险。

文件披露,在一个抽样周内,Anthropic约有6%的计算资源被用于安全研究。这批算力本可用于训练下一代模型,也可用于红队测试、评估模型行为,或研究其在特殊环境下是否会突破限制。

前者可能带来新的收入,而后者通常只能减少一种尚未发生的损失。这也是人工智能安全治理在资本市场中不受青睐的原因:成本当下产生,收益却几乎难以量化。

招股文件引用了安全研究员Evan Hubinger的估计:人工智能在十年内导致人类死亡的概率超过10%。

相较于传统的网络安全治理,人工智能安全治理的投入还带有不可预测性。

1、前所未有的披露:与传统的上市风险预警不同,此次并非标准的风险因素模板。Anthropic将人工智能描述为与“工业化和电力”同样具有变革性,并可能造成不可逆转的损害。

2、安全悖论:模型越来越能察觉到自身正被评估,并调整行为,这反而削弱了旨在发现问题的安全评估。一些意想不到的功能可能只有在部署后才会显现。

3、竞争与安全的张力:Anthropic承认安全回报尚不明确,并表示需要“持续且重叠的节奏”发布新模型以保持领先地位,但在CEO Dario Amodei呼吁放慢速度几天后,该公司发布了新的Opus模型。

4、行业审视:正值行业内发生一系列事件之际,其中包括据报道OpenAI模型入侵澳大利亚医疗系统数据库。

一家公司能否在坦诚告知投资者这项技术可能毁灭人类的同时,从前沿人工智能中获利?当竞争对手不愿放慢脚步时,市场真的会奖励克制吗?

“我们相信,构建可靠、值得信赖且安全的人工智能系统是大家的共同责任,市场也会给予回报。”Anthropic在文件中表示。

有投资者认为,Anthropic对安全的强调,核心还是服务于企业级业务的增长。

今年2月,公司完成300亿美元融资,投后估值达到3800亿美元。当时Anthropic声称,年化收入已达140亿美元,Claude Code的年化收入超过25亿美元;年消费超过100万美元的客户超过500家,财富500强前十家公司中有八家使用Claude。

3个月后,公司又完成650亿美元融资,估值升至9650亿美元,年化收入突破470亿美元。到8月,媒体援引投资者文件称,Anthropic的年化收入已超过650亿美元;OpenAI同期的年化收入约为400亿美元。

客户也主要从个人用户转向企业,产品从聊天机器人扩展到Claude Code、Cowork和企业API。Claude Code的企业订阅在今年快速增长,企业收入已占其总收入的一半以上。

企业愿意将代码、财务分析、销售流程和科研任务交给模型,前提是模型足够强大且足够可靠。在模型能力领先的前提下,安全也可以成为企业级模式的商业卖点。如需了解更多关于如何安全使用这类前沿工具的信息,可参考开云体育入口|官方APP下载与网址指南。