近日,Nature自然杂志刊登了一则令人瞩目的消息:中国研发的大型语言模型DeepSeek-R1在科学界引发了广泛热议,被视为OpenAI推出的o1推理模型的有力竞争对手,且更加经济实惠、开放性强。
据悉,DeepSeek-R1采用逐步生成响应的方式,这一机制与人类推理过程颇为相似。这使得它在解决科学问题方面展现出超越早期语言模型的卓越能力,预示着该模型在科研领域或将大有可为。1月20日发布的初步测试结果显示,DeepSeek-R1在化学、数学及编码等领域的特定任务上,表现与OpenAI的o1模型旗鼓相当。o1模型曾在去年9月发布时惊艳四座,而DeepSeek-R1的出现无疑再次刷新了人们的认知。
英国人工智能咨询公司DAIR.AI的联合创始人埃尔维斯·萨拉维亚在社交媒体上感慨道:“这简直太疯狂了,完全出乎我的意料。”
DeepSeek-R1之所以备受瞩目,还源于其开放性。该模型由杭州初创公司DeepSeek发布,并遵循麻省理工学院的许可证,允许研究人员自由重复使用。尽管其训练数据尚未公开,但这一举措已足以让DeepSeek-R1在同类模型中脱颖而出。相比之下,OpenAI的o1及其他模型,包括其最新成果o3,则如同黑匣子一般,缺乏透明度。
在成本方面,DeepSeek-R1同样展现出巨大优势。尽管该公司尚未公布训练该模型的全部成本,但其界面收费仅为o1运行成本的三十分之一。DeepSeek还推出了R1的迷你精简版本,旨在满足计算能力有限的研究人员的需求。德国埃尔朗根马克斯普朗克光科学研究所的马里奥·克伦表示:“使用o1进行实验的成本超过370美元,而使用R1的成本则不到10美元。这一巨大差异无疑将对其未来的应用产生深远影响。”
DeepSeek-R1的成功发布,标志着中国大型语言模型(LLM)领域的蓬勃发展。DeepSeek从一家对冲基金中分拆而来,上个月凭借一款名为V3的聊天机器人一举成名。尽管预算有限,但V3的表现却超越了主要竞争对手。专家估算,租用训练V3所需的硬件成本约为600万美元,而meta的Llama 3.1 405B则高达6000万美元,计算资源是V3的11倍。
尽管面临美国出口管制的限制,中国公司在获取为人工智能处理而设计的最佳计算机芯片方面面临挑战,但DeepSeek仍成功研发出R1。这一事实表明,高效利用资源比单纯的计算规模更为重要。西雅图的人工智能研究员François Chollet对此表示:“R1来自中国,这证明了在资源有限的情况下,创新算法同样能够取得突破。”
DeepSeek的进展也引发了美国技术专家的关注。华盛顿州贝尔维尤的技术专家Alvin Wang Graylin认为,美国在人工智能领域的领先优势已经大幅缩小。他呼吁中美两国应采取合作方式,共同推动人工智能的发展,而非陷入无休止的军备竞赛。
在LLM领域,模型通过训练数十亿个文本样本,学习数据中的模式,从而预测句子中的后续内容。然而,LLM容易捏造事实,且难以进行推理。为解决这一问题,DeepSeek-R1采用了与o1相似的思路链方法,以提高解决复杂任务的能力。该方法包括回溯和评估其方法,以提高准确性。DeepSeek通过对V3进行强化学习微调,从而打造出R1。强化学习会奖励模型得出正确答案,并以概述其思维的方式解决问题。
爱丁堡大学的人工智能研究员Wenda Li指出,计算能力有限促使DeepSeek在算法上进行创新。在强化学习过程中,该团队估算了模型在每个阶段的进度,而非使用单独的网络进行评估。这一方法有助于降低培训和运行成本。同时,研究人员还采用了混合专家架构,该架构允许模型仅激活与每项任务相关的部分,进一步提高了效率。
在基准测试中,DeepSeek-R1在加州大学伯克利分校研究人员编写的数学问题MATH-500中取得了97.3%的优异成绩,并在一项名为Codeforces的编程竞赛中击败了96.3%的人类参与者。这些成绩与o1不相上下。尽管o3未被纳入比较范围,但DeepSeek-R1的出色表现已足以证明其强大的推理和概括能力。
然而,基准测试是否真正反映了模型的推理或概括能力,还是仅仅反映了其通过此类测试的能力,仍是一个值得探讨的问题。但剑桥大学的计算机科学家Marco Dos Santos认为,由于R1是开放的,研究人员可以访问其思路,这使得模型的推理过程具有更好的可解释性。这一特点将有助于科学家更深入地了解R1的工作原理,并为其未来的应用提供有力支持。
目前,科学家们已经开始测试R1的能力。克伦要求两个竞争模型对3000个研究想法进行有趣程度排序,并将结果与人工排名进行比较。尽管在这一衡量标准下,R1的表现略逊于o1,但在量子光学的某些计算上,R1却胜过了o1。这一结果无疑令人印象深刻,也进一步证明了DeepSeek-R1在特定领域的卓越表现。