OpenAI引领探索:如何打破AI大型语言模型的局限?

   时间:2024-11-11 22:16 来源:ITBEAR作者:冯璃月

据路透社近期报道,人工智能领域正迎来一场新的技术革命。OpenAI等顶尖公司正努力克服在开发大型语言模型过程中的挑战,寻求通过更类人的训练技术来优化算法思考方式。

多位人工智能领域的科学家、研究人员及投资者向路透社透露,这些新技术,如OpenAI近期发布的o1模型所采用的技术,可能会对人工智能行业的竞争格局产生深远影响,同时改变对资源的需求,从能源到芯片类型都将受到影响。

尽管过去两年中,像ChatGPT这样的病毒式聊天机器人的发布推动了人工智能热潮,许多科技公司宣称通过增加数据和计算能力就能不断改进模型,但现在一些行业领军人物开始对这种“越大越好”的理念提出质疑。

OpenAI的联合创始人之一Ilya Sutskever,现在也是Safe Superintelligence (SSI)的联合创始人,告诉路透社,预训练阶段的扩大已经达到了某种稳定状态。他被认为是推动通过更多数据和计算能力实现生成式人工智能飞跃的关键人物。

Sutskever表示:“我们现在进入了一个好奇和发现的新时代。每个人都在探寻下一个突破点。”他拒绝透露SSI正在研究的具体技术细节,但提到正在探索扩大预训练的替代方法。

在幕后,各大人工智能实验室在竞相发布性能超越GPT-4的大型语言模型时,遭遇了延迟和令人失望的结果。这些大型模型的训练运行成本高昂,且由于系统的复杂性,更容易出现硬件故障。同时,数据资源的枯竭和电力短缺也成为训练的阻碍。

为了应对这些挑战,研究人员正在探索测试时计算技术,这种技术能在模型使用时增强其性能。例如,模型可以实时评估和选择最佳路径,而不是立即给出答案。OpenAI的o1模型就采用了这种技术,能够以更类人的方式多步骤思考问题。

这一技术变革可能会对人工智能硬件市场产生重大影响,目前该市场主要由对Nvidia AI芯片的需求主导。风险投资公司也在密切关注这一转变,并评估其对其投资的人工智能实验室的影响。

红杉资本的合伙人Sonya Huang表示,这种转变将推动我们从大规模预训练集群转向用于推理的分布式云服务器,即所谓的“推理云”。

与此同时,Nvidia指出其最近在演讲中强调了o1模型背后技术的重要性,并谈到了对其芯片进行推理的需求不断增加。然而,与在训练芯片市场的主导地位不同,Nvidia在推理市场可能会面临更多竞争。

这场由OpenAI等公司引领的技术革命,正在重塑人工智能行业的未来,从训练技术到硬件需求,都将迎来翻天覆地的变化。

 
 
更多>同类内容
全站最新
热门内容