OR 新媒|oror.vip跨平台阅读首选
2023-04-17 19:04
商业与经济

OpenAI CEO:大语言模型已接近上限 多元提升能力新时代来临

OpenAI CEO Sam Altman日前在论坛发表讲话称,大规模语言模型(Large Language Model,LLM)的增长已近乎极限,模型规模不再是衡量质量的唯一指标,未来提高模型能力的方式将更多元。
OpenAI首席执行官山姆·阿尔特曼
OR

■OpenAI CEO Sam Altman日前在论坛发表讲话称,大规模语言模型(Large Language Model,LLM)的增长已近乎极限,模型规模不再是衡量质量的唯一指标,未来提高模型能力的方式将更多元。

Altman表示,过去5-10年,LLM的规模持续扩大,参数数量由万级增至几百亿级,带来翻译、阅读理解等性能提高,但此趋势将结束。“规模不再是衡量模型强弱的唯一标准。我们需要找到别的方法来提高模型的能力。”

数据显示,Google的BERT在2018年推出时参数为340M,OpenAI的GPT-3在2020年达到175亿参数,中科大和微软的“超级大模型”在2021年达到1000亿参数。但从GPT-3到最新版本的GPT-3仅增加约10%的参数,性能提高主要来自算法优化。

Altman指出,随着计算资源的限制,单一模型的规模难以继续扩大10-100倍。未来提高模型能力的主要方式将是:1)集成多个模型;2)利用外部知识;3)算法创新,如自supervised learning;4)硬件加速,如量子计算机。

分析认为,Altman言论意在强调规模不是LLM发展的唯一方向。事实上,阿尔法狗在阅读理解上已超越GPT-3,但参数只有90亿,远小于后者。谷歌和OpenAI最近工作也开始集成视觉与语言,或利用外部知识,这显示语言模型的发展已进入新阶段。

总体来说,大规模语言模型的规模增长之路已见顶端,未来提高能力的主要手段将更多样化。这标志着 LLMs发展进入新时代,单一规模的急剧扩张无法带来性能的飞跃,研究者将不再以最大化参数与FLOPS为唯一追求,这可能会对人工智能发展产生深远影响。观察LLM如何在转型后继续提高,是研究者与业界的重点所在。■                                                                                               
相关内容
OR
+
读者评论
MORE +

热门排行榜
OR
+
OpenAI首席执行官山姆·阿尔特曼
2023-04-17 19:04
商业与经济

OpenAI CEO:大语言模型已接近上限 多元提升能力新时代来临

OpenAI CEO Sam Altman日前在论坛发表讲话称,大规模语言模型(Large Language Model,LLM)的增长已近乎极限,模型规模不再是衡量质量的唯一指标,未来提高模型能力的方式将更多元。
OR

■OpenAI CEO Sam Altman日前在论坛发表讲话称,大规模语言模型(Large Language Model,LLM)的增长已近乎极限,模型规模不再是衡量质量的唯一指标,未来提高模型能力的方式将更多元。

Altman表示,过去5-10年,LLM的规模持续扩大,参数数量由万级增至几百亿级,带来翻译、阅读理解等性能提高,但此趋势将结束。“规模不再是衡量模型强弱的唯一标准。我们需要找到别的方法来提高模型的能力。”

数据显示,Google的BERT在2018年推出时参数为340M,OpenAI的GPT-3在2020年达到175亿参数,中科大和微软的“超级大模型”在2021年达到1000亿参数。但从GPT-3到最新版本的GPT-3仅增加约10%的参数,性能提高主要来自算法优化。

Altman指出,随着计算资源的限制,单一模型的规模难以继续扩大10-100倍。未来提高模型能力的主要方式将是:1)集成多个模型;2)利用外部知识;3)算法创新,如自supervised learning;4)硬件加速,如量子计算机。

分析认为,Altman言论意在强调规模不是LLM发展的唯一方向。事实上,阿尔法狗在阅读理解上已超越GPT-3,但参数只有90亿,远小于后者。谷歌和OpenAI最近工作也开始集成视觉与语言,或利用外部知识,这显示语言模型的发展已进入新阶段。

总体来说,大规模语言模型的规模增长之路已见顶端,未来提高能力的主要手段将更多样化。这标志着 LLMs发展进入新时代,单一规模的急剧扩张无法带来性能的飞跃,研究者将不再以最大化参数与FLOPS为唯一追求,这可能会对人工智能发展产生深远影响。观察LLM如何在转型后继续提高,是研究者与业界的重点所在。■                                                                                               
相关内容
OR
+
 

读者评论
OR

 

分享:
每日头条
OR
+
最新资讯
OR
+
热门排行榜
OR
+
OR品牌理念
+

■ 或者,  留一段影像,回一曲挂牵。丝丝入扣、暖暖心灵 ,需飘过的醇厚与共。
■ 或者,热烈空雨伴芬芳泥土;绿绿生命缠锐意骄阳。
回望,回望,一马平川红酒飘散断归途。
■ 或者,灰蒙蒙空气重回道指一万四千点。滚动时光,照进现实,流逝过往,回归未来。

■ OR 新媒体是一个提供时政、经济、文化、科技等多领域资讯的平台,旨在为用户提供优质的阅读体验。网站的网址是oror.vip,用户可以通过浏览器在台式电脑 、笔记本电脑 、平板电脑 、手机访问。.......