OR 新媒|oror.vip跨平台阅读首选
2024-07-08 14:22
商业与经济

国产芯片大战更焦灼了

国产芯片厂商目前也出现了两派的分化:有人几十亿元堆万卡规模,有人狂卖几万片推理芯片。
地缘政治阴影笼罩下的芯片热潮
邱晓芬


7月4日-7日,世界人工智能大会(下称WAIC)在上海世博展馆开启。而算力,作为AI发展的刚需要素,让展馆中的芯片企业成为关注焦点。

如果说,去年的WAIC上,行业里GPU只有英伟达一个独苗可以选择,情况在今年有了巨大的变化。

2024年的WAIC,分为H1、H2、H3三个馆。据《智能涌现》作者观察,其中,H2馆基本有一半的厂商都是和智算中心、芯片有关的厂商,大玩家也基本聚齐:华为、百度昆仑芯、天数智芯、摩尔线程、算能、中科曙光、燧原等等。

不过,由于芯片还是一个相对敏感的话题,冒头的厂商们,展示方式上还是略显收敛。

多位芯片厂商人士告诉《智能涌现》,他们最新的芯片产品并不敢拿出来展示,也不打算正式发布。在展示方式上,大家形成了心照不宣的默契,并不愿意直接呈现芯片本身——而是直接呈现装好芯片的服务器,或者是以合作伙伴的落地案例来展现。

WAIC作为人工智能行业的一个集中观察窗口,从这里我们可以窥见2024年的国产算力发展趋势。随着大模型逐渐往两派分化——一派追逐务实的商业化落地,另外一派是技术理想派,还在持续进发追求高参数量。

有趣的是,同样的趋势也出现在上游的算力端。目前,国内的芯片厂商也呈现了策略上的两极分化,一派继续往万卡、万P进发,另一派则更关注大模型在各行各业的落地诉求,推理芯片进入爆发前夜。

推理芯片大爆发

在WAIC上,有多家芯片厂商称其推理芯片销售量大幅提升。比如,天数智芯、燧原的工作人员都告诉《智能涌现》,他们的推理芯片产品去年以来都有了数万片的出货,出货渠道包括智算中心等等。

百度的一位工作人员也表示,昆仑芯过去两代产品也都是推理卡,目前来自百度和外部渠道的出货量大概是1:1,“至今累计出货量也有三五万片左右”。

不过,前述这些芯片厂商的推理卡,还是面向更大的模型参数,主打云端,当前也有不少芯片厂商瞄准了端侧的机会,主打用一颗小芯片跑端侧大模型推理。

芯片厂商「爱芯元智」的一位工作人员告诉《智能涌现》,他们的某颗小芯片虽然只能运行2B参数量的模型,但优点是可以进行本地端侧运行,保证了隐私性,成本上也很可观。据其介绍,目前这颗芯片能广泛用于监控摄像头等IoT设备上,已是“供不应求的状态”。

推理芯片的大爆发,是一个市场和竞争综合作用的结果。

随着主流大模型逐渐推进开源、以及大模型厂商们今年为了抢夺市场疯狂降价,大模型逐渐在各行各业落地。推理正是一个“用”大模型的过程,需要大量的推理芯片的支撑。和训练场景不一样的是,推理芯片面向的是各行各业,眼前是星辰大海。

而更重要的是,这也是英伟达芯片没有渗透到的广泛市场。在此前,行业内一般采用英伟达的4090、L20这些产品来跑大模型推理,不过英伟达这类产品的缺点也相当明显。

比如,英伟达的4090其实是消费级显卡,英伟达官方并不允许其运用于大模型推理,目前也面临着禁运的情况。而更关键的是,英伟达这些芯片由于并非针对推理场景制定,存在着功耗过大、内存不够等情况,难以满足诉求。

而前述那些“卖爆”的产品,也正是基于英伟达的种种阿喀琉斯之踵而切入。4090、L20,基本是这些国产推理卡的直接对标对象。

一名天数智芯的工作人员称,他们推出的“大模型推理16卡服务器”,16卡服务器的单机显存达到512GB,单卡成本和4090差不多的情况下,功耗只有其1/3,并且,“供应稳定持续有货”,目前已经打入了某大模型厂商供应链。

除了传统的芯片厂商之外,《智能涌现》发现,目前也有中兴在内的新玩家进入推理芯片市场,以及出现了全新的商业模式。

“如今已到了推理卡爆发的前夜”,一位芯片厂商人士感慨道。

从千卡跃进万卡,这是少数人的游戏

一面是推理芯片爆发,另一面是,国产芯片厂商在还在坚持追逐更高的算力,国产算力集群逐渐从过去的千卡规模,向万卡规模进发。在WAIC上,摩尔线程也发布了国内首个万卡规模的智算集群解决方案“夸娥”(KUAE)。

目前,超万卡集群已经成为头部大模型厂商预训练的标配。在海外,Open AI、谷歌、Meta都已经有了万卡集群。其中,Open AI更是拥有五万卡以上的规模。

《智能涌现》了解到,目前国内只有字节跳动等极少数企业拥有万卡规模,都是英伟达的产品。另外,华为、摩尔线程也是万卡规模的拥簇者,不过都是用各自的芯片搭建而成。

万卡集群是针对万亿参数级别的大模型而设计,目前行业对此,有的持乐观态度,有的还在观望、犹豫。

在WAIC上,有不少芯片厂商人士向《智能涌现》提出了自己的顾虑——万卡智算中心的投入动辄几十亿,而万亿参数的大模型目前应用场景有限,商业落地的可行性还要再继续考察。这些厂商目前更关注几百卡、几千卡的集群规模优化。

另外,从千卡到万卡级别,不仅仅是GPU数量多个零那么简单,而是在软件层面提出了更高的要求。

接踵而来的难题是:万卡集群如何搭建超大规模的组网互联系统?一万张GPU的计算效率如何最大化?大模型训练时如何保证高稳定性和长期稳定性?万卡集群不仅仅是硬件投入翻十倍那么简单,还有更多软件上的功夫要做。

不过,坚定的万卡集群拥簇者们,则对于这一切持乐观态度。

摩尔线程创始人张建中表示,一方面,自从2020年提出的大模型Scaling Law在未来将会持续奏效——通过算力、算法、数据的深度融合与经验积累,实现模型性能的飞跃,这种“暴力美学”将继续影响未来大模型的趋势。

另一方面,Transformer架构虽然是当前主流,但新兴架构(如Mamba、RWKV、RetNet)还在不断刷新计算效率。架构的创新,都会转化为对更高性能计算资源的需求。

目前,万卡集群毕竟还是少数人的游戏,背后考验的是,芯片厂商们的金钱实力、技术能力、商业判断等等。

■ 
                                                                                         
相关内容
+
读者评论
MORE +

热门排行榜
OR
+
  • 尹同跃
    尹同跃:从秘密项目到世界500强

    越来越多的中国汽车企业在工业发展史上留下印记,开始建立由自己主导的叙事逻辑。今天的共识是:要在全球汽车行业确立自己的历史坐标,无法通过输出内卷模式,而只能通过积极且有效地融入全球经济秩序和大市场来实现。


  • 美国卡特总统
    美国前总统卡特去世,享年100岁

    卡特出身于佐治亚州的农场家庭,以自称的局外人身份进入华盛顿。虽然他的总统任期因失败多于成功而被铭记,但他卸任后的生活被许多人视为未来总统的榜样。


  • 招聘职场
    想成为CEO?看看猎头公司注重哪些品质

    《财富》杂志采访了十几位相关领域的专家,以了解他们如何识别有潜力领导一些世界上最大和最有影响力公司的候选人。


  • 中国俄罗斯国旗美媒:俄罗斯和中国承诺深化联盟以抗衡美国
    梅德韦杰夫访华与特朗普上台前夕的中俄关系

    林原:在特朗普上台前这段时间,俄罗斯与中国的合作应该会加深。在以后可能要展开的俄乌谈判中,中国应会扮演特定角色。


地缘政治阴影笼罩下的芯片热潮
2024-07-08 14:22
商业与经济

国产芯片大战更焦灼了

国产芯片厂商目前也出现了两派的分化:有人几十亿元堆万卡规模,有人狂卖几万片推理芯片。
邱晓芬


7月4日-7日,世界人工智能大会(下称WAIC)在上海世博展馆开启。而算力,作为AI发展的刚需要素,让展馆中的芯片企业成为关注焦点。

如果说,去年的WAIC上,行业里GPU只有英伟达一个独苗可以选择,情况在今年有了巨大的变化。

2024年的WAIC,分为H1、H2、H3三个馆。据《智能涌现》作者观察,其中,H2馆基本有一半的厂商都是和智算中心、芯片有关的厂商,大玩家也基本聚齐:华为、百度昆仑芯、天数智芯、摩尔线程、算能、中科曙光、燧原等等。

不过,由于芯片还是一个相对敏感的话题,冒头的厂商们,展示方式上还是略显收敛。

多位芯片厂商人士告诉《智能涌现》,他们最新的芯片产品并不敢拿出来展示,也不打算正式发布。在展示方式上,大家形成了心照不宣的默契,并不愿意直接呈现芯片本身——而是直接呈现装好芯片的服务器,或者是以合作伙伴的落地案例来展现。

WAIC作为人工智能行业的一个集中观察窗口,从这里我们可以窥见2024年的国产算力发展趋势。随着大模型逐渐往两派分化——一派追逐务实的商业化落地,另外一派是技术理想派,还在持续进发追求高参数量。

有趣的是,同样的趋势也出现在上游的算力端。目前,国内的芯片厂商也呈现了策略上的两极分化,一派继续往万卡、万P进发,另一派则更关注大模型在各行各业的落地诉求,推理芯片进入爆发前夜。

推理芯片大爆发

在WAIC上,有多家芯片厂商称其推理芯片销售量大幅提升。比如,天数智芯、燧原的工作人员都告诉《智能涌现》,他们的推理芯片产品去年以来都有了数万片的出货,出货渠道包括智算中心等等。

百度的一位工作人员也表示,昆仑芯过去两代产品也都是推理卡,目前来自百度和外部渠道的出货量大概是1:1,“至今累计出货量也有三五万片左右”。

不过,前述这些芯片厂商的推理卡,还是面向更大的模型参数,主打云端,当前也有不少芯片厂商瞄准了端侧的机会,主打用一颗小芯片跑端侧大模型推理。

芯片厂商「爱芯元智」的一位工作人员告诉《智能涌现》,他们的某颗小芯片虽然只能运行2B参数量的模型,但优点是可以进行本地端侧运行,保证了隐私性,成本上也很可观。据其介绍,目前这颗芯片能广泛用于监控摄像头等IoT设备上,已是“供不应求的状态”。

推理芯片的大爆发,是一个市场和竞争综合作用的结果。

随着主流大模型逐渐推进开源、以及大模型厂商们今年为了抢夺市场疯狂降价,大模型逐渐在各行各业落地。推理正是一个“用”大模型的过程,需要大量的推理芯片的支撑。和训练场景不一样的是,推理芯片面向的是各行各业,眼前是星辰大海。

而更重要的是,这也是英伟达芯片没有渗透到的广泛市场。在此前,行业内一般采用英伟达的4090、L20这些产品来跑大模型推理,不过英伟达这类产品的缺点也相当明显。

比如,英伟达的4090其实是消费级显卡,英伟达官方并不允许其运用于大模型推理,目前也面临着禁运的情况。而更关键的是,英伟达这些芯片由于并非针对推理场景制定,存在着功耗过大、内存不够等情况,难以满足诉求。

而前述那些“卖爆”的产品,也正是基于英伟达的种种阿喀琉斯之踵而切入。4090、L20,基本是这些国产推理卡的直接对标对象。

一名天数智芯的工作人员称,他们推出的“大模型推理16卡服务器”,16卡服务器的单机显存达到512GB,单卡成本和4090差不多的情况下,功耗只有其1/3,并且,“供应稳定持续有货”,目前已经打入了某大模型厂商供应链。

除了传统的芯片厂商之外,《智能涌现》发现,目前也有中兴在内的新玩家进入推理芯片市场,以及出现了全新的商业模式。

“如今已到了推理卡爆发的前夜”,一位芯片厂商人士感慨道。

从千卡跃进万卡,这是少数人的游戏

一面是推理芯片爆发,另一面是,国产芯片厂商在还在坚持追逐更高的算力,国产算力集群逐渐从过去的千卡规模,向万卡规模进发。在WAIC上,摩尔线程也发布了国内首个万卡规模的智算集群解决方案“夸娥”(KUAE)。

目前,超万卡集群已经成为头部大模型厂商预训练的标配。在海外,Open AI、谷歌、Meta都已经有了万卡集群。其中,Open AI更是拥有五万卡以上的规模。

《智能涌现》了解到,目前国内只有字节跳动等极少数企业拥有万卡规模,都是英伟达的产品。另外,华为、摩尔线程也是万卡规模的拥簇者,不过都是用各自的芯片搭建而成。

万卡集群是针对万亿参数级别的大模型而设计,目前行业对此,有的持乐观态度,有的还在观望、犹豫。

在WAIC上,有不少芯片厂商人士向《智能涌现》提出了自己的顾虑——万卡智算中心的投入动辄几十亿,而万亿参数的大模型目前应用场景有限,商业落地的可行性还要再继续考察。这些厂商目前更关注几百卡、几千卡的集群规模优化。

另外,从千卡到万卡级别,不仅仅是GPU数量多个零那么简单,而是在软件层面提出了更高的要求。

接踵而来的难题是:万卡集群如何搭建超大规模的组网互联系统?一万张GPU的计算效率如何最大化?大模型训练时如何保证高稳定性和长期稳定性?万卡集群不仅仅是硬件投入翻十倍那么简单,还有更多软件上的功夫要做。

不过,坚定的万卡集群拥簇者们,则对于这一切持乐观态度。

摩尔线程创始人张建中表示,一方面,自从2020年提出的大模型Scaling Law在未来将会持续奏效——通过算力、算法、数据的深度融合与经验积累,实现模型性能的飞跃,这种“暴力美学”将继续影响未来大模型的趋势。

另一方面,Transformer架构虽然是当前主流,但新兴架构(如Mamba、RWKV、RetNet)还在不断刷新计算效率。架构的创新,都会转化为对更高性能计算资源的需求。

目前,万卡集群毕竟还是少数人的游戏,背后考验的是,芯片厂商们的金钱实力、技术能力、商业判断等等。

■ 
                                                                                         
相关内容
+
 

读者评论
OR

 

分享:
每日头条
OR
+
最新资讯
OR
+
热门排行榜
OR
+
OR品牌理念
+

■ 或者,  留一段影像,回一曲挂牵。丝丝入扣、暖暖心灵 ,需飘过的醇厚与共。
■ 或者,热烈空雨伴芬芳泥土;绿绿生命缠锐意骄阳。
回望,回望,一马平川红酒飘散断归途。
■ 或者,灰蒙蒙空气重回道指一万四千点。滚动时光,照进现实,流逝过往,回归未来。

■ OR 新媒体是一个提供时政、经济、文化、科技等多领域资讯的平台,旨在为用户提供优质的阅读体验。网站的网址是oror.vip,用户可以通过浏览器在台式电脑 、笔记本电脑 、平板电脑 、手机访问。.......