壁仞科技丁云帆:做好三类工作,国产AI芯片也可用于大模型训练

来源: 大众日报
2024-07-09 16:02:08

女生奶头照片「思いつかなかったんだよ。家出するなんて」  香河县人民法院一审认为,用人单位应当按照劳动合同约定和国家规定,向劳动者及时足额支付劳动报酬。自被告尹某某入职至2019年9月17日离职,原告某家具公司共计拖欠其工资39149.5元未支付。因被告设计工作失误给原告造成的损失,与本案不属于同一法律关系,故本案不予解决。一审法院判决原告支付被告工资39149元,于判决生效后五日内履行。原告某家具公司不服一审判决提起上诉,二审法院判决驳回上诉,维持原判。XLXXov9-wH0y2CyiTD6QNk27seu-壁仞科技丁云帆:做好三类工作,国产AI芯片也可用于大模型训练

  新浪科技讯 7月9日下午消息,在刚结束的2024世界人工智能大会上,壁仞科技副总裁兼AI软件首席架构师丁云帆在谈及计算瓶颈时表示,解决算力瓶颈问题需要从三个维度考虑:硬件集群算力、软件有效算力、异构聚合算力。“从这三个维度把相应的工作做好了,即使国产AI芯片单个算力看起来不够强,也能通过综合手段提升算力,满足国内大模型训练的需求。”

  丁云帆指出,大模型训练是一个系统工程,需要软件和硬件结合起来,同时也需要算法和工程协同,在这样一个复杂系统里面,存在计算、存储、通信 等基础设施的挑战,还有集群规模扩张过程中计算效率的挑战,所以,应对算力难题可以从三个维度来看。

  第一,硬件集群算力维度。单卡的算力乘以卡的个数等于集群算力,这样的集群算力计算方式是非常简单的。单卡算力因为各方面的限制,能做的上限是有限的,但单芯片本身在微架构层面还是有创新的空间的:一方面,保证比较好的兼容性,支持多种work load;另一方面,提供比较高的计算效率,在类似于tensor core上去做优化。此外,单卡单机还是不够,需要千卡集群、万卡集群进一步提升算力,这个时候对于网络和基础设施的要求其实也非常高了。

  丁云帆指出,总结起来硬件集群算力三个维度,包括单芯片的算力以及通过chiplet提升单卡算力,单机到集群的算力。“我们2020年设计的第一代产品里就做了chiplet架构,国外巨头在今年发布的产品如英伟达B100和英特尔Gaudi 3也采用了同样的思路,他们用最先进的制程,但也需要chiplet来突破摩尔定律限制来提升单卡算力。”

  第二,软件有效算力维度。有超大规模集群后,最终软件是不是能够把算力发挥出来呢?这个很重要,这个效率我总结为三个点:首先,软硬结合的计算效率;其次,集群调度效率怎么样;最后,出现故障时的处理效率怎么样。“你本身的集群调度效率怎么样?给你用了之后是不是能把它用好?卡分配给你了,你也在用,但千卡集群、万卡集群都有一个稳定性的问题,无论是国产卡还是英伟达GPU,这个是大家逃避不过去的,故障率是相对比较高的。”丁云帆表示。

  据他介绍,壁仞科技用三级的异步checkpoint技术,结合GPU的显存和CPU内存,甚至是多节点内存的备份系统去达到一个平衡,目前已能够大幅降低故障恢复成本。

  第三,异构聚合算力维度。单一的集群在集群建设过程中,有各种各样的历史原因,包括刚建千卡集群时,集群的基础设施扩容做不上去,后面就算是同一种英伟达的卡也是多个小的池子,现在可能随着国产GPU的落地,这个问题可能会更严峻一点。(文猛)

责任编辑:刘万里 SF014

  刘俊的《雪夜访普图》,则描摹宋太祖赵匡胤雪夜访赵普的历史故事。为突出赵匡胤的天子身份,在大门外画有四名侍卫守候已久。

  自汉阴县开展全国医共体远程医疗建设试点以来,对上与省会城市链接了50余家三甲医院,对下同10个镇卫生院建立了远程协作关系,形成了三级远程服务网络。

  当前,美国是全世界毒品问题最严重的国家,吸毒人数约占全球的12%,是其人口占全球比例的3倍。在新冠疫情暴发后的一年里(2020年4月至2021年4月),美国有超过10万人死于吸毒过量,这一数字是死于交通事故人数的近3倍。过去12个月,美国成年人中有多达4820万人至少吸食过一次大麻。根据美国联邦法律,大麻是非法的,但15个州已将其娱乐用途合法化。令人吃惊的数据背后,是积蓄已久的社会问题,更是美国政府禁毒的“表面功夫”。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有