新浪科技讯 7月9日下午消息，在刚结束的2024世界人工智能大会上，壁仞科技副总裁兼AI软件首席架构师丁云帆在谈及计算瓶颈时表示，解决算力瓶颈问题需要从三个维度考虑：硬件集群算力、软件有效算力、异构聚合算力。“从这三个维度把相应的工作做好了，即使国产AI芯片单个算力看起来不够强，也能通过综合手段提升算力，满足国内大模型训练的需求。”
丁云帆指出，大模型训练是一个系统工程，需要软件和硬件结合起来，同时也需要算法和工程协同，在这样一个复杂系统里面，存在计算、存储、通信等基础设施的挑战，还有集群规模扩张过程中计算效率的挑战，所以，应对算力难题可以从三个维度来看。
第一，硬件集群算力维度。单卡的算力乘以卡的个数等于集群算力，这样的集群算力计算方式是非常简单的。单卡算力因为各方面的限制，能做的上限是有限的，但单芯片本身在微架构层面还是有创新的空间的：一方面，保证比较好的兼容性，支持多种work load；另一方面，提供比较高的计算效率，在类似于tensor core上去做优化。此外，单卡单机还是不够，需要千卡集群、万卡集群进一步提升算力，这个时候对于网络和基础设施的要求其实也非常高了。
丁云帆指出，总结起来硬件集群算力三个维度，包括单芯片的算力以及通过chiplet提升单卡算力，单机到集群的算力。“我们2020年设计的第一代产品里就做了chiplet架构，国外巨头在今年发布的产品如英伟达B100和英特尔Gaudi 3也采用了同样的思路，他们用最先进的制程，但也需要chiplet来突破摩尔定律限制来提升单卡算力。”
第二，软件有效算力维度。有超大规模集群后，最终软件是不是能够把算力发挥出来呢？这个很重要，这个效率我总结为三个点：首先，软硬结合的计算效率；其次，集群调度效率怎么样；最后，出现故障时的处理效率怎么样。“你本身的集群调度效率怎么样？给你用了之后是不是能把它用好？卡分配给你了，你也在用，但千卡集 群、万卡集群都有一个稳定性的问题，无论是国产卡还是英伟达GPU，这个是大家逃避不过去的，故障率是相对比较高的。”丁云帆表示。
据他介绍，壁仞科技用三级的异步checkpoint技术，结合GPU的显存和CPU内存，甚至是多节点内存的备份系统去达到一个平衡，目前已能够大幅降低故障恢复成本。
第三，异构聚合算力维度。单一的集群在集群建设过程中，有各种各样的历史原因，包括刚建千卡集群时，集群的基础设施扩容做不上去，后面就算是同一种英伟达的卡也是多个小的池子，现在可能随着国产GPU的落地，这个问题可能会更严峻一点。（文猛）
责任编辑：刘万里 SF014
其中，生活成本上升、自然灾害和极端天气、地缘经济冲突位列全球短期风险前三位；减缓气候变化失败、适应气候变化失败、自然灾害和极端天气位列全球长期风险前三位。
今年1月1日，北京市水务综合执法总队联合属地启动了冬季冰上活动专项执法行动。北京市水务综合执法总队副总队长员明达介绍，本次行动将持续到寒假结束，重点查处饮用水水源一级保护区内滑冰、冬泳、冰钓等违法行为，一经发现，当事人将受到罚款处理。同时，重点制止、劝导在非垂钓区垂钓、在城市河湖范围内滑冰等不安全行为，维护市民生命安全及市管河湖良好的水事秩序。
安徽省十四届人大一次会议共安排12项议程，分别是：听取和审议安徽省人民政府工作报告；审查安徽省2022年国民经济和社会发展计划执行情况与2023年计划草案的报告，批准安徽省2023年国民经济和社会发展计划；审查安徽省2022年预算执行情况与2023年预算草案的报告，批准2023年省级预算；听取和审议安徽省人民代表大会常务委员会工作报告；听取和审议安徽省高级人民法院工作报告；听取和审议安徽省人民检察院工作报告。
马晓光介绍，中共中央台办、国务院台办主任宋涛1月2日发表题为《携手奋斗 共创伟业》的新年寄语，向广大台湾同胞致以新年祝福和诚挚问候，全面阐释对台方针政策和对两岸关系重大问题的态度主张，呼吁两岸同胞和衷共济、同心同行，秉持民族大义，担负历史责任，共护台海和平稳定，共享祖国强盛荣光，共创中华民族伟大复兴美好未来。1月10日，宋涛主任看望在京台湾青年代表并座谈交流，听取他们在大陆学习工作生活创业情况、积极参与两岸交流的感受体会，以及对深化两岸融合发展的意见和建议，表达新的一年我们推动两岸关系发展的政策和理念，展现两岸同胞对新年新气象的共同期盼。与会台湾青年深受鼓舞，深感温暖人心。
回溯过往股价可以看到，特斯拉2019年6月28日时盘中最低股价只有35.4美元，到2020年8月31日时股价一举超过500.14美元。在此期间，特斯拉被不断做空，但最终空头均以失败告终。
南北朝时期，以泰山为中心的山东多地出现了大量摩崖石刻佛经，绝大部分都与《金刚经》义理相同亦即谈论“空观”的般若类经典，如徂徕山的《摩诃般若经》石刻和《文殊般若经》石刻、峄山的《文殊般若经》石刻、尖山的《思益经》石刻和《文殊般若经》石刻等。除了这些摩崖刻经，还有意在昭示“空观”的摩崖题名，如“文殊般若”“诸行无常，是生灭法；生灭灭已，寂灭为乐”“大空王佛”等。此外，泰山周边还有许多般若类经典的碑刻，如曲阜胜果寺的《金刚经》碑、兖州泗河和汶上水牛山的《文殊般若经》碑等。尤为重要的是，在洪顶山的《法洪铭赞》石刻，内容是印度僧人释法洪来到山东弘扬“空”观。
彭君丰
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。