智源研究院:国内头部模型已达国际一流水平,但能力发展不均衡

来源: 大河网
2024-05-18 15:34:32

  新浪科技讯 5月18日下午消息,在北京智源研究院(智源研究院)大模型评测发布会上,智源评测体系发布并公布了140余个国内外开/闭源语言及多模态大模型能力评测结果。评测结果显示,在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡情况;在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出;在中文语境下的文生图能力上,国产多模态模型与国际一流水平差距较小。

  据评测结果,在中文语境下,字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二,国产大模型更懂中国用户。在语言模型客观评测中,OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。

  多模态理解模型客观评测结果显示,图文问答方面,阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4,LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。

  在海淀区教委支持下,智源研究院联合与海淀区教师进修学校对齐学生测验方式,考察大模型与人类学生的学科水平差异。评测发现,模型在综合学科能力上与海淀学生平均水平仍有差距,普遍存在文强理弱的情况,并且对图表的理解能力不足,大模型未来有很大的提升空间。

  据介绍,2023年6月,智源研究院与多个高校团队共建FlagEval大模型评测平台上线,迄今为止已完成1000多次覆盖全球多个开源大模型的评测和报告发布。本次评测使用了20余个数据集、超8万道考题,包括与合作单位共建和智源自建的多个评测数据集。(文猛)

责任编辑:张倩

  本轮计价周期内,多空因素交织,国际油价震荡走高,美油再度站上90美元。美国能源信息署数据显示,美国至10月28日当周原油库意外下降。同时,美元指数持续下跌使原油也获得了支撑。另外,进入11月,OPEC+也正式实施减产计划。不过,美联储加息及宏观数据显示的经济收缩趋势,令市场担忧市场需求或持续放缓,限制了油价的上涨空间。

  11月7日,北京市第406场新冠肺炎疫情防控工作新闻发布会召开。北京青年报记者从会上获悉,朝阳区人民政府副区长孟锐通报该区疫情防控工作情况。11月6日15时-24时,朝阳区新增新冠感染者14名。11月7日0-15时,朝阳区新增新冠感染者17名。

  感染者699至718:均为隔离观察人员,现住朝阳区。11月8日感染者699、700、702至706、717诊断为无症状感染者,其余感染者诊断为确诊病例,临床分型均为轻型。

  “新时期的供销合作社并不是计划经济体制产物的翻版,这一点是明确的。”中国社会科学院农村发展研究所原副所长杜晓山对新京报贝壳财经记者表示,供销合作社自身独特的优势,就是拥有一套完整的经营管理体系。

  2022年10月31日,新城区市场监督管理局执法人员在日常巡查商户疫情防控情况及配送单位保供稳价情况时,发现新城区塞外安居多汇便利店线上销售的××纯牛奶(240ml×16包/箱),未向消费者详细标明价格,经查,上述当事人行为涉嫌违反《中华人民共和国价格法》第十三条的规定,为查清事实,新城区市场监督管理局依法对其立案调查,一经查实,将依法从快从重进行处罚。

  双杠是邹敬园的强项,2017年他首次参加世锦赛就夺得这个项目的金牌,并在2018年世锦赛双杠比赛卫冕。去年夏天,他在东京奥运会同样站上双杠项目的最高领奖台。本届世锦赛,邹敬园在双杠资格赛中拿到第一名,成为唯一晋级决赛的中国选手。

胡宝善

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有