智源研究院:国内头部模型已达国际一流水平,但能力发展不均衡

来源: 极目新闻
2024-05-18 14:51:02

天天色综「お姉さんがいやいややってるの。近所に住んでる親戚のおじさんが毎日手伝ってくれて配達もやってくれるしc私も暇があれば手伝うしcまあ書店というのはそれほど重労働じゃないからなんとかとかやれてるわよ。どうにもやれなくなったらお店畳んで売っちゃうつもりだけど」  中国民航局:2023年力争总体恢复至疫情前75%水平xzRVI-K8NoN7jZtuWd2Dg2V4xeJo-智源研究院:国内头部模型已达国际一流水平,但能力发展不均衡

  新浪科技讯 5月18日下午消息,在北京智源研究院(智源研究院)大模型评测发布会上,智源评测体系发布并公布了140余个国内外开/闭源语言及多模态大模型能力评测结果。评测结果显示,在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡情况;在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出;在中文语境下的文生图能力上,国产多模态模型与国际一流水平差距较小。

  据评测结果,在中文语境下,字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二,国产大模型更懂中国用户。在语言模型客观评测中,OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。

  多模态理解模型客观评测结果显示,图文问答方面,阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4,LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。

  在海淀区教委支持下,智源研究院联合与海淀区教师进修学校对齐学生测验方式,考察大模型与人类学生的学科水平差异。评测发现,模型在综合学科能力上与海淀学生平均水平仍有差距,普遍存在文强理弱的情况,并且对图表的理解能力不足,大模型未来有很大的提升空间。

  据介绍,2023年6月,智源研究院与多个高校团队共建FlagEval大模型评测平台上线,迄今为止已完成1000多次覆盖全球多个开源大模型的评测和报告发布。本次评测使用了20余个数据集、超8万道考题,包括与合作单位共建和智源自建的多个评测数据集。(文猛)

责任编辑 :张倩

  6时许,保洁员刘昭琼正在候车室的座位间穿行,依次打扫窗台、地面和垃圾桶。她今年春运期间依旧计划在工作中度过,接下来的40天将是她一年中最忙碌的时候。虽然已经三年没有回湖北老家过年,她说,“新的一年,最重要的是有个好身体,和孩子一起朝着目标继续奋斗。”(完)

  三是提升旅客购票服务体验。优化铁路12306系统功能,持续开展适老化和无障碍化改造,为老年人和障碍人士购票提供便利。进一步扩大电子客票应用范围,在到站补票和列车补票业务环节全面实施电子化。学生优惠票不再规定乘车时间限制,每学年(10月1日至次年9月30日)任意时间可购买4次单程的学生优惠票。因铁路责任或不可抗力造成旅客退票,联程车票可一并办理退票,免收退票费。旅客办理补票、变更等客运业务时不再收取手续费;扩大非高峰方向折扣优惠列车范围。

  此时的王文教既是教练,又是队长。为了搭建中国羽毛球事业的发展框架,他与队友制定出包括身体训练、技术训练、战术训练等内容的完整训练计划。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有