中新健康|复旦大学团队研发AI大模型 助视障者“看见”世界

来源: 中国新闻网
2024-06-03 12:12:31

污漫网站下载安全无限看-丝瓜 ios苏州晶体公司「手で」  中新经纬1月20日电 据“中国电力企业联合会”公众号消息,19日,中国电力企业联合会召开年度电力供需形势新闻发布会,发布《2023年度全国电力供需形势分析预测报告》。xv59eK7g-CTWBniVmkzoQbztWVSocL-中新健康|复旦大学团队研发AI大模型 助视障者“看见”世界

  2023年上半年,复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型,被称为中国版的GPT,仅用半年时间多模态模型“眸思”问世。据介绍,“眸思”和基于文本的MOSS不同,它能够理解并识别图片内容,致力于成为视障者的一双“眸”。

  基于“眸思”,“听见世界” APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中,“眸思”如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行“看不见”的漫漫长路。

  在自由问答模式中,“眸思”则像一位贴心的朋友,走进博物馆、艺术馆、公园……捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。在寻物模式中,“眸思”将成为一名可靠的管家,被移动过的手杖、最爱口味的牛奶……它可以让视障人士找寻日常物件变得轻松。

  复旦大学自然语言处理实验室张奇教授说:“人工智能发展日新月异,科技应该要改变更多人的生活,希望‘眸思’能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”据介绍,该项目的主导者都是“初出茅庐”的学生们,在组内头脑风暴会上,年轻学子总能提出开创性想法,能够找到另辟蹊径的解决办法。

  自去年9月以来,复旦大学自然语言处理实验室围绕GPT4-v复现多模态大模型,对核心关键点开展研究,希望提升单项任务的准确率和强化大模型的学习。为了更好地感受视障者的难处,团队成员模拟真实情境,蒙眼探索视障者“黑暗”世界。他们邀请视障人士加入,进一步摸清真实而具体的需求。

  在基于几亿张图片训练出“眸思”大模型基础上,针对视障者提出的各类需求,团队又用上万张图片进行特殊样本训练,使“眸思”具备能够适配更多场景的能力。据透露,今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将“眸思”升级为基于视频的判断。目前,更多模式正在开发中,比如,阅读模式、解说模式等。

  马季是把相声从舞台推向电视的关键人物。他在上世纪五六十年代业已成名,当80年代电视在中国普及开来时,他便思考把相声由听觉艺术改造为视觉艺术。1984年春晚上大放异彩的《一个推销员》,便是他尝试的成果。人们后来习惯叫这个作品为《宇宙牌香烟》。

  但巨大的产业惯性很难在一夕之间消除。平湖市经信局原局长刘皆安曾提到,在平湖,当年做代工起家的老牌生产企业,被以前的思路束缚了手脚,转型做自主品牌,几乎“没有一家成功的”。

  “我有解决俄乌冲突的办法,但只能够告诉乌克兰总统泽连斯基一个人”。不过,直到他卸任,甚至跑到了美国去,也不知道他是否把锦囊妙计告诉泽连斯基。而如今再次上台的卢拉,则在他的就职典礼上,就先后会见了俄罗斯与乌克兰客人——俄罗斯联邦委员会(议会上院)主席瓦莲京娜·马特维延科、乌克兰副总理兼经济部长尤利娅·斯维里登科。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有