跳到主要内容大模型落地:从拼性能到拼赋能 | 极客日志PythonAI算法
大模型落地:从拼性能到拼赋能
文章探讨了大模型行业从单纯比拼性能转向赋能千行百业的趋势。重点介绍了科大讯飞星火大模型 4.0 Turbo 的性能突破,以及在超拟人数字人、万物智能交互标准方面的创新。内容涵盖了大模型在汽车、教育、医疗、政务等垂直领域的深度落地案例,如 6000 万辆汽车的智能语音装配、医疗影像助手及政务一体机。同时分析了安徽地区构建“大模型 + 大算力 + 大数据 + 大场景”产业生态的举措,并提供了从系统设计、提示词工程、RAG 开发到微调训练的系统化大模型学习路径与技术实践指南。
赛博行者1 浏览 在过去的两年中,以大模型为代表的通用人工智能开启了一个全新的时代。从'百模大战'到'千模竞技',各种文生文、文生图、图生视频、文生视频甚至多模态大模型层出不穷。在经历了最初的繁荣生长后,行业发展逐渐进入理性期。落地应用,成为企业最基本的目标。
行业趋势:从拼性能到拼赋能
10 月 24 日,第七届世界声博会暨 2024 科大讯飞全球 1024 开发者节在合肥开幕。在这场盛会上,诸多基于 AI 大模型的应用产品得以发布展示,显示出星火大模型在教育、医疗、能源、汽车、工业、金融、法律等领域不断拓展的潜力。
而从普通市民角度来看,一场城市的'AI 嘉年华',又让人们直观感受到大模型正切入人们生活的方方面面,迎来规模化应用落地的新时代。以技术创新为底座,解放生产力,释放想象力。大模型将如何收获'产业果实',赋能千行百业?
'超拟人'交互体验
在大会开幕式上,科大讯飞董事长刘庆峰首先公布了讯飞星火大模型应用成绩单,并发布讯飞星火 4.0 Turbo。根据真实数据背靠背的测试,其 7 大能力超过 GPT-4 Turbo,代码能力和数学能力超越 GPT-4o。由艾伦人工智能研究所、OpenAI 等国内外权威单位发布的 14 项主流测试集中,讯飞星火 4.0-Turbo 在其中 9 项测试集超过 GPT-4o。
与此同时,国产超大规模智算平台'飞星二号'正式启动。大模型技术底座能力,是产业化应用最坚实的底气。但另一个层面,大模型狂飙 2 年,已经过了不断比拼技术数据的阶段,更多的是要从需求出发去做技术提升。
'万物智联'是未来社会的典型特征。刘庆峰说,在万物智能时代,不仅是语音,整个人机交互领域都将上一个全新的台阶。科大讯飞定义了万物智能时代的人机交互(AIUI)标准,并且通过了国际组织的认定,已经在去年 5 月正式发布了国际标准,包括远场高噪、全双工、多语种多方言等多个方面,此次 1024,标准再次升级,新增了多模态、超拟人、个性化。
多模态是指多种视觉、听觉等感官信息在一起协同作用的状态。开幕式上,科大讯飞超拟人数字人首次亮相。多模态的交互从超拟人的语音变成超拟人的数字人,实现语音、视频、图文的全部联动的多模态交互。
多模态视觉能力加持下的人机交互有多惊喜?超拟人数字人不仅可以'角色扮演',能够模仿孙悟空、蜡笔小新、小猪佩奇等多种角色,音色、语气甚至人设都模仿得惟妙惟肖。
'原来是给一张照片就可以有嘴型;今天,我们把嘴型、表情、动作全部贯穿起来,所有的表情动作整体化地用我们的大模型技术自动生成,而且实现了表情动作的语义贯穿,统一文本、语音和表情,实现跨模态的语义的一致性。'
从语音交互拓展到音视频流的实时多模态互动,情境感知更全面。不光有语音,场景、文字、物体、姿态、着装都可以看到,任务理解就会更精准;因为有语音、有手势、有行为,还有情绪,就可以使游戏、学习、购物、美食、知识问答、绘本伴读更有趣;在具身智能机器人以及汽车等新终端越来越多的未来,可以实现全新的人机交互的升级,做很多原来做不成的事。
值得一提的是,科大讯飞还首次发布星火多语言大模型,除中英文外,可支持俄、日、阿、法等 8 个语种。'我们要代表中国给世界提供第二种选择。'
深度赋能:武装 6000 万辆汽车
'今天,大模型已经进入到关键应用落地、更复杂的深水区。'在开幕式上,刘庆峰感叹。
大模型发展到今天,靠继续提升通用大模型性能,能带来的行业进步十分有限。要想摘到'产业果实',必须扎根产业场景。汽车是大模型应用探索的绝佳载体。新能源汽车产业是安徽近年来发展最受瞩目的产业。AI 上车不仅将提升智能驾驶的便捷性与智能性,更可重新定义人与车的关系,开启汽车智能化的新时代。
大会开幕式上,奇瑞控股集团有限公司党委书记董事长、总经理尹同跃也来到现场。奇瑞、江淮汽车等车企也都携多款明星产品亮相展会。这些产品均应用了科大讯飞的核心技术。
'目前,我们智能语音交互的装配量已经超过了 6000 万辆车。去年,中国汽车出海 500 多万辆,多语种技术几乎都由科大讯飞提供。'刘庆峰表示。
'用人工智能技术解决社会刚需',是科大讯飞一直以来的出发点之一。此次 1024 科大讯飞全球开发者节上,科大讯飞面向教育、医疗、司法、政务服务、企业办公等多个行业场景发布了最新的产品应用。
在教育行业,首次发布了基于'问题链'的高中数学智能教师系统。在医疗行业,发布讯飞星火医疗大模型 2.0 和基于讯飞星火医学影像大模型打造的智能医学影像助手。在政务服务场景,政务大模型持续迭代,全面覆盖 4500 多种标准化事项和 60 多种材料。此外,发布会上首发了搭载政务大模型的'星火智办一体机',方便群众从'问着办'到'领着办'。
中国工业和信息化部赛迪研究院数据显示,2023 年,中国生成式人工智能的企业采用率已达 15%,市场规模约为 14.4 万亿元。截至 2024 年 10 月,科大讯飞已与各头部企业共建 20 多个行业大模型,覆盖 300+ 应用场景,均为第一。今年 1-9 月,大模型市场中标金融和中标数,科大讯飞也均是第一。
生态构建:大模型 + 大算力 + 大数据 + 大场景
与此同时,在安徽,一个以大模型为根基的产业森林正在生长。
十多年前,安徽依托中国声谷打造了合肥市智能语音集群,成为目前安徽唯一国家先进制造业集群。如今,在新一轮科技革命和产业变革下,安徽正抢抓通用人工智能发展战略机遇,致力打造产业新高地。
以'声谷、视谷、传感谷'等品牌为引领,2023 年,安徽全省 559 家纳统人工智能规上企业实现营收 1327.7 亿元。今年 1—6 月,全省 783 家纳统人工智能规上企业营业收入同比增长 9.1%,高于全省新兴产业平均水平 0.6 个百分点;人工智能产业投资同比增长 30.7%,高 19.7 个百分点。
赛迪顾问报告显示,2023 年全国 31 个省(市、区)人工智能产业发展评价中,安徽排名第 6 位,其中产业未来潜力、企业成长潜力分别居第 1 位、第 2 位。
只有生态的繁荣,才有人工智能的大未来。安徽省工信厅相关负责人表示,世界声博会暨科大讯飞全球 1024 开发者节亦是推动安徽省智能语音及人工智能产业发展的重要平台,对于安徽构建'大模型 + 大算力 + 大数据 + 大场景'的产业发展格局具有重要促进作用。
本届声博会系列活动中,还包括了 2024 科大讯飞 AI 开发者大赛。共有来自 14 个国家、348 座城市的 35268 支团队参赛。科大讯飞联合 30 所科研院校、44 家企业与机构顶尖共创赛题,最终评选出十佳团队。
这些团队都将成为安徽乃至全国人工智能产业不断生发的'种子'。科大讯飞将牵头成立 AI 基金,用 5 亿创业基金推动开发者创业,加速前沿技术产业化进程,并与地方政府联合为 AI 创业团队提供产业落地支撑。
今年 9 月,作为安徽省重点打造的集科研、教育、产业化于一体的 AI 产业集聚区——讯飞小镇,正式投入使用,为安徽人工智能科技创新和产业发展提供了重要载体。
发布会上,科大讯飞、华为、合肥市大数据资产运营有限公司三方联合打造的国产超大规模智算平台'飞星二号'正式启动。
科大讯飞表示,将开放全场景资源,进行线上线下渠道和资源共享,让更多开发者在拓展市场上取得更大成功。一个顶天立地、自主可控、通专结合、端云联动、软硬一体的人工智能发展生态正在安徽不断汇聚。
大模型技术学习路径参考
为了帮助开发者更好地掌握大模型技术,以下整理了一套系统的学习路径,涵盖从基础设计到行业应用的全过程。
第一阶段:大模型系统设计
从大模型系统设计入手,讲解大模型的主要方法。理解 Transformer 架构、注意力机制以及模型的基本训练流程。
第二阶段:提示词工程
通过大模型提示词工程从 Prompts 角度入手更好发挥模型的作用。学习如何编写高质量的 Prompt,优化模型输出质量。
第三阶段:平台应用开发
大模型平台应用开发借助阿里云 PAI 平台构建电商领域虚拟试衣系统。掌握云端部署与 API 调用流程。
第四阶段:知识库应用开发
大模型知识库应用开发以 LangChain 框架为例,构建物流行业咨询智能问答系统。学习 RAG(检索增强生成)技术,结合私有数据提升回答准确性。
第五阶段:微调开发
大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型。掌握 Fine-tuning 垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握。
第六阶段:多模态开发
以 SD 多模态大模型为主,搭建了文生图小程序案例。探索图像生成与理解的边界。
第七阶段:行业应用构建
以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。整合前端、后端、产品经理、设计、数据分析等能力,实现端到端的解决方案。
预期收获
- 全栈工程能力:基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力。
- 解决实际项目需求:能够利用大模型解决相关实际项目需求。大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。
- 垂直领域训练:基于大模型和企业数据 AI 应用开发,实现大模型理论、掌握 GPU 算力、硬件、LangChain 开发框架和项目实战技能,学会 Fine-tuning 垂直训练大模型。
- 编码与分析能力提升:能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力。大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
核心资源清单
- AI 大模型学习路线图
- 100 套 AI 大模型商业化落地方案
- 100 集大模型视频教程
- 200 本大模型 PDF 书籍
- LLM 面试题合集
- AI 产品经理资源合集
相关免费在线工具
- 加密/解密文本
使用加密算法(如AES、TripleDES、Rabbit或RC4)加密和解密文本明文。 在线工具,加密/解密文本在线工具,online
- RSA密钥对生成器
生成新的随机RSA私钥和公钥pem证书。 在线工具,RSA密钥对生成器在线工具,online
- Mermaid 预览与可视化编辑
基于 Mermaid.js 实时预览流程图、时序图等图表,支持源码编辑与即时渲染。 在线工具,Mermaid 预览与可视化编辑在线工具,online
- curl 转代码
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具,curl 转代码在线工具,online
- Base64 字符串编码/解码
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online
- Base64 文件转换器
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online