ChatLaw 袁粒:法律大模型如何助力个人维权与行业思考
2023 年是大模型元年,也是生成式 AI 蓄力爆发之年。距离 2022 年底 ChatGPT 横空出世仅一年多,AI 大模型已迅速赋能至千行百业。
为推动大模型加速产业落地,我们推出'AI 大模型前沿访谈系列',精选部分代表企业的调研访谈内容,关注国内大模型最新进展的读者可以先睹为快。
本期访谈的对象是法律大模型 ChatLaw 开发团队导师、北京大学信息工程学院助理教授袁粒。2023 年 7 月,北大团队发布了中文法律大模型 ChatLaw,为大众提供普惠法律服务。作为学术派代表,袁粒解读了他对于大模型应用的思考,并分享了生活中的'大模型维权'故事。
'没有垂类模型,只有垂类应用'
Q:您是从什么时候开始进行大模型研究,并探索大模型产业化应用的?
**袁粒:**博士期间,我专注于视觉 Transformer 的研究,进入北大后,就进入了大模型相关领域。2022 年下半年,GPT-3.5 还没有发布,我们就已经开始了 ChatExcel 的研究工作。去年 6 月份,我的一些学生想到将大模型往产业化方向发展,我就开始支持他们开展科研成果转化。
Q:ChatLaw 是基于通用大模型开发的吗?
**袁粒:**ChatLaw 属于垂类大模型,最初是基于开源模型进行研发的。但是在后期,我们开始逐步训练 MoE 版本,也就是混合专家模型。同时 ChatLaw 并不是一个单独的模型,而是系列模型,它通过内部的 Agent 实现对不同模型的调用,其中包括关键词提取模型、针对法律垂类知识的 Fine-tuning 的模型等,协同为用户提供知识问答。
Q:当前,有很多公司和机构会基于通用 AI 大模型的能力开发相关产品和应用,您的团队则是选择构建垂类行业大模型,这种路径的优缺点是什么?
**袁粒:**它的优势在于比通用大模型的壁垒更高,因为通用大模型无法直接获取很多垂类数据。比如,去年开始,裁判文书网就不再对外公开。我们选择法律这个领域,也是基于北大的深厚积累。无论是在数据、认知,还是在法律行业的深入程度上,我们都是有优势的。
我有一个观点:没有垂类模型,只有垂类应用。如果你熟悉通用大模型无法触及的领域,同时数据的获取成本和难度极高,那你就拥有了行业壁垒和优势。通用模型拼的是算法和算力,垂类模型拼的则是对行业和行业数据的积累。
Q:相较于其他行业,政法领域对大模型的应用需求有什么特点?
**袁粒:**一个很大的区别在于,能否用国外的开源模型开发行业应用。比如,教育领域可以用,但是政务政法领域不同部门对法律模型有不同的需求。而且,政法领域的数据是无法上云的,必须要本地化部署。相较于教育、医疗等大模型应用的 to C 属性,政法领域的 to B 属性更强,无法在云端部署。此外,数据的安全性方面也有不同要求。
ChatLaw 是如何帮我维权的?
Q:ChatLaw 在通用功能上是如何帮助用户的,有哪些应用案例?
**袁粒:**以我自己为例,去年一段时间,我们小区的垃圾车每天早上 5 点就开始作业,对居民休息影响很大,向物业等各方投诉后也没有得到解决。于是,我就问了 ChatLaw。ChatLaw 回答,根据环境保护法,噪声也是一种环境污染,建议我检测下噪声有多少分贝。我用检测器检测后发现噪声严重超标。
ChatLaw 还根据我所在小区的情况,告诉我一系列投诉渠道和方式。当然,我最后没有用到这些方式。我把检测结果等相关证据和 ChatLaw 生成的上诉文书一起提交给物业,其中明确指出,如果相关部门警告两次后仍未整改的,可以对物业进行罚款,情节严重的可以取消物业。最终,物业公司得以重视并很快解决了这件事。
生活中,很多人都会遇到法律方面的大小问题,然后就想办法找到做律师的朋友去咨询,有时候无法找到合适法律朋友或者找到了多少会欠点人情账。其实,一个大模型就可以给你解释得很清楚,甚至连法律文书都给你生成了,尤其是它给你提供了明确的法律依据和清晰的解决路径,从而让你有了解决问题的底气。
高校 vs 企业:大模型发展优劣势比拼
Q:政法属于人才密集型的工作领域,您认为大模型可以在多大程度上代替人在其中的作用?
**袁粒:**我们没有说过'代替'这个概念,而是'助理'。助理可以是初级、中级或高级的,帮助大家解决一些繁琐的文书写作任务,降低重复性劳动,提高工作效率。这也是我们的未来目标。
现在这个助理的阶段还比较初级,我希望可以把它不断升级,越来越智能,最终取代一部分甚至是全部底层工作,让大家能够聚焦在更高维度的工作内容上。
Q:政法领域布局大模型应用的挑战主要是什么?
**袁粒:**首先就是建立信任。鉴于政务领域的特殊性,政府部门对你的信任是非常重要的。这也是我们作为高校身份比商业公司具有优势的地方,更天然地容易获得这种信任。
其次,即便是在面向 C 端的应用中,相对于教育和学习这种场景,法律往往会涉及更多的个人隐私,也就更加看重数据安全性和私有化部署问题。
Q:在研发等其他领域,高校与商业公司相比又有哪些优劣势呢?
**袁粒:**高校天然地存在一个问题,没有产业界那么多资源,比如投资、供应链等。
但在优势方面,一是前面所说的行业积累和信任优势,二是我们有一批充满活力的优秀学生,能够更加专注地研究前沿技术。
这一波 AI 浪潮中,无论是通用大模型还是视觉模型,研发团队都非常年轻,我们所拥有的人才资源正是产业界急需的。在移动互联网时代,技术依赖其实没有那么强,反而产品经理的话语权更大。而现在,核心技术人才变得至关重要。
赶超 OpenAI,硬件能否跟上?
Q:在未来的大模型竞争中,您认为什么样的企业和产品更容易脱颖而出?
**袁粒:**这几波大模型热度都是由国外巨头引领的,尤其是 OpenAI,大家都想学它,但是能否学到,则要看各方面因素的影响。比如硬件上,我们就受到了算力的制约,这也是许多国内大厂在努力突破的方向。OpenAI 验证了 Scaling Law(尺度定律)是成立的,而 Scaling Law 本质就是对算力的要求。
这个问题之所以很难回答,是因为大家都在探索阶段。未来的技术迭代是否可以超越 Scaling Law,研发出规模又大、能耗又低、效率又高的基础模型,现在还看不到这个迹象。所以,至少目前来看,算力和人才是至关重要的因素。
Q:您认为中国的大模型产品和技术相比国外有多大差距?我们是否有机会赶超 OpenAI?
**袁粒:**我不敢说'赶超',但是视觉领域的大模型差距其实并不大。Sora 出来以后,大家觉得它的训练很好、效果很惊人,其实国内在这方面的积累也是很丰富的。
能否实现赶超,不是单方面的因素决定的。需要多长时间赶超?有没有巨量的资本投入?生态体系尤其是硬件能否跟上?这些都是未知的。当年,英伟达就是靠游戏存活下来,后来才发展壮大。我们是否可以支撑硬件公司成长呢?
Q:在当前的大模型应用还面临着伦理方面的挑战,作为 ChatLaw 开发团队,您如何看待这个问题?
**袁粒:**这个问题学术界有所关注,很多学术会议上也会讨论,但是产业界的重视度并不高。我个人也认为它不是特别重要。
大模型开发本身就会设置很多约束,从产业应用来说,只要约束足够强,就会解决这方面的问题。当然,约束过强也会导致能力的损失。产业界铆足了劲往前冲,更关注的是如何把效果做好,毕竟如果基础能力都没有,更不用谈伦理道德问题了。
总之,无论它是否是一个伪命题,都不应该成为阻碍行业发展的因素。
具身智能:巨大的想象空间
Q:您预测大模型的下一个热点在哪个方向?
**袁粒:**必须说明,我预测的可能也是错的,因为时间点和技术难度都不可控。
我认为具身智能(Embodied AI)很重要。谷歌很看重这个领域,但不知道 OpenAI 是不是也在开展。具身智能如果可以真正地落地,就意味着大模型和机器人的结合,这个想象空间远远超过语言和视觉大模型,甚至会革新整个工业界。
现在的机器人程序代码都是写死的,只能执行固定任务,作为工业生产的一个环节做重复性劳动。如果具身智能有了重大突破,机器人就可以变成多面手,从事不同的产线工作,或者通过自主学习把整个产线打通。
自动驾驶也属于一种具身智能,它的具身机器人就是汽车。我们以此可以想象,具身智能的大模型将会带来多么大的市场前景。
Q:你对 ChatLaw 有怎样的发展规划?是否还会探索政法领域之外的应用?
**袁粒:**首先把 B 端的政法服务做好,先养活团队,以此为基础拓展到 C 端。
我本身是做学术的,没有边界限制,而且 ChatLaw 也是我支持学生在做,所以我没有把自己限制在某个很小的领域。
我博士期间研究视觉方向,现在跟深圳一家企业开展深度合作,围绕视觉生成进行产业化研究。另外,在深度学习大模型的领域内,底层模型训练等工作我们都可以做,它们的底层技术是共通的,只是存在数据类型的差异。
Q:您对整个大模型行业的发展及其应用有哪些建议?
**袁粒:**只有一个最大的建议,就是积极拥抱变化。这个领域的发展和技术迭代非常快,对于学术界的老师而言,谁能最快地拥抱变化,谁就能最先收获成果。这一点也是我对自己的要求。
关键技术概念解析
为了更深入理解上述访谈中提到的技术术语,以下对相关法律大模型及 AI 领域的关键技术概念进行补充解析。
1. 混合专家模型 (MoE)
MoE (Mixture of Experts) 是一种神经网络架构,旨在提高模型容量而不显著增加推理成本。它通过引入多个'专家'子网络,并在每个输入样本上动态选择部分专家进行激活。在法律大模型中,MoE 可以帮助模型处理复杂的法律逻辑推理,同时保持响应速度。
2. 智能体 (Agent)
在大模型应用中,Agent 指的是具备感知、规划、行动能力的智能系统。ChatLaw 通过内部 Agent 调度不同模型,例如关键词提取模型用于理解用户意图,Fine-tuning 模型用于生成专业法律回答。这种模块化设计使得系统更加灵活,能够应对多样化的法律查询场景。
3. 检索增强生成 (RAG)
虽然访谈中未详细展开,但 RAG (Retrieval-Augmented Generation) 是垂类大模型的核心技术之一。它通过从外部知识库检索相关信息,再结合大模型的生成能力,有效减少幻觉,确保法律建议的准确性和时效性。这对于法律领域尤为重要,因为法律条文和判例更新频繁。
4. 尺度定律 (Scaling Law)
Scaling Law 描述了模型性能随计算量、参数量和数据量增加而提升的规律。OpenAI 验证了这一规律在大模型中的适用性。然而,随着模型规模扩大,算力消耗呈指数级增长,这成为了制约行业发展的瓶颈。如何在有限的算力下优化模型效率,是未来竞争的关键。
5. 具身智能 (Embodied AI)
具身智能强调智能体通过与物理环境交互来学习。与大语言模型不同,具身智能不仅处理文本,还涉及感知和行动。在法律领域,虽然目前主要应用于文档处理,但未来若结合具身智能,可能实现自动化的法律咨询机器人,甚至辅助法庭调查等复杂任务。
6. 私有化部署
政法领域对数据安全要求极高,数据往往不能上传至公有云。因此,大模型通常需要私有化部署在本地服务器或专有云上。这不仅涉及模型本身的轻量化,还包括推理引擎的优化,以确保在有限硬件资源下的稳定运行。
7. 提示工程 (Prompt Engineering)
在与大模型交互时,如何编写高质量的 Prompt 直接影响输出结果。法律场景下,Prompt 需要包含具体的案情描述、适用的法律条款以及期望的输出格式。掌握提示工程技巧,能显著提升大模型在法律辅助工作中的实用性。
8. 微调 (Fine-tuning)
针对特定领域(如法律)对预训练大模型进行微调,使其适应专业术语和逻辑。ChatLaw 采用了针对法律垂类知识的 Fine-tuning,这是其区别于通用模型的关键步骤,确保了输出的专业性和合规性。