AI参加律师考试…正确率超一半

by Keum Boryeong

Published 18 Oct.2023 08:45(KST)

Lo앤Company BigCaseGPT 正确率达53.3%

法律科技企业“Law&Company”18日表示，其开发的“BigcaseGPT”在第12届大韩民国律师考试客观题中取得了53.3%的正确率。

BigcaseGPT是集成人工智能（AI）的综合法律信息服务“Bigcase”和Law&Company共同打造的自有人工智能系统。此前在3月，Law&Company曾利用OpenAI的最新语言模型GPT-3.5和GPT-4来解答律师考试客观题。据Law&Company方面称，两者的正确率分别为28.7%和34%。

律师考试客观题共150题，包括公法40题、民法70题、刑法40题。BigcaseGPT在这些题目中，公法答对19题，民法40题，刑法21题，总计答对80题。

Law&Company在BigcaseGPT中，以GPT-4为基础，应用了检索增强生成（RAG，Retrieval-Augmented Generation）模型以及其自创的提示词工程技术。同时，以Bigcase所拥有的329万件判例中信息价值较高的判例为核心，构建了向量化数据库，使其能够对法律领域的提问给出最优化的回答。

Law&Company不仅向BigcaseGPT学习了判例，还额外加入了Bigcase所持有的14.5万件法令、7000件决定例、7000件有权解释等共16万件法律信息。Law&Company方面表示：“BigcaseGPT的特点在于，将被视为生成式AI最大局限的‘幻觉’（信息扭曲现象）控制在接近于零的水平，大幅强化了数据的可信度”，“通过反复测试，已完成对BigcaseGPT不再给出虚假判例或虚假法令这一水平的验证，今后将通过持续的质量管理（QA），力争将其彻底消除。”

今后，Law&Company计划在BigcaseGPT中应用多种语言模型以及自主开发的最优语言模型，对该系统进行高度化。通过这一举措，计划在明年上半年全新推出名为“Super Lawyer”的面向律师的人工智能企业间交易（B2B）软件即服务（SaaS）产品。该服务将提供法律备忘录生成、法律文书摘要、法律问答等功能，目标是提升律师的业务效率。