AI助力政策解读人大研究团队联合微点科技发布“政研大模型”

2023-07-10 11:11:55 来源：界面新闻

7月9日，由中国人民大学信息资源管理学院钱明辉教授主持的国家社科基金重点项目举行阶段性成果线上发布会，发布了中国人民大学研究团队与微点研究院联合开发的“政研大模型（PSLLM-14B）”。

据钱明辉介绍，该模型基于Multi-Task Transformer架构，共计140亿神经网络参数，在政策文本分析挖掘任务中展现出良好的性能，具有“可信”、“可知”、“可用”三大特点。

“可信”是指“政研大模型（PSLLM-14B）”具有一套可信的系统框架，该框架的构成要素包括可信的训练数据集、可信的模型架构、可信的参数设置、可信的推理结果、可信的数据保护能力、可信的硬件设备、可信的网络环境等。

(资料图)

钱明辉称，在训练数据集上，模型主要使用了经过严格筛选和清洗的高质量政策文本，同时利用不同的数据来源进行多样化训练，以降低数据偏差；其次，在模型架构和参数设置上，采用了经过大量实验验证的Transformer架构，并且根据政策文本的特点调整了模型参数，以提高模型的泛化性和准确性；最后，模型的推理结果采用了一系列验证和评估手段，包括内部测试、公开评测等，以保证推理结果的准确性和鲁棒性。

“可知”是指“政研大模型（PSLLM-14B）”的推理过程及输出结果具有较好的可解释性。此次发布的“政研大模型（PSLLM-14B）”一大特点在于具有一定的思维链（Chain-of-thought, CoT）能力。

所谓思维链，是指一系列有逻辑关系的思考步骤，形成了一个完整的思考过程。“政研大模型（PSLLM-14B）”将思维链这一步骤分解的方式应用在提示学习中，通过将大模型的推理过程分解成多个步骤，模型生成的结果具有更加清晰的逻辑链路，能够实现对大模型智能化推理过程更加清晰、透明的解释。

而在政务相关的场景中，特别是政策制定和解读，往往涉及到复杂的逻辑和决策过程，因此，思维链技术在这些场景中就可以帮助政策研究者、政策执行者、政策受众更好地理解和分析政策文本，把握政策的目标取向和内在逻辑。

“可用”则是指“政研大模型（PSLLM-14B）”作为政研领域的首个大模型，相比其他通用大模型具有性能优越性。在解决政策研究相关问题的过程中，“政研大模型（PSLLM-14B）”表现出更高的准确率，即对政策解读任务或评估政策数据集上生成结果的正确性与真实情况的一致性更高。

在实际部署的过程中，“政研大模型（PSLLM-14B）”会以插件化的形式融入现有的数字基础设施和政务系统。钱明辉举例，该大模型可以作为政策文本分析和解读的智能数字辅助工具，帮助政策研究人员更快地获取政策信息，更准确地理解政策含义；也可以根据未来“政务云”系统的建设需要，将“政研大模型（PSLLM-14B）”在云端进行部署，提升“政务云”的智能化服务能力。

为了降低部署成本和提高适配效率，“政研大模型（PSLLM-14B）”团队也在模型设计和优化方面做了工作。

钱明辉表示，首先团队在模型设计上考虑到了与硬件兼容性，模型主要模块采用的是广泛应用且兼容性好的Pytorch框架编写。其次，团队通过一系列的模型压缩和量化技术，降低了模型的复杂度，提高了模型的运行效率，使其在CPU设备上也能高效运行。最后，团队还提供了一整套的模型部署和运维方案，包括模型转换、部署、测试、监控等，以解决软硬件适配问题，确保模型的稳定运行。

（文章来源：界面新闻）

标签：

(责任编辑：)

AI助力政策解读人大研究团队联合微点科技发布“政研大模型”

相关文章