大模型应用部署的测试指南如下。
a) 核查政务大模型应用建设方案,是否采用集中统一的安全管理和体系化技术防护措施;
b) 利用两种及以上(不同厂商)的漏扫工具,对部署大模型的软硬件设备、第三方工具等进行安全测试,核查扫描结果中是否存在未修复且可被利用的已知漏洞;
c) 核查大模型使用的芯片、基础软件、开源组件、算力设施等方面的供应链安全风险分析报告,是否按照 GB/T 36637—2018和 GB/T 43698—2024 等有关要求,对可能存在的供应中断、恶意程序或后门、高危漏洞等安全风险进行分析,核查现有安全风险是否处于可接受水平;
d) 调用互联网大模型的,核查服务商服务数字证书的有效性,验证是否存在虚假 API接口、仿冒和套壳大模型;
e) 核查政务大模型应用的基础设施配置;
1) 核查软件配置、运行环境参数、功能模块调用策略是否正确;
2) 核查是否开放非必要的网络端口和功能服务;
3) 核查采取的网络隔离策略配置是否有效,核查训练通信、推理请求等流量出入规则的权限范围和配置是否最小化;
4) 核查是否存在默认配置、默认口令,核查大模型部署工具风险端口(如 Ollama的11434 端口)是否进行有效加固。
f) 核查政务大模型应用采取的用户身份识别和权限管理等管控措施;
1) 对政务大模型应用自身提供的人机交互接口、所调用的API 接口进行连接测试,核查是否支持用户身份识别及权限管理;
2) 核查用户在登录时是否需要身份鉴别、用户身份标识是否具备唯一性、是否存在空口令用户;
3) 核查是否支持设置一般用户、系统管理用户、安全审计用户等多角色权限访问控制,核查已开通用户的权限范围是否满足最小化设置,一般用户是否具备创建、删除、拉取、推送等高权限的大模型管理功能;
4) 对用于大模型人机交互的对话接口调用频率进行核查,核查是否开启限制功能等;
5) 模拟单一用户连续多次提交恶意提问、违法违规内容等行为,核查是否禁用或暂停该用户服务;
6) 模拟多并发用户提交恶意请求行为,核查是否具备对多并发用户的阻断访问措施;
7) 涉及用户身份实名认证要求的,核查是否依托国家网络身份认证公共服务开展用户身份识别。
g) 核查外挂知识库接入数据的安全情况;
1) 核查已采取的数据安全防护措施,是否按照 GB/T 45396—2025中6.3数据使用的要求对使用的数据进行分类分级,对数据接口开启身份鉴别、访问控制、加密等安全策略;
2) 核查是否由本单位负责政务大模型应用管理、数据安全的部门,会同提供数据的业务部门开展必要性评估的过程文档,确认应用场景下外挂知识库接入的必要性。
3) 核查是否针对外挂知识库接入数据建立数据集台账,台账内容是否覆盖数据来源、类型和规模等信息,是否建立数据版本管理和回滚机制;
h) 大模型部署期间涉及对大模型进行微调优化的,核查预训练和优化训练的数据以及外挂知识库接入的数据清洗过滤情况;
1) 核查是否按照 GB/T 45652—2025中 7.2预训练数据处理活动评价方法对预训练数据进行评价,确认预训练数据安全性;
2) 核查是否按照 GB/T 45652—2025中7.3优化训练数据处理活动评价方法对优化训练数据进行评价,确认优化训练数据安全性;
3) 随机抽取清洗后的外挂知识库接入数据,抽样数量不宜少于5000条,抽样比例不宜少于5%,核查数据中是否含有违法和不良信息、错误数据等敏感内容。
i) 公众政务服务类应用,随机抽取清洗后的外挂知识库接入数据进行安全核查,抽样数量不宜少于5000条,抽样比例不宜少于 5%,核查数据内容是否超出政务信息公开范围,对存在时效性、适用范围等要素的内容,核查数据内容是否存在错误、过期、不适用内容;
j) 对政务大模型应用输入输出过程进行安全性测试,可采用人工测试、自动化测试和大模型测试等方式进行。测试内容至少涵盖 B.5a)、b)、c)和d)条款的有关要求;
1) 采用人工测试的,核查是否制定清晰、具体的测试标准和指南,对测试结果的分布和一致性进行分析,选择具有相关领域知识和经验的测试人员,确保测试结果的准确性;
2) 采用自动化测试的,核查是否在自动化测试脚本中清晰定义具体的测试指标计算方法和评分规则;
3) 采用大模型测试的,核查是否定义清晰的测试标准和评分规则,选择与测试任务相关性高的大模型,宜使用多个大模型进行交叉验证,确保测试结果的准确性。