基于 AI 大模型的培训题库自动生成方案与实践

2. 整体流程设计

业务老师将文件材料上传至 JoySpace 上，AutoBots 自动将文件进行解析并存储在向量库中。采用培训系统作为功能载体，业务老师在系统上输入指令包含题目类型、题目难易程度、题目数量、知识范围等，机务系统后台进行大模型指令组装，调用 AutoBots 平台上已调试好的大模型接口，进行生成结果的获取，并以预览的方式展示给用户。用户对于采纳的试题可一键加入题库。

AutoBots 平台上，先根据用户的指令，从向量库中召回相关知识。然后大模型根据提供的知识和要求进行试题的生成，并以 JSON 的格式进行结果返回。

3. 大模型流程设计

采用 AutoBots 平台的流程编排能力，进行大模型能力的构建。

3.1 接收指令

接受指令中仅包含 1 个参数 query，及为用户下发的指令，其中包含知识范围、题目类型、试题数量、难易程度等。（若直接通过接口调用的话，也可以拆解为多个参数，以便后续流程使用）

3.2 知识召回

知识召回节点的目的在于从向量库中，召回本次生成范围所需的相关知识，比如某本手册等。该节点会生成一个 outputList 列表，其中即为相关的知识。

3.3 大模型试题生成

通过大模型，结合召回的知识和试题生成的要求进行试题生成，由于需要和业务系统对接，所以需要对生成结果的格式进行指定，提示词如下：

# 角色
你是一位专业的题库专家，擅长根据{{document}}的内容按照{{question}}要求生成对应题型的试题。你的专业知识和丰富经验使你能够准确地理解和转化用户的需求，生成满足要求的题目和答案。

## 技能
### 技能 1: 生成单选题
- 根据用户提供的内容，生成单选题。
- 保证每个单选题至少有四个选项。
- 选项编号按照 ABCD 排列
- 输出格式：{"type":"固定值：singleChoice","question": "题目描述","options": [{"optionName":"选项编号","optionContent":"选项描述"},{"optionName":"选项编号","optionContent":"选项描述"}],"correctAnswer": "正确选项编号"}

### 技能 2: 生成多选题
- 根据用户提供的内容，生成多选题。
- 保证每个多选题至少有四个选项。
- 选项编号按照 ABCD 排列
- 输出格式：{"type":"固定值：multipleChoice","question": "题目描述","options": [{"optionName":"选项编号","optionContent":"选项描述"},{"optionName":"选项编号","optionContent":"选项描述"}],"correctAnswer": ["正确选项编号 1", "正确选项编号 2"]}

### 技能 3: 生成判断题
- 根据用户提供的内容，生成判断题。
- 输出格式：{"type":"固定值：trueOrFalse","question": "题目描述","correctAnswer": "Y or N"}

### 技能 4: 生成简答题
- 根据用户提供的内容，生成简答题。
- 输出格式：{"type":"固定值：shortAnswer","question": "题目描述","correctAnswer": "正确答案"}

## 约束：
- 只生成与用户提供内容相关的题目。
- 必须遵守指定的输出格式，并以 JSON 数组的格式整合返回结果，且不要包含 json 前缀。
- 保证每个题目的描述在 100 字以内。
- 保证每个选项的描述在 50 字以内。
- 保证每个题目的正确答案在 50 字以内。

3.4 结果返回

该节点为结果节点，像调用方返回最终的结果，由于本场景仅需最终生成的试题，因此直接输出大模型试题生成节点的结果即可：{{output}}。

3.5 效果示例

指令：请根据 CCAR-396-R3 民用航空安全信息管理规定中对信息报告的相关要求，生成 5 道单选题。

知识库召回结果: （此处为向量库检索到的相关手册片段）

大模型生成结果：

[
    {
        "type": "singleChoice",
        "question": "根据 CCAR-396-R3 规定，民航局对在民用航空安全信息管理工作中做出突出贡献的单位和个人给予什么？",
        "options": [
            {"optionName": "A", "optionContent": "罚款"},
            {"optionName": "B", "optionContent": "表彰和奖励"},
            {"optionName": "C", "optionContent": "警告"},
            {"optionName": "D", "optionContent": "培训"}
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根据 CCAR-396-R3 规定，紧急事件发生后，事发相关单位应当在事件发生后多少小时内填报民用航空安全信息报告表？",
        "options": [
            {"optionName": "A", "optionContent": "6 小时"},
            {"optionName": "B", "optionContent": "12 小时"},
            {"optionName": "C", "optionContent": "24 小时"},
            {"optionName": "D", "optionContent": "48 小时"}
        ],
        "correctAnswer": "B"
    }
]

4. 业务系统集成

生成条件采用结构化的方式，方便用户精准的识别到其需要填写的内容，从而促进指令下发的准确度，保证试题生成的质量。对于生成的结果，可一键加入题库，供后续使用。

5. 持续升级

5.1 支持大批量试题生成

首次进行场景 0-1 的建设，因此对单次试题生成的数量进行了限制，避免资源消耗过大。后续会根据使用情况逐步放开，支持 100 道/次以上的生成规模。

5.2 支持针对于整份文件的生成

基于向量库知识召回的方式进行实现的方式，由于向量库进行知识召回返回的是 TOP N，因此势必会存在内容缺失，该种方式更加便于针对文档中的部分内容进行试题生成。后续将通过文件识别的方式，直接解析文件，根据整份文件内容进行生成。

5.3 生成的试题增加重复率限制

在试题生成节点之后，增加重复率识别的判断，若存在重复率不满足条件的试题，则从结果中剔除，并再次进行补充生成。

5.5 现有题库有效性识别

通过系统定时任务的方式，将通过试题题目进行文档知识召回，并将试题及试题相关的知识提交至大模型，由大模型进行有效性判断，若存在失效风险则返回标记及修改建议，在系统题库功能上进行着重表示并消息提醒相关用户，进行复核确认。

五、效能提升

通过引入 AI 大模型自动化生成题库，显著降低了人工成本。预计每年可减少约 1248 工时的人工梳理工作，相当于节省 1 个全职人力编制。同时，题库更新实现了实时化，不再依赖人工手动核对文件版本，确保了试题与最新手册的一致性。此外，系统具备的重复率检测功能有效避免了题库冗余，提升了题库的整体质量。培训人员可以将更多精力投入到培训策略制定和学员辅导等高价值工作中。

六、简要总结

通过 AI 大模型帮助用户进行培训试题的生成，在一定程度上将用户从低效、低技术含量、大工作量中解放出来，是面向用户痛点的一次尝试。同时通过该场景将大模型的能力和业务场景及工程系统结合了起来，让用户得到感知，也便于后续更多的大模型实践场景的发掘和落地。

该案例不仅用在航空领域，在其他诸多需要生成试题，生成问卷等相关场景方面都可进行参考和尝试。当前试题生成能力也仅是实现在从 0 到 1 的落地建设，能力需要不断的打磨和完善，后续会逐步进行 1 到 100，100 到∞的升级。