TeleQnA 是首个用于评估大型语言模型通信领域知识的基准数据集，包含一万条来自标准和研究文章的问题答案。该研究通过自动问题生成框架结合人工输入确保质量，并测试了 GPT-3.5 和 GPT-4 等模型。结果显示模型在处理复杂标准相关问题时存在困难，但在一般通信问题上表现熟练。引入通信知识背景可显著提升性能，表明需要专业通信基础模型。此外，LLM 在与活跃专业人员对比中展现出媲美能力，突显其在该领域的潜力。数据集已公开访问。
我们介绍了 TeleQnA，这是第一个用于评估通信中大型语言模型（LLM）知识的基准数据集。该数据集包含 10000 个问题和答案，来自不同的来源，包括标准和研究文章。本文概述了负责创建该数据集的自动问题生成框架，以及如何在各个阶段整合人力输入以确保问题的质量。然后，使用所提供的数据集，进行评估以评估 LLM 的能力，包括 GPT-3.5 和 GPT-4。研究结果强调，这些模型难以解决复杂的标准相关问题，但在解决一般通信相关问题方面表现出了熟练程度。此外，我们的研究结果展示了结合通信知识背景如何显著提高其性能，从而揭示了对专业通信基础模型的需求。最后，数据集与活跃的通信专业人员共享，他们的性能随后与 LLM 的性能进行基准测试。研究结果表明，LLM 在通信知识方面的表现可以与活跃的专业人员相媲美，这要归功于他们处理大量信息的能力，突显了 LLM 在该领域的潜力。该数据集已公开访问。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
