从新加坡《Companion Guide on Securing AI Systems 》看可信AI全生命周期防护框架构建

从新加坡《AI系统安全指南配套手册》看可信AI全生命周期防护框架构建

一、引言

1.1 研究背景与意义

近年来，人工智能（AI）技术以前所未有的速度蓬勃发展，已然成为推动各行业变革与创新的核心驱动力。从医疗领域辅助疾病诊断，到金融行业的风险预测与智能投顾，再到交通领域的自动驾驶技术，AI 的身影无处不在，为社会发展带来了巨大的效益 。据国际数据公司（IDC）预测，全球 AI 市场规模在未来几年将持续保持高速增长态势，到 2025 年有望突破千亿美元大关。

然而，随着 AI 技术的广泛应用，其安全问题也逐渐浮出水面，成为制约 AI 健康发展的关键因素。AI 系统面临着来自传统网络安全威胁以及 AI 技术特有的新兴安全挑战。在传统网络安全威胁方面，诸如网络钓鱼、DDoS 攻击、恶意软件入侵等问题屡见不鲜，这些攻击手段不仅会破坏 AI 系统的正常运行，还可能导致数据泄露、隐私侵犯等严重后果。例如，2023 年某知名 AI 医疗平台遭受黑客攻击，大量患者的敏感医疗数据被泄露，引发了公众对 AI 系统安全性的广泛担忧。

而 AI 技术特有的新兴安全挑战更为复杂和隐蔽。深度神经网络作为 AI 算法的核心，其决策过程犹如 “黑箱”，难以被外部审计或解释，一旦模型出现错误决策，很难追溯原因并进行修正。数据投毒攻击也是一大隐患，攻击者通过向训练数据中注入恶意数据，