《人工智能安全趋势研究报告（2024）》由赛迪研究院发布，聚焦人工智能安全领域，全面剖析其安全风险、解决方案、测评趋势并提出发展对策。人工智能安全涵盖内生安全与衍生安全，前者涉及星空体育智能科技供应链、数据、算法安全，后者包括应用安全和伦理安全。在安全风险方面，供应链安全面临硬件断供和软件垄断、漏洞等问题；数据安全存在训练和推理阶段的数据投毒、标注不规范、信息泄露等风险；算法安全存在算法缺陷、黑箱问题、对抗性攻击和窃取风险；应用安全体现在赋能网络攻击、合成虚假内容和带来军事威胁；伦理安全涉及冲击传统道德、造成群体失业、算法偏见、自主决策风险和知识产权争议。为应对这些风险，业界探索了多种技术解决方案，数据安全与隐私保护方面有机密人工智能和联邦学习；算法安全与模型防护包括对抗性机器学习和模型水印技术；AIGC检测和溯源技术可识别和追踪人工智能生成内容；人工智能透明度和信任构建通过可解释人工智能和人工智能对齐技术实现。在安全测评方面，国内外积极制定标准，如我国的《国家新一代人工智能标准体系建设指南》等，国际上也有相关标准发布；同时涌现出多种测评平台和工具，未来将朝着标准国际化、技术创新多元化和测评动态化方向发展。为促进我国人工智能安全发展，建议构建多层次治理体系，包括分类分级管理、全生命周期透明度管理等；加快技术研发与自主生态建设，推动安全技术应用和自主供应链发展；完善安全标准与测评体系，健全标准并推动与国际对接；加强伦理引导与公众教育，完善伦理治理机制并提升公众认知 。