大模型安全入门：从零构建你的 AI 安全攻防知识体系
提醒：下文内容由 Claude Opus 4.6 根据大纲生成，经过人工修订与校准
引言：为什么要学大模型安全
大语言模型正在快速进入各种生产环境：客服、编程、医疗、内容审核、自动化决策，到处都是。但部署得越广，攻击面也越大。
对安全从业者来说，掌握大模型安全已经是职业刚需。你已有的漏洞挖掘、攻防对抗、威胁建模经验，在 AI 安全领域同样适用。
本文整理了一份从零开始的学习路径，方便你系统地进入这个方向。
第一步：构建心智模型——理解 LLM 是如何”思考”的
在讨论”攻击 LLM”之前，先理解它怎么工作。你不需要成为 Transformer 架构专家，但必须明白：
- LLM 如何通过 Token 预测下一个词？
- 为什么 Prompt 会被”注入”并改变模型行为？
- 为什么模型会”幻觉”或输出有害内容？
推荐从 3Blue1Brown 的神经网络系列开始。这是目前最直观的神经网络可视化教程，通过动画和类比帮你建立对注意力机制、梯度下降、嵌入空间等概念的直觉理解。安全研究的前提是理解研究对象。
建议先看前 4 集（神经网络基础），再配合《The Illustrated Transformer》快速建立 Transformer 心智模型。
第二步：动手交互——熟悉主流 LLM 平台与 API
纸上得来终觉浅。你需要亲自”调教”模型，才能发现它的边界与漏洞。
交互方式分两类：
- 界面交互（ChatGPT、Claude Web 等）——适合初步体验和 Prompt Engineering
- API 调用（OpenAI API、Anthropic SDK 等）——适合构建可复现、可自动化的安全测试环境
两个值得了解的平台：
Hugging Face 相当于 AI 领域的 GitHub，有开源模型库（Llama、Mistral、Qwen、DeepSeek 等）、数据集与评估脚本（用于安全 benchmark），Spaces 平台还可以快速部署 Demo 进行漏洞复现。
OpenRouter 聚合了 GPT-5、Claude 4、Gemini、DeepSeek 等数百种模型，提供免费模型和统一 API 接口，降低多模型测试成本。国内访问友好，支持支付宝/微信支付，适合预算有限的学习者。
注册后，可以先用免费模型测试不同厂商对”越狱 Prompt”的安全水位，记录各家的脆弱性表现。
第三步：掌握安全框架——系统化认知 LLM 风险
理论和实操之后，你需要一套权威的”地图”，理解哪些是高频高危漏洞，攻击者在用什么战术。
OWASP Top 10 for LLM Applications
目前最落地的 LLM 安全风险分类框架之一，是 OWASP GenAI Security Project 发布的 2025 版 Top 10，涵盖十大核心威胁：
| 编号 | 风险名称 | 关键示例 |
|---|---|---|
| LLM01 | 提示注入（Prompt Injection） | 外部文档中的恶意指令劫持 Agent 任务 |
| LLM02 | 敏感信息泄露（Sensitive Information Disclosure） | 模型输出个人信息、凭据或企业内部数据 |
| LLM03 | 供应链（Supply Chain） | 被篡改的模型、数据集或第三方组件进入生产环境 |
| LLM04 | 数据与模型投毒（Data and Model Poisoning） | 通过微调数据或 RAG 知识库植入后门内容 |
| LLM05 | 不当输出处理（Improper Output Handling） | 未经校验的模型输出被用于执行代码或渲染页面 |
| LLM06 | 过度代理（Excessive Agency） | Agent 使用过大的权限访问内部 API 或数据 |
| LLM07 | 系统提示词泄露（System Prompt Leakage） | 模型暴露内部规则或系统提示词中的敏感内容 |
| LLM08 | 向量与嵌入弱点（Vector and Embedding Weaknesses） | RAG 检索缺少租户隔离，导致越权访问数据 |
| LLM09 | 错误信息（Misinformation） | 用户将模型生成的虚假内容当作事实使用 |
| LLM10 | 无界资源消耗（Unbounded Consumption） | 超长输入或循环工具调用耗尽计算资源和预算 |
学习重点不是背列表，而是理解每个风险的攻击路径、影响范围和缓解方案。这份清单是构建 LLM 安全防御体系的基础。
MITRE ATLAS——AI 系统攻击战术库
如果说 OWASP 是”漏洞清单”，MITRE ATLAS 就是”攻击者手册”。它把真实世界中针对 AI 系统的攻击结构化为战术、技术与过程（TTPs）。例如，在分析间接提示注入导致 Agent 工具滥用的场景时，可以分别映射为：
注入技术：AML.T0051.001 – LLM Prompt Injection: Indirect
后续行为：AML.T0053 – AI Agent Tool Invocation
可能目标：AML.TA0010 – Exfiltration
这些编号用于描述战术和技术映射，不代表 ATLAS 规定了一条固定攻击链。实际使用时，应结合复现的攻击案例对照 ATLAS 编号，再构建攻击树。这个框架在红队演练、威胁建模和防御策略推演中都很实用。
第四步：实战攻防——用工具进行红队演练
安全的本质是对抗。纸上谈兵不如亲手测试。
NVIDIA Garak
Garak（全称 “Garak, Eliminator of Models”，名字来自《星际迷航》）是一个模型漏洞扫描器。它能自动化探测提示注入、越狱、隐私泄露、拒绝服务等攻击，支持多模型并行测试（本地 + API），并生成攻击报告与风险评分。
用法示例：
1 | |
系统会自动运行数十种越狱 Prompt，并汇总成功率。
建议用 Garak 测试提示注入、敏感信息泄露、有害内容和资源消耗等可通过模型交互观测的风险，再将结果映射到对应的 OWASP 条目。供应链、数据与模型投毒等问题需要单独进行工程验证。
第五步：追踪前沿——融入社区，持续学习
AI 安全变化很快。2024-2025 年几个值得关注的趋势：
- 智能体（Agent）安全：自主调用工具、写代码、自我迭代，风险指数级放大
- 模型上下文协议（MCP）滥用：通过上下文窗口注入指令，绕过系统提示
- 间接提示注入（Indirect Prompt Injection）：通过 RAG、插件、文件上传等侧信道注入恶意指令
- 多模态安全：图像到文本的提示污染、语音指令劫持等
GitHub 上搜索 Awesome LLM Security 可以找到不少整理好的资源列表，比如 Trail of Bits 的 awesome-llm-security、Stanford 的 llm-security-papers，以及 PromptInject、LLM-Guard 等项目。
建议每周花 1 小时浏览 GitHub Trending 和 arXiv 最新论文（关键词 “LLM Security 2025”），保持信息嗅觉。
安全 ≠ 越狱——你的探索边界是法律与责任
在大模型安全领域，最危险的认知误区是：
“我只是测试一下，又没真干坏事。”
提示注入、越狱、诱导泄露，这些技术动作本身确实有趣、有挑战性，但它们不是电子游戏，而是具备真实攻击路径与法律后果的技术行为。
你必须知道的三件事
1. 平台不是试验场
你在 ChatGPT、Claude 或 Gemini 上调用恶意 Prompt，即便”只是看看反应”，也可能触发风控封号（用户协议明确禁止非授权行为）、留下审计日志（企业级 API 可能关联实名与 IP），或被模型提供商列入滥用名单。
2. 技术无罪，用途有责
越狱不是”黑客精神”的勋章。如果你诱导模型生成违法内容（诈骗脚本、虚假新闻、仇恨言论）、泄露训练数据中的隐私（PII、代码、内部文档）、绕过安全护栏执行系统命令（通过 RAG/插件/API 调用），根据《网络安全法》《数据安全法》《生成式 AI 服务管理暂行办法》，技术操作者需承担连带责任。
3. 真正的安全研究者不冒合规风险
成熟的安全社区（DEFCON、Hugging Face、Trail of Bits）早已建立白帽准则：本地或沙箱测试开源模型（Llama 3、Qwen、DeepSeek 等），使用授权环境参与红队演练（如 LLM-Red-Team CTF），输出成果时隐去敏感细节，聚焦防御方案而非攻击扩散。
结语
理解原理 → 熟悉平台 → 掌握框架 → 动手攻防 → 追踪前沿
这条路径不只适用于大模型安全，也适用于任何新兴技术领域。希望这份整理能帮你快速上手。