有声视频：

有声播客：

AI离我们有多远？

嘿，问你一个问题：你觉得AI离我们普通人有多远？

• A. 很遥远，是科学家的事

• B. 有点关系，但用得不多

• C. 已经离不开了！

无论你选择A、B还是C，今天的这篇文章都值得你花时间读完。因为那个驱动着所有热门AI应用的“神秘力量”——AI大模型，可能比你想象中更强大，也离你更近。

如果你和我一样对AI充满兴趣，那么这篇文章将带你深入了解这些基础知识，帮助你更好地理解和使用大模型。

1. 大模型的原理

AI大模型是如何工作的？

你可能会好奇，AI大模型到底是怎么工作的？为什么它能像人一样理解和生成文字？别急，我们用一个“超级厨师”的例子来解释。

想培养一位“超级厨师”

想象一下，我们要培养一位能做出全世界所有菜系的超级厨师。我们会怎么做？

第一步：让他“吃”遍所有食谱（预训练 Pre-training）

首先，我们会把人类历史上所有的食谱、美食文章、烹饪视频……能找到的一切和“吃”有关的资料，都喂给这位“厨师”。这个过程，就叫做“预训练”(Pre-training)。

• 海量数据是基础：这个过程需要的数据量是惊人的，可能包括了互联网上数以万亿计的单词和句子。

• 学习语言规则：通过阅读海量的文本，模型自己学习语法、事实、推理能力，甚至是语言中那些只可意会的“感觉”。这就像厨师通过阅读无数食谱，不仅认识了所有食材，还领悟了煎炒烹炸的奥秘和菜系搭配的精髓。

完成预训练后，我们就得到了一个知识渊博但毫无专长的“通才模型”。它什么都懂一点，但做什么都不是很精通。

第二步：针对性“特训”（微调 Fine-tuning）

现在，我们希望这位厨师成为一名顶级的“川菜大师”。于是，我们会找来最顶级的川菜菜谱，让他专门学习和练习。这个过程，就叫做“微调”(Fine-tuning)。

微调就像是给一个已经很博学的模型进行“专业强化训练”。我们用更具体、更高质量的数据，来教模型完成特定的任务。比如，我们可以用很多“客服对话”的数据来微调模型，让它成为一个出色的智能客服。

核心技术：Transformer架构

那么，是什么让这位“厨师”的学习效率如此之高呢？这就要归功于一个叫做 Transformer 的革命性架构。你可以把它理解为一种全新的“阅读和记忆方法”。在Transformer出现之前，AI模型读句子就像我们一个词一个词地读，读到后面就容易忘了前面讲了什么。

而Transformer模型拥有一个叫做“自注意力机制”（Self-Attention）的超能力。它在读一句话的时候，能同时关注到句子里的所有词，并且立刻判断出哪些词是重点，以及词与词之间的关联性有多强。

举个例子：

在下面这句话里，“it”到底指代的是“animal”还是“street”？

The animal didn't cross the street because it was too tired.

对于Transformer模型来说，它的“自注意力机制”会迅速给“animal”更高的权重，因为它能理解，“tired”（疲惫的）更可能用来形容动物，而不是街道。

正是因为这种强大的能力，大模型才能真正“理解”上下文，生成连贯、有逻辑的回答。

小结

AI大模型 = 海量数据预训练 + 特定任务微调 + Transformer架构

它就像一个通过阅读全世界的书籍来学习，并掌握了高效阅读和关联记忆方法的“超级大脑”，最终能够在不同领域为我们服务。

2.如何正确的使用大模型？

看到这里，你可能会有一些疑惑，什么叫如何使用？这个东西不是对话就可以了吗？

是的，直接对话确实是使用大模型最简单、最直接的方式。但这就像使用一台高级相机，你可以只用“自动模式”随手一拍，也能得到不错的照片。但如果你想根据不同场景拍出真正令人惊艳的专业级作品，就需要了解并学会调整光圈、快门、ISO这些专业设置。

使用大模型也是同样的道理。为了从一个普通使用者进阶为能“驯服”大模型的高手，我们需要了解两种核心的使用方式，并掌握其中更专业的那一种。

两种核心使用方式：直接对话 vs. API 调用

1. 直接对话（Web 界面）

   这就是我们最熟悉的方式，比如打开 DeepSeek 或其他类似产品的网页，在对话框里输入问题，然后等待回答。这种方式的优点是极其简单、直观，零门槛上手。但缺点是，你通常无法精细地控制模型的输出行为，就像相机的“自动模式”。

   

2. API 调用（Application Programming Interface，应用程序接口）

   如果说直接对话是“与模型聊天”，那么 API 调用就是“向模型下达精确指令”。API 是一套预先定义好的规则和工具，允许开发者或高级用户通过代码，将大模型的能力集成到自己的应用程序中，或者进行更复杂的、定制化的调用。

   你可以把 API 想象成一个餐厅的“点餐系统”。直接对话就像你对服务员说“随便上点好吃的”，而 API 调用则像你拿着一份详细的菜单，可以精确指定“一份七分熟的牛排，不要洋葱，多加黑胡椒酱”。

   通过 API，我们就能接触到那些隐藏在简单对话界面之下的“高级设置”，也就是接下来要讲的各种参数。

   

开始你的第一次 API 调用

理论说得再多，不如亲手一试。现在，各大模型平台（包括 DeepSeek）通常都会为开发者提供免费的 API 调用额度，这为我们亲自体验和学习提供了绝佳的机会。

尝试发出你的第一个 API 请求，亲手调整下面我们将要介绍的参数，你会立刻对“精确指令”这个概念有更深刻的体味。这是从大模型的使用者转变为“驾驭者”的关键一步。

本文章只进行科普，实操会另开一篇文章，接下来，我们就来揭开这些“高级设置”的神秘面纱。

解锁专业模式：通过 API 控制关键参数

既然我们知道了 API 是实现精细化控制的关键，那么我们就来看看通过它，我们可以调节哪些神奇的“旋钮”（也就是参数），来让模型生成我们想要的结果。

下面是最核心、最常用的几个参数：

1. Temperature (温度)

你可以把这个参数想象成模型的**“创造力”或“想象力”开关**。它控制着模型输出结果的随机性。

低温度 (例如 0.1 - 0.3): 模型会变得非常“冷静”和“专注”。它会倾向于选择最安全、最常见、逻辑上最可能的词语来生成回答。

• 优点： 输出的结果会非常稳定、可预测、事实性强。

• 适用场景： 需要精确、客观回答的场合，比如信息提取、文本摘要、客服问答、代码生成等。

高温度 (例如 0.8 - 1.0): 模型会变得“热情”和“天马行空”。它会敢于尝试更多不常见的词语组合，让生成的结果更有创意和多样性。

• 优点： 能够产生新颖、有趣、意想不到的内容。

• 适用场景： 需要创造力的场合，比如写故事、市场营销文案、头脑风暴、艺术创作等。

• 注意： 温度过高也可能让模型开始“胡说八道”，生成不合逻辑或事实错误的内容。

2. Top-p (核心采样)

这个参数和“温度”有点像，都是用来控制生成内容的多样性，但它的方式更巧妙一些。它告诉模型：“在所有可能的下一个词中，你只需要从概率最高的那一小部分里挑选就行了”。

例如，设置 top_p 为 0.9，意味着模型会从概率总和达到90%的最可能的词汇中进行选择，而忽略掉那些概率极低的词。这通常能在保持创造性的同时，比单纯调高温度更不容易产生完全不通顺的胡话，是一种更稳妥的创新方式。

3. Max Tokens (最大长度/最大令牌数)

这个参数非常直观，它直接限制了模型一次生成内容的长度。为什么要限制它呢？

• 控制成本： 绝大多数 API 服务是按照生成内容的长度（Token数量）来收费的，设置上限可以避免意外产生高额费用。

• 保持简洁： 有时候你只需要一个简短精悍的回答，而不是长篇大论。

• 任务导向： 确保模型的输出聚焦在任务本身，避免在生成过长内容后偏离主题。

4. Frequency Penalty (频率惩罚) & Presence Penalty (存在惩罚)

这两个参数是用来解决模型变成“复读机”的问题的，让输出的内容更加丰富。

• 频率惩罚 (Frequency Penalty): 如果一个词在前面的内容中用得太多，这个参数就会对它进行“惩罚”，降低它再次出现的概率。值越高，模型就越不愿意重复同一个词。

• 存在惩罚 (Presence Penalty): 只要一个词在前面出现过，这个参数就会对它进行“惩罚”，从而鼓励模型去使用一些全新的词汇和概念，拓宽话题范围。

所以你看，从简单的直接对话，到通过 API 进行专业的参数调控，我们对大模型的使用深度是完全不同的。学会使用这些参数，你就能让大模型更好地为你服务，无论是需要它严谨保守，还是天马行空，都由你来掌控。

3. 掌握大模型的基础核心概念

除了参数，理解以下这些核心概念，能让你对大模型的认知再上一个台阶。

Tokens (令牌)

Tokens 是大模型处理文本的最小单位。

你可能会以为模型是一个词一个词地处理文字，但实际上，它处理的是“Tokens”。一个 Token 可以是一个单词、一个汉字、一个标点符号，甚至是一个单词的一部分（比如 running 可能被拆分为 run 和 ing）。

• 为什么重要？

  • 计费单位：API 服务的费用通常是按输入和输出的 Token 总数计算的。理解 Token 能帮你更好地预估和控制成本。

  • 长度限制：模型的 Max Tokens 参数限制的也是 Token 数量，而不是字数。通常，一个汉字约等于 1-2 个 Token，一个英文单词约等于 1.3 个 Token。

Tokens 与对话记忆：为什么对话越长越贵？

• AI 如何“记住”上下文

  AI 模型本身是“无状态”的，它们不会像人类一样自动记住之前的对话。为了实现连续对话，应用程序在每次向模型发送新问题时，都会把完整的历史对话记录作为上下文（Context）一并发送过去。模型通过重新读取全部历史记录来“理解”当前的对话背景，这也就是它能够“记住”你上一句话的原理。

• 对话越长，开销越大

  正因为每次请求都包含了全部的历史对话，所以随着对话轮次增加，发送给模型的输入 Tokens 数量会越来越多。API 服务的计费是基于输入和输出的 Token 总量，因此，对话越长，累积的输入 Tokens 越多，费用自然就越高。

• 常见的成本优化方案：对话摘要

  为了在保持对话连贯性的同时控制成本，一种常见的解决方案是上下文压缩（Context Compression）。具体做法是：

  1. 当对话达到一定长度时（例如每 5 轮），调用一个成本较低、速度较快的小模型。

  2. 让这个小模型将之前的对话内容进行总结，生成一段简短的摘要。

  3. 在下一次请求中，不再发送完整的、冗长的历史记录，而是用这段“对话摘要”加上最近几轮的对话内容作为新的上下文发送给主模型。

  通过这种方式，既保留了对话的关键信息，又极大地减少了每次请求的 Token 数量，从而有效控制了开销。

Prompt (提示词)

Prompt，中文通常翻译为“提示词”，但更准确地说，它是你与大语言模型（LLM）沟通时下达的“指令”或“任务描述”。

它不仅仅是你问的一个简单问题，更是你为了引导模型生成特定、高质量、符合预期的结果而精心设计的全部输入内容。一个好的 Prompt 就像一张清晰详细的地图，能指引模型准确、高效地到达你想要的目的地。反之，一个模糊不清的 Prompt 就像一张潦草的地图，模型可能会迷路，给出不相关或错误的答案。

Prompt 的构成可以非常灵活，通常包含以下一个或多个元素：

• 任务 (Instruction): 你希望模型执行的具体动作，比如“总结以下段落”、“翻译成英文”、“写一首关于春天的诗”。

• 背景 (Context): 提供相关的背景信息，帮助模型更好地理解任务。例如，在总结文章前，先告诉模型“这是一篇关于人工智能最新进展的科技新闻”。

• 输入数据 (Input Data): 需要模型处理的具体文本或数据。

• 输出格式 (Output Indicator): 明确指定你希望的输出形式，比如“使用 Markdown 的无序列表格式”、“输出为 JSON 对象”、“请用不超过 100 字回答”。

一个简单的例子：

模糊的 Prompt: “给我讲讲苹果公司。”

优质的 Prompt: “请扮演一位资深的科技分析师（角色），为一群对科技行业不了解的大学生（受众），用通俗易懂的语言（风格），总结一下苹果公司从成立至今的三个最关键的发展里程碑（任务），并以项目符号列表的形式呈现（格式）。”

Prompt Engineering (提示词工程)

这是一门专门研究如何设计和优化 Prompt 的学问与艺术。它的目标是通过改进输入指令，来最大限度地挖掘和发挥大语言模型的潜力，而无需改动模型本身。提示词工程是与大模型高效协作的关键技能，常用技巧包括：

• 明确具体 (Be Specific): 避免使用模糊的词语，指令越清晰、越详细越好。

• 赋予角色 (Assign a Role): 让模型扮演一个特定领域的专家，如“你是一位经验丰富的程序员”或“你是一位专业的营销文案策划”。

• 提供示例 (Few-shot Learning): 在你的指令中给出几个输入和输出的范例，让模型“照猫画虎”，学习你想要的格式和风格。

• 思维链 (Chain of Thought, CoT): 引导模型“一步一步地思考”，将复杂问题分解成多个小步骤，并展示其推理过程。这对于需要逻辑推理的任务尤其有效。

• 规定格式 (Define Format): 严格指定输出的结构，如 JSON、Markdown、表格等，便于后续的程序处理或直接使用。

掌握提示词工程，意味着你不再是被动地向模型提问，而是主动地引导和驾驭它，让它成为你强大的创造力和生产力工具。

Open Source Models (开源模型)

开源模型，通常指那些将其模型架构、源代码、甚至训练好的模型权重公开发布，允许社区和开发者自由下载、使用、修改和分发的模型。这种开放性极大地促进了 AI 技术的普及和创新。

然而，“开源”并非一个非黑即白的标签。根据开放程度的不同，我们可以将其大致分为两类：

1. 完全开源模型 (Truly Open Source)

   • 定义：这类模型不仅开放了模型权重，还提供了完整的训练代码、数据集、数据处理方法、详细的技术文档等，几乎复现了模型从零到一的全过程。它们通常采用非常宽松的许可证（如 Apache 2.0, MIT），允许无限制的商业使用。

   • 代表模型：

     • BLOOM：由 BigScience 工作组联合数百名研究者共同开发，是完全开放透明的典范。

     • Pythia：由 EleutherAI 开发，旨在完全透明地训练一套可供研究的语言模型，并公开了所有训练中间件和数据。

   • 为什么“完全开源”很重要：这种彻底的开放性对于学术研究至关重要。研究人员可以深入探究模型的训练过程、数据配比、算法细节，从而进行更深层次的分析、复现和改进，推动整个领域的基础科学进步。

2. 仅开放权重模型 (Weights-Available Models)

   • 定义：这是目前更为主流的“开源”形式。开发者可以获取并使用已经训练好的模型权重，但通常不提供完整的训练数据集或详细的训练代码。这类模型往往附带特定的使用许可证，可能对商业用途、衍生模型的发布等做出限制。

   • 代表模型：

     • Llama 系列 (by Meta)：虽然影响力巨大，但其许可证禁止将其用于训练其他语言模型，并且在早期版本中对拥有大量用户的商业应用有所限制。

     • Mistral 系列 (by Mistral AI)：通常采用较为宽松的 Apache 2.0 许可证，商业友好度高，但同样未提供完整的训练数据和流程。

     • Qwen (通义千问 by Alibaba Cloud)：同样开放了模型权重，并有特定的商业使用条款。

   • 为什么只开放权重：这是一种在推动技术应用和保护商业利益之间的平衡策略。

     • 商业考量：训练顶尖大模型需要耗费数千万甚至上亿美元的计算资源和数据成本。保留训练数据和关键技术细节，是保护其核心商业资产和竞争优势的方式。

     • 简化应用：对于绝大多数开发者和企业而言，他们更关心如何将模型快速应用于实际场景，而非从头复现。直接提供权重大大降低了使用门槛。

开源模型的共性与选择

尽管开放程度不同，但所有开源模型都为用户提供了闭源模型（如 GPT-5、Claude 4.5）无法比拟的优势：

• 数据隐私与安全：可以在本地或私有云环境部署，确保敏感数据不离开自有基础设施，实现最高级别的安全可控。

• 高度定制化：能够基于公开的权重进行微调（Fine-tuning），使其更适应特定行业或垂直领域的任务，打造出具有专业知识的专属模型。

• 成本效益：虽然初期需要投入硬件和人力成本进行部署维护，但一旦部署完成，后续的推理调用成本远低于按量付费的 API 模式，特别适合高频使用场景。

挑战：无论是哪种开源模型，部署、优化和维护都需要强大的硬件资源（尤其是高端 GPU）和专业的技术团队。

Context (上下文)

上下文是指在一次对话或任务中，你与大语言模型之间所有历史交流信息的集合。 它构成了模型进行理解、推理和生成新内容的基础。

大语言模型本身是“无状态”的，它们没有独立的长期记忆。为了让对话能够连贯地进行，每一次你发送新的消息时，应用程序都需要将你之前的对话历史（即上下文）一并打包，作为新的输入发送给模型。模型会基于这个完整的上下文来理解你的最新问题并生成回应。

• 上下文窗口 (Context Window)：模型一次能够处理的信息总量是有限的，这个限制被称为“上下文窗口”，通常以 Token 的数量来衡量。例如，一个拥有 8K 上下文窗口的模型，意味着它在单次交互中最多能处理 8192 个 Token。这大致相当于 4000-6000 个汉字或 6000 个英文单词。

• 上下文的重要性：

  • 保持对话连贯性：上下文使得模型能够记住之前的对话内容，从而理解指代（如“它”、“那个”）、跟进问题和多轮对话的逻辑。

  • 提供任务背景：在处理复杂任务时，如代码编写、文档分析或长文写作，完整的上下文能为模型提供必要的背景知识和约束条件，确保输出的准确性和相关性。

  • 影响输出质量：上下文越清晰、越相关，模型的输出质量就越高。相反，混乱或无关的上下文信息可能会误导模型。

• 上下文窗口的限制与影响：

  • 信息遗忘：当对话内容超出了模型的上下文窗口限制时，最早期的信息就会被“挤出”窗口，模型会“遗忘”这部分内容，导致对话连贯性中断。

  • 成本与性能：更大的上下文窗口意味着模型需要处理更多的信息，这通常会导致更高的计算成本（API 调用费用）和更长的响应时间。因此，在实际应用中，需要平衡上下文长度与成本效率。

  • 长文本处理能力：上下文窗口的大小直接决定了模型处理长文档、长对话或复杂代码的能力。拥有更大上下文窗口的模型（如 128K 或 200K）在这些任务上表现更出色。

Inference (推理)

推理是指已经训练好的大模型，根据你的输入（Prompt）来生成输出（答案）的过程。

如果说“训练”是让模型学习知识，那么“推理”就是模型利用已学知识进行思考和回答的过程。我们日常使用大模型进行的每一次对话、每一次 API 调用，都是在进行推理。

推理的核心原理：自回归生成

大模型的推理过程，本质上是一个基于概率的、逐字（或词）生成的“接龙游戏”。这个过程在技术上被称为自回归（Autoregressive）。模型并不会一次性“想”好所有答案，而是根据已经输入的文本，预测下一个最有可能出现的词（Token），然后将这个新生成的词加入到输入中，再继续预测下一个，如此循环往复，直到生成完整的回答或达到停止条件。

具体步骤如下：

1. 输入处理：你提供的 Prompt 首先会被分词（Tokenization），即将文本分解成模型能够理解的最小单元（Token）。

2. 向量嵌入：每个 Token 被转换成一个高维度的数学向量（Embedding），这个向量包含了该 Token 的语义信息。

3. 上下文理解：模型的神经网络（如 Transformer 结构）处理这些向量，通过其内部的注意力机制（Attention Mechanism）理解整个输入序列的上下文关系。

4. 概率预测：基于对上下文的理解，模型会计算其词汇表中所有 Token 作为下一个 Token 出现的概率。例如，输入“今天天气很”，模型可能会预测“好”的概率是 80%，“不错”的概率是 15%，“差”的概率是 5% 等。

5. Token 选择：模型根据某种采样策略（如贪心策略、Top-k/Top-p 采样等）从概率分布中选择一个 Token。通常不会总是选择概率最高的那个，以增加生成内容的多样性。

6. 循环生成：新选择的 Token 会被追加到输入序列的末尾，成为下一次预测的上下文的一部分。然后重复步骤 3-6，直到生成了表示结束的特殊 Token（[EOS]）或达到了设定的最大长度。

以 DeepSeek 模型为例

假设我们向 DeepSeek 模型输入这样一个 Prompt：“深度求索（DeepSeek）是由一家中国公司开发的”

推理过程会是这样的：

1. 模型接收并理解了这句话的语义。

2. 它开始预测下一个最合适的 Token。根据其训练数据，它知道“公司”后面很大概率会跟上一个“，”或者描述公司的词语。假设它预测出“，”这个 Token 的概率最高。

   • 当前生成结果：深度求索（DeepSeek）是由一家中国公司开发的，

3. 现在，模型将 “深度求索（DeepSeek）是由一家中国公司开发的，” 作为新的输入，继续预测下一个 Token。它可能会预测出“其”或“它”等代词。假设选择了“其”。

   • 当前生成结果：深度求索（DeepSeek）是由一家中国公司开发的，其

4. 接下来，以 “...开发的，其” 为上下文，模型可能会预测出“目标”、“使命”或“核心”等词。假设选择了“目标”。

   • 当前生成结果：深度求索（DeepSeek）是由一家中国公司开发的，其目标

5. 这个过程不断重复，一个 Token 接一个 Token 地生成，最终可能形成一句完整的话，例如：“深度求索（DeepSeek）是由一家中国公司开发的，其目标是构建世界领先的通用人工智能。”

因此，我们每一次与大模型的互动，背后都是这样一个复杂而精密的、基于概率的、逐步构建答案的推理过程。

Hallucination (幻觉)

大语言模型中的“幻觉”指的是模型生成了看似合理但实际上是虚假的、不准确的或与事实不符的信息的现象。

大语言模型本身并不具备真正的理解或意识，它们是基于海量数据训练出的概率性文本生成器。幻觉并非模型“有意撒谎”，而是其工作机制的副产品。当模型试图根据输入和已学到的数据模式预测下一个最可能的词时，如果其知识库存在空白、数据存在矛盾或推理路径出现偏差，就可能“创造”出内容，导致幻觉的产生。

• 训练数据的局限性：

  • 知识过时与事实错误：模型的知识截止于其训练数据的最后更新日期。因此，它无法获知最新的事件，并可能复现训练数据中本身就存在的错误信息或偏见。

  • 数据覆盖不均：对于冷门或专业领域，如果训练数据不足，模型在回答相关问题时就更容易“凭空捏造”答案。

• 模型生成机制的本质：

  • 概率性而非事实性：模型的核心任务是生成一个连贯且语法正确的文本序列，而不是验证信息的真实性。它会选择概率上最可能衔接的词语，这有时会导向一个看似合理但完全虚构的叙述。

  • 过度泛化：模型会从数据中学习模式并进行泛化。有时，它会将不相关的概念或模式错误地关联起来，从而产生错误的结论。例如，像 DeepSeek R1 这样拥有强大代码和逻辑推理能力的大模型，其根本原理仍是预测序列。当被问及一个其知识库中不存在的函数或 API 时，它可能会根据命名习惯和上下文“发明”一个功能和用法都看似合理的假函数，这就是一种典型的幻觉。

• 推理过程中的偏差：

  • 指令误读：复杂或模糊的指令可能导致模型误解用户的真实意图，从而在错误的方向上进行推理和生成。

  • “乐于助人”的倾向：为了满足用户的请求，模型倾向于提供一个答案，即使它并不确定答案的正确性。这种“强制回答”的倾向是幻觉的一个重要诱因。

• 上下文信息的误导：

  • 错误前提：如果用户在提问的上下文中提供了一个错误的前提，模型通常会接受这个前提并在此基础上进行演绎，导致整个回答都建立在错误的基础上。

  • 连贯性压力：在长对话中，为了保持前后文的连贯性，模型可能会在之前生成的（可能是错误的）信息基础上继续编造，导致幻觉的累积和放大。

4.大模型的扩展知识

除了我们熟悉的文本生成，大模型的能力早已渗透到更多令人兴奋的领域。

SOTA (State-of-the-Art)

SOTA 是 “State-of-the-Art” 的缩写，意为“当前最先进水平”。在科技领域，它特指在某个特定任务或基准测试中表现最好的模型、算法或技术。SOTA 不是一个固定的标准，而是一个动态变化的概念，随着新研究的出现，SOTA 会被不断刷新。例如，当一个新款的视频生成模型发布时，如果其生成视频的质量、连贯性和对提示的理解能力超越了所有先前的模型，我们就可以称之为该领域新的 SOTA 模型。

什么是多模态模型？

传统的大语言模型主要处理文本信息，而多模态模型则能够同时理解和处理多种不同类型的信息（模态），例如文本、图像、音频、视频等。这使得它们更接近人类通过多种感官（视觉、听觉等）感知世界的方式。

多模态模型是如何理解图片的？

这并非魔法，而是一个将视觉信息“翻译”成数学语言的过程：

1. 图像编码：模型首先使用一个“图像编码器”（如 Vision Transformer）来“观察”图片。它会将图片切割成许多小方块（patches）。

2. 特征提取：接着，模型分析每个小方块以及它们之间的位置关系，提取出颜色、纹理、形状、物体等关键视觉特征。

3. 向量转化：最后，模型将这些复杂的视觉特征转化成一串数字，即“向量嵌入（Vector Embedding）”。这个向量就代表了图片在模型眼中的数学表示。

通过这个过程，模型就将一张图片转化为了它可以理解和处理的数据，并能将其与文本描述的向量进行关联，从而实现“看懂”图片并根据指令进行操作。

RAG (Retrieval-Augmented Generation)

RAG，全称为 检索增强生成 (Retrieval-Augmented Generation)，是一种将大型语言模型 (LLM) 与外部知识库相结合的技术框架。其核心目标是解决大型语言模型固有的两大难题：知识的实时性不足（模型训练数据有截止日期）和“知识幻觉”（在不确定的情况下编造事实）。通过 RAG，模型能够根据外部、可信的知识源来生成回答，从而大幅提升答案的准确性、相关性和可追溯性。

RAG 的核心工作流程

RAG 的工作原理可以清晰地分解为两个阶段：数据准备（索引）阶段和检索生成阶段。

1. 数据准备（索引）阶段：构建知识库

这是离线完成的准备工作，目的是将外部知识转化为模型可以快速检索的格式。

• 加载数据：系统首先会加载你提供的各种格式的原始文档，例如 PDF、Word 文档、网站内容、数据库记录等。

• 文档切分 (Chunking)：为了便于精确检索，长文档会被切割成更小、更易于处理的文本块（Chunks）。合适的切分粒度对于后续检索的质量至关重要。

• 向量化 (Embedding)：系统使用一个特定的“嵌入模型”（Embedding Model）将每个文本块转换成一个包含其语义信息的数字向量，即“向量嵌入”。这些向量可以被看作是文本块在多维空间中的“数学坐标”。

• 存入向量数据库：所有生成的向量及其对应的原始文本块会被存储在一个专门的“向量数据库”中。该数据库经过优化，能够极快地根据向量的相似度进行搜索。

2. 检索生成阶段：响应用户查询

当用户提出问题时，系统会实时执行以下步骤：

• 查询向量化：用户的提问（Query）会通过同一个嵌入模型被转换成一个查询向量。

• 相似性搜索：系统会在向量数据库中进行搜索，找出与用户查询向量在数学上最相似、最接近的几个文本块向量。这些文本块被认为是与用户问题最相关的内容。

• 构建增强提示词 (Augmented Prompt)：系统会将检索到的这些相关文本块（即“上下文信息”）与用户的原始问题结合起来，共同构成一个内容更丰富、信息更明确的“增强提示词”。

• 生成答案：最后，这个增强提示词被发送给大型语言模型 (LLM)。LLM 会基于提供的上下文信息来综合、推理并生成最终的、精准的答案，而不是仅仅依赖其内部的、可能已过时的知识。

通过这个流程，RAG 有效地为语言模型装上了一个“外置大脑”，使其能够随时查询最新、最准确的信息，从而生成更高质量的回答。

关键组件原理

嵌入模型 (Embedding Model)

嵌入模型是 RAG 系统的基石，它的核心作用是将离散的文本信息映射到连续的、高维的向量空间中。

• 原理：嵌入模型（通常是基于 Transformer 架构的语言模型，如 BERT、Sentence-BERT 等）通过在海量文本数据上进行预训练，学习到了单词、句子和段落之间的复杂语义关系。当输入一段文本时，模型会输出一个固定长度的数字向量（即“嵌入”）。这个向量捕捉了文本的核心语义。在向量空间中，意思相近的文本，其对应的向量在空间位置上也更接近。

• 作用：正是因为有了这种语义上的邻近性，我们才能够通过计算向量之间的距离（如余弦相似度）来判断文本的相关性，这是实现“相似性搜索”的技术基础。选择一个高质量的嵌入模型对于 RAG 系统的召回效果至关重要。

重排模型 (Reranker Model)

在一些高级的 RAG 系统中，会在“相似性搜索”之后和“构建增强提示词”之前增加一个“重排”步骤，以进一步优化检索结果。

• 原理：重排模型是一种更精细的排序工具。它接收由向量数据库初步检索出的多个相关文本块（例如 Top-K 个结果），然后将用户的原始查询与每一个文本块进行逐一配对，并对每个“查询-文本块”对进行更深层次的语义相关性打分。与嵌入模型不同，重排模型（如 Cross-Encoder）可以同时处理查询和文档，从而能更精确地捕捉它们之间的细微关联。

• 作用：向量搜索（召回）追求的是速度和广度，可能会召回一些语义相关但并非最佳答案的文本块。重排模型（精排）则在此基础上进行二次筛选，将最符合查询意图的文本块排在最前面，剔除相关性较弱的结果。这确保了最终送入 LLM 的上下文质量最高，从而显著提升最终答案的准确性。

图片编辑模型

这类模型能够理解并执行对图片的自然语言指令，实现精准、富有创意的图像修改。用户无需掌握专业的图像处理软件，也不需要复杂的图层与蒙版操作，只需一句自然语言描述，就能完成诸如抠图、换背景、改颜色、加元素等高难度编辑任务。
以 Gemini 2.5 Flash Image（代号 “Nano Banana”）为例，其核心技术是潜在扩散模型（Latent Diffusion Models，LDMs），这种模型的工作原理可以概括为四个关键步骤：

1. 编码与潜在空间：压缩图像信息
首先，模型通过 编码器（Encoder） 将原始高清图片压缩成一个低维但信息密集的“潜在表示”（Latent Representation）。
这就好比把一张 4K 大图的“精华”提取到一个高效的数学空间中，在这个空间中进行操作会比直接处理像素更高效、更灵活。
这种设计有三个关键优势：

• 高效性：潜在空间的维度远小于原始像素，编辑速度更快；

• 灵活性：模型可以在潜在表示上实现更丰富的变换；

• 可逆性：潜在表示可以再通过解码器还原为高质量图片。

2. 加噪与去噪：掌握“从无到有”的生成能力
在训练阶段，模型学习如何向潜在表示中逐步加入噪声，直到它完全随机化（正向扩散），然后再一步步将其从噪声中还原（逆向去噪）。
这个“去噪”过程，就是模型“理解”和“创造”图像的核心。
可以理解为：

• 加噪 = 打乱图像结构

• 去噪 = 在条件引导下重构图像内容

3. 条件引导：文本控制编辑方向
编辑时，用户输入一段自然语言指令，例如“把这件衣服的颜色改成蓝色”或“去掉背景”。
模型会通过 文本编码器 将这段话转换为一个语义向量，这个向量在去噪的每一步中充当“导航仪”，告诉模型编辑的目标与方向。
这种机制可以实现：

• 局部修改：仅改变目标区域，其余保持不变；

• 全局变换：根据文字描述重构整个场景或风格；

• 语义理解：不只是像素替换，而是基于“意义”进行修改。

4. 解码：潜在表示 → 高清图像
当去噪完成后，模型得到一个干净、符合指令的新潜在表示。
接着，解码器（Decoder） 将这个潜在表示还原成可见的高分辨率图片。
由于潜在空间保留了丰富的图像细节，因此最终生成的结果往往能保持极高的清晰度与一致性。

典型应用场景与对应原理

• “帮我把这张照片里多余的路人去掉。”
  原理：识别并替换“路人”区域的潜在表示，在去噪过程中根据背景信息重新填补该区域，实现无痕修复。

• “把这件衣服的颜色换成蓝色。”
  原理：锁定衣服区域，在去噪时强化“蓝色”相关的语义向量，同时保持衣服的形状、褶皱与光影不变。

• “让这个logo变得更有金属质感。”
  原理：模型理解“金属”这一语义，添加高光、反射、纹理等视觉特征，使 logo 呈现逼真的金属效果。

• “给这张人物照加一顶圣诞帽。”
  原理：通过文本条件在人物头部区域重建潜在表示，叠加符合“圣诞帽”语义的视觉特征，自动完成构图与光影融合。

• “把背景换成夜晚的东京街头。”
  原理：识别前景人物，替换背景区域的潜在表示，再通过语义引导生成夜景霓虹光效，并确保前后景光影协调。

技术特点总结：

• 潜在空间编辑 → 提高效率与灵活性

• 扩散与去噪机制 → 实现高质量生成

• 文本条件引导 → 精准控制编辑效果

• 语义级理解 → 让编辑不再是“像素操作”，而是“理解式创作”

这种技术的出现，标志着图像编辑从传统的手工操作，迈入了“语言驱动”的新时代，为设计师、摄影师、内容创作者带来了极大的创作自由度与效率提升。

视频生成模型

这是当下最火的一类生成式 AI：给一句话、一张图，甚至一段原视频，它就能“长”出一段连贯的短视频。

代表模型：Sora、Kling、Google Veo 等。

核心原理

1. 先压缩，再生成
   把视频先“压成代号”（叫“潜在空间”）。直接在像素上做计算太贵，先压缩像把 4K 电影装进拉链包，体积小、信息还在，计算更快。常见做法是用自编码器（VAE/Video AE）先学会“压”和“解压”。

2. 从噪声里“显影”
   扩散模型的思路很像冲照片：先给这团代号不断加噪点练习，再学着一步步把噪点擦掉，最后“显影”出清晰的视频。生成时，模型就按这个“去噪”流程，从纯噪声一路擦到成片。

3. 同时管住“空间 + 时间”
   做图只管“一张”的清晰，做视频要管“每一帧清晰”和“帧与帧之间连贯”。

• 空间：一帧里物体形状、纹理要清楚。

• 时间：同一个物体在前后帧位置、形变要接得上，不能抖、不能闪。
  模型里会加“时间注意力”（可理解为记忆每个物体前后位置的便签），或用“时空 U-Net”，让它既看得见一帧里的细节，也记得住前后帧的联系。

4. 文本/图片/视频当“导航”

• 文本提示：告诉模型“拍什么风格、什么动作”。

• 图片提示：定住主角长相/场景风格，再让它动起来。

• 视频提示：在原视频上做风格迁移或编辑。
  生成时会用“无分类器引导（CFG）”这类技巧调节“听话程度”：数值高更贴合指令但可能呆板，数值低更自由但可能跑题。

5. 先小后大、先短后长
   直接一次性生成长、高清的视频很难，常见策略是：

• 先生成低分辨率、短时长的“底片”，再用“级联扩散/超分辨率”把清晰度拉高。

• 想变长，就“滑窗”往前滚：用上一段尾部当下一段的开头线索，或者用关键帧当锚点，保证剧情和运动承接上。

关键技术部件

• 潜在空间压缩：自编码器把视频→代号，省算力。

• 时空注意力：让模型“看得到时间”，防止抖动、穿帮。

• 扩散去噪流程：一步步从噪声里“擦”出视频。

• 级联与超分：分辨率逐级放大，细节越抠越清。

• 一致性约束：用光流/遮挡等信号，约束物体运动更自然。

• 引导强度与随机种子：控制“多听话/多发挥”，以及结果可复现。

• 蒸馏与缓存：把慢模型“快照”成快模型，或复用相邻帧计算，加速出片。

能做什么

• 快速内容生产：根据脚本/文案直接出分镜小样。

• 广告创意可视化：一句话把脑洞变成动图。

• 影视预演/特效草稿：先出低成本预览，再交给后期精修。

• 视频编辑/风格化：给普通视频换风格、换背景、改动作。

常见限制与坑

• 时长与清晰度受限：越长越难稳、越高清越费算力。

• 物理常识偶尔翻车：手指、细小物件、镜中反射容易出错。

• 连贯性挑战：快动作、复杂镜头运动更容易抖。

• 版权与安全：参考素材与生成内容需注意合规。

总结
“视频生成”= 在压缩后的“视频代号空间”里，用扩散去噪把“噪声”一步步擦成“连贯画面”，再用时空注意力和多种引导把它朝着你的文字/图片/视频提示稳稳拉过去。

音乐生成模型

音乐生成模型是一种基于深度学习技术的人工智能，它通过学习海量音乐数据的内在规律和结构，从而能够根据用户指令创作出全新的音乐。其核心原理并非简单的素材拼接，而是一个复杂的学习与生成过程。

• 核心原理：模型将音乐分解为机器可以理解的数据单元，通过神经网络学习其模式，并根据指令重建或创造新的音乐。

  1. 数据表示（Representation）：首先，需要将音乐转换成数字格式。这通常有两种方式：

     • 符号表示：将音乐表示为类似乐谱的符号序列，如 MIDI 文件，其中包含音高、时长、力度等信息。这种方式结构清晰，利于模型学习旋律与和声。

     • 音频表示：直接处理原始音频波形（Waveform）或其频谱图（Spectrogram）。这种方式能捕捉到音色、质感和演唱细节，生成结果更逼真。

  2. 模型架构（Architecture）：当前主流模型大多基于强大的神经网络架构，如：

     • Transformer：与语言模型（如 GPT）类似，Transformer 架构擅长捕捉音乐序列中的长距离依赖关系，能够理解复杂的曲式结构和和声进行。

     • 扩散模型（Diffusion Model）：该模型从纯粹的随机噪音开始，通过一个逐步“去噪”的过程，逐渐将噪音还原成清晰、结构化的音乐音频。它在生成高质量音频方面表现出色。

     • 生成对抗网络（GAN）：由一个“生成器”和一个“判别器”组成。生成器负责创作音乐，判别器负责判断该音乐是人类创作还是机器生成。两者相互博弈，促使生成器创作出越来越逼真的音乐。

  3. 训练与生成（Training & Generation）：

     • 学习阶段：模型在包含数十万小时音乐的数据集上进行训练，学习从旋律、节奏到风格、情感的一切关联。例如，它会学习到“悲伤”的文字描述通常对应着小调和弦、缓慢的节奏和柔和的音色。

     • 生成阶段：当用户输入指令（如“一首80年代复古风格的电子舞曲”）时，该指令会作为“条件”引导生成过程。模型会依据这个条件，自回归地（一个音符接一个音符）或迭代地（从噪音到成品）构建出符合要求的音乐。整个过程包括了编曲、配器、混音，最终输出一首完整的音频。