AI 对话与 AI 绘画的底层原理：从概率预测到创意生成

三、AI 绘画：从噪声到图像的逆向过程

1. 扩散模型思想

扩散模型的灵感来源于墨水在水中扩散的过程。正向过程是将图像逐渐加噪至纯噪声，逆向过程则是学习如何从噪声中逐步还原出清晰图像。

2. 条件生成与 Cross-Attention

在文生图中，文字描述通过编码器（如 CLIP）转化为向量，并通过 Cross-Attention 机制注入到去噪网络中。这使得图像生成的每一步都能参考文本语义。

例如，当生成'一只橘猫'时，Cross-Attention 会让图像特征中对应'猫'的区域关注文本向量中的'cat'和'orange'标签，从而引导像素颜色与形状。

3. Stable Diffusion 流程

Stable Diffusion 在低维潜空间（Latent Space）操作，而非直接操作像素，大幅降低了计算量。

1. 文本编码器：将提示词转为向量。
2. U-Net 去噪网络：接收噪声潜变量和文本条件，预测噪声。
3. VAE 解码器：将潜变量还原为像素图像。

四、核心对比：对话 vs 绘画

虽然本质都是概率生成，但在实现细节上存在显著差异：

五、代码实战：简化模型实现

为了更直观地理解原理，我们可以用 Python 构建简化的语言模型和扩散模型。

1. 极简语言模型

import numpy as np

class SimpleLM:
    """极简语言模型：演示自回归生成的核心逻辑"""
    def __init__(self):
        self.knowledge = {
            "今天": {"天气": 0.4, "我": 0.2, "是": 0.15, "去": 0.1, "吃": 0.15},
            "今天天气": {"很好": 0.35, "不错": 0.25, "真好": 0.15, "怎么样": 0.15, "一般": 0.1},
            "今天天气很好": {"，": 0.4, "！": 0.3, "。": 0.2, "啊": 0.1},
            "今天天气很好，": {"适合": 0.3, "我们": 0.25, "可以": 0.2, "阳光": 0.15, "是": 0.1},
        }

    def get_next_word_probs(self, context):
        for length in range(len(context), 0, -1):
            key = context[-length*2:] if length > 1 else context[-2:]
            if key in self.knowledge:
                return self.knowledge[key]
        return {"。": 0.5, "，": 0.3, "的": 0.2}

    def sample(self, probs, temperature=1.0):
        words = list(probs.keys())
        p = np.array(list(probs.values()))
        p = np.exp(np.log(p + 1e-10) / temperature)
        p = p / p.sum()
        return np.random.choice(words, p=p)

    def generate(self, prompt, max_length=10, temperature=1.0):
        text = prompt
        print(f"初始：{text}")
        print("-" * 40)
        for step in range(max_length):
            probs = self.get_next_word_probs(text)
            next_word = self.sample(probs, temperature)
            print(f"步骤{step+1}: 采样得到 '{next_word}'")
            text += next_word
            if next_word in ["。", "！"]:
                break
        print("-" * 40)
        print(f"最终：{text}")
        return text

# 演示
lm = SimpleLM()
lm.generate("今天", max_length=5, temperature=1.0)

2. 极简扩散模型

import numpy as np
import matplotlib.pyplot as plt

class SimpleDiffusion:
    """极简扩散模型：演示去噪生成的核心逻辑"""
    def __init__(self, image_size=8):
        self.image_size = image_size
        self.n_steps = 10

    def add_noise(self, image, t):
        noise_level = t / self.n_steps
        noise = np.random.randn(*image.shape)
        noisy = (1 - noise_level) * image + noise_level * noise
        return noisy, noise

    def denoise_step(self, noisy_image, t, condition=None):
        noise_level = t / self.n_steps
        denoised = noisy_image * 0.9 + np.random.randn(*noisy_image.shape) * 0.1 * noise_level
        if condition is not None:
            guidance_strength = 0.3 * (1 - noise_level)
            denoised = denoised + guidance_strength * (condition - denoised)
        return denoised

    def generate(self, condition=None):
        x = np.random.randn(self.image_size, self.image_size)
        history = [x.copy()]
        for t in range(self.n_steps, 0, -1):
            x = self.denoise_step(x, t, condition)
            history.append(x.copy())
        return x, history

# 演示
print("无条件生成（纯随机）:")
diff = SimpleDiffusion(image_size=16)
diff.generate(condition=None)

六、总结

AI 对话与 AI 绘画的本质都是'条件概率生成'。给定条件（提示词），模型生成最可能符合条件的输出。区别在于：对话是顺序地一个词一个词生成，而绘画是并行地从噪声中逐步雕刻出图像。理解这一统一视角，有助于我们更好地掌握各类生成式 AI 技术的边界与潜力。

参考资料

1. "Attention Is All You Need" - Transformer 原论文
2. "Denoising Diffusion Probabilistic Models" - 扩散模型原论文
3. "High-Resolution Image Synthesis with Latent Diffusion Models" - Stable Diffusion 论文