详情

选自Sander Dieleman博客

机器之心编译

编著：刘欣

上个月， GPT-4o 的图像生告捷能爆火，掀翻了以吉卜力风为代表的平庸参谋，生成式 AI 的高潮再次席卷收集。

而在这股波涛背后，潜在空间（Latent Space）作为生成模子的中枢驱能源，燃烧了图像与视频创作的无尽设想。

知名研究者 Andrej Karpathy 最近转发了一篇来自 Google DeepMind 研究科学家 Sander Dielman 的博客著述，探讨了生成模子（如图像、音频和视频生成模子）怎么通过专揽潜在空间来提高生收效劳和质地。

博客相接：https://sander.ai/2025/04/15/latents.html

Sander Dielman 自 2015 年加入 DeepMind 以来，参与了包括 WaveNet、AlphaGo、Imagen 3 和 Veo 在内的多个样子，涵盖深度学习、生成模子及表征学习（Representation Learning）。

在这篇著述中，他将潜在变量譬如为「数据的精髓」—— 通过压缩复杂信息竣事图像、语音等生成。他还深入对比变分自编码器（VAEs）、生成抗争收集（GANs）和扩散模子，展示了潜在变量怎么营救这些模子生成传神内容。

举例，Dielman 参与开辟的 WaveNet 就专揽潜在变量告捷竣事了高质地语音合成，并在谷歌多个产物中得到平庸应用。他还以 VQ-VAE 为例，阐明破碎潜在空间怎么晋升图像生收效劳。

这篇著述兼具表面深度与直不雅知悉，稳妥对生成模子感意思的读者深入研究。

配方

在潜在空间中熟悉生成模子平方分为两个阶段：

1. 用输入信号熟悉自编码器。自编码器是一个神经收集，包含两个子收集：编码器妥协码器。编码器将输入信号映射到相应的潜在表征（编码），解码器则将潜在表征映射回输入域（解码）。

2. 在潜在表征上熟悉生成模子。这一要领触及使用第一阶段的编码器来索求熟总共据的潜在表征，然后径直在这些潜在表征上熟悉生成模子。现时主流的生成模子平方是自归来模子或扩散模子。

一朝第一阶段熟悉好了自编码器，在第二阶段其参数将不再改变：学习过程第二阶段的梯度不会反向传播到编码器中。换句话说，在第二阶段，编码器的参数会被冻结。

请详细，在熟悉的第二阶段，自编码器的解码器部分不阐明作用，但在从生成模子采样时需要用到它，因为这将生成潜在空间中的输出。解码器使咱们能够将生成的潜在向量映射回原始输入空间。

底下是阐明这种两阶段熟悉治安的默示图。在相应阶段学习参数的收集标有 「∇」 标志，因为这险些老是使用基于梯度的学习治安。参数被冻结的收集标有雪花标志。

潜在生成模子的熟悉治安：两阶段熟悉。

在两个熟悉阶段中触及几种不同的亏欠函数，这在图中以红色标出：

为确保编码器妥协码器能够高保真地将输入表征养息为潜在向量再养息回来，多个亏欠函数用于阻抑重建（解码器输出）与输入的关系。这些平方包括简便的归来亏欠、感知损树憎恶抗亏欠。为了抛弃潜在向量的容量，在熟悉时间平方会径直对它们应用极端的亏欠函数，尽管并非老是如斯。咱们将此称为瓶颈亏欠，因为潜在表征在自编码器收鸠合形成了一个瓶颈。在第二阶段，生成模子使用其自身的亏欠函数进行熟悉，这与第一阶段使用的亏欠函数分开。这平方是负对数似然亏欠（用于自归来模子）或扩散亏欠。

深入不雅察基于重建的亏欠函数，咱们有以下几种：

归来亏欠：巧合是在输入空间（举例像素空间）中测量的平均皆备舛错（MAE），但更常见的是均方舛错（MSE）。感知亏欠：步地千般，但平方专揽另一个冻结的预熟悉神经收集来索求感知特征。该亏欠函数饱读吹重建和输入之间的这些特征相匹配，从而更好地保留归来亏欠大多淡薄的高频内容。对于图像处理，LPIPS 是一种流行的遴荐。抗争亏欠：使用与自编码器协同熟悉的判别收集，近似于生成抗争收集（GAN）的治安。判别收集表现折柳真实输入信号和重建信号，而自编码器则长途诓骗判别收集使其出错。目的是提高输出的真实性，即使这意味着进一步偏离输入信号。在熟悉运行时，平方会暂时禁用抗争亏欠，以幸免熟悉过程中的不厚实。

以下是一个更详确的默示图，展示了第一阶段的熟悉过程，并明确夸耀了在此过程中平方阐明作用的其他收集。

这是第一熟悉阶段的更详确版块的图，展示了通盘参与的收集。

可想而知，这个通用治安在音频和视频等应用中常常会有千般变体，但我试图总结出在大多数当代施行应用中常见的主要元素。

咱们是怎么走到这一步的

如今，自归来和扩散模子这两种主要的生成模子范式，领先都是应用于「原始」数字感知信号的，即像素（pixels）与波形（waveforms）。举例，PixelRNN 和 PixelCNN 是逐像素生成图像的，而 WaveNet 和 SampleRNN 则是逐样本生成音频波形的。在扩散模子方面，领先引入和栽植这种建模范式的作品都是通过像素来生成图像的，早期的研究如 WaveGrad 和 DiffWave 则是通过生成波形来产生声息的。

然则，东谈主们很快领会到这种战略在扩展性方面存在很大挑战。其主要原因可以详尽为：感知信号大多由不可察觉的噪声组成。换句话说，在给定信号的总信息量中，唯有一小部分着实影响咱们的感知。因此，确保咱们的生成模子能够高效专揽其容量，并专注于建模这一小部分信息瑕瑜常高大的。这么，咱们就可以使用更小、更快且更低廉的生成模子，同期不殉难感知质地。

潜在自归来模子

跟着具有里程碑风趣风趣的 VQ-VAE 论文的发表，图像自归来模子取得了巨大飞跃。该论文提议了一种实用战略，通过在自编码器中插入矢量量化瓶颈层，专揽神经收集学习破碎表征。为了学习图像的破碎潜在表征，一个具有多个下采样阶段的卷积编码器生成了一个矢量的空间网格，其分辨率比输入图像低 4 倍（在高度和宽度上均为输入图像的 1/4，因此空间位置减少了 16 倍），然后这些矢量通过瓶颈层进行量化。

现在，咱们可以使用近似 PixelCNN 的模子一次生成一个潜在向量，而不是逐像素生成图像。这显耀减少了所需的自归来采样要领数目，但更高大的是，在潜在空间而不是像素空间中测量似然亏欠，有助于幸免在不可察觉的噪声上浪费模子容量。这施行上是一种不同的亏欠函数，更侧重于感知相关的信号内容，因为好多感知无关的信号内容在潜在向量中并不存在（对于这个问题，可以参阅我在典型性方面的博客著述）。该论文展示了从在 ImageNet 上熟悉的模子生成的 128×128 图像，这种分辨率在其时唯有 GANs 才能达到。

破碎化对于其告捷至关高大，因为其时的自归来模子在破碎输入下表现更好。但简略更高大的是，潜在表征的空间结构使得现存的基于像素的模子可以相称容易地进行适配。在此之前，变分自编码器（VAEs）平方会将通盘图像压缩到一个单一的潜在向量中，导致表征莫得任何拓扑结构。当代潜在表征的网格结构与「原始」输入表征的网格结构相镜像，生成模子的收集架构专揽这种结构来提高效劳（举例，通过卷积、轮回或详细力层）。

VQ-VAE 2 进一步将分辨率提高到 256×256，并通过扩大范围和使用多档次的潜在网格（以档次化结构组织）显耀晋升了图像质地。随后，VQGAN 将 GANs 的抗争学习机制与 VQ-VAE 架构相联结。这使得分辨率裁汰因子从 4 倍增多到 16 倍（与像素输入比拟，空间位置减少了 256 倍），同期仍然能够生成横蛮且传神的重建图像。抗争亏欠在其中阐明了高大作用，即使无法细腻罢职原始输入信号，也能饱读吹生成传神的解码器输出。

VQGAN 成为近五年来咱们在感知信号生成建模方面取得快速进展的中枢技能。其影响怎么强调都不为过 —— 我甚而可以说，这可能是 GANs 在 2024 年 NeurIPS 大会上取得「时候考验奖」的主要原因。VQGAN 论文提供的「助攻」，使 GANs 即使在被扩散模子险些完全取代用于媒体生成的基础任务之后，依然保握着相关性。

值得一提的是，上一节中提到的好多治安在这个论文中都被构念念出来了。如今，迭代生成器平方不是自归来的（Parti、xAI 最近的 Aurora 模子以及 OpenAI 的 GPT-4o 是显耀例外），量化瓶颈也被替代了，但其他一切都还在。尤其是简便的归来亏欠、感知损树憎恶抗亏欠的组合，尽管看似复杂，却一直果断地存在。在快速发展的机器学习鸿沟，这种握久性极为目生 —— 也许唯有基本未变的 Transformer 架构和 Adam 优化器能与之比好意思！

（自然破碎表征在使潜在自归来模子在大范围应用中阐明作用方面至关高大，但我想指出，最近一语气空间中的自归来模子也取得了细腻的效果。）

潜在扩散

跟着潜在自归来模子在 2010 年代后期徐徐崭露头角，以及扩散模子在 2020 年代初期取得糟蹋，将这两种治安的上风相联结成为了严容庄容的下一步。如同好多应时而生的想法一样，咱们在 2021 年下半年见证了一系列探讨这一主题的论文在 arXiv 上接连发布。其中最为东谈主熟知的是 Rombach 等东谈主的《High-Resolution Image Synthesis with Latent Diffusion Models》，他们沿用了先前的 VQGAN 研究扫尾，并将自归来 Transformer 换成基于 UNet 的扩散模子，这一扫尾组成了厚实扩散模子的基础。其他相关职责自然范围较小，或者针对的瑕瑜图像类数据，但也进行了近似探索。

这种治安主流化花了点时候。早期生意文生图模子使用所谓分辨率级联，即基础扩散模子径直在像素空间生成低分辨率图像，一个或多个上采样扩散模子则基于低分辨率输入生成高分辨率输出。典型例子包括 DALL-E 2 和 Imagen 2。厚实扩散模子问世后，大多转为基于潜在空间的治安（包括 DALL-E 3 和 Imagen 3）。

自归来模子和扩散模子一个要道区别在于熟悉所用的亏欠函数。自归来模子熟悉相对简便，最大化似然即可（尽管曾经尝试过其他治安）。扩散模子则复杂些，其亏欠函数是针对通盘噪声级别的期许，这些噪声级别的相对权重显耀影响模子学习内容。这为将典型的扩散亏欠解释为一种感知亏欠函数提供了依据，这种亏欠函数更强调在感知上更为显耀的信号内容。

初看之下，这会让两阶段治安显得裕如，因其与扩散亏欠函数的形势近似，即过滤掉感知无关信号内容，幸免浪费模子容量。但施行中这两种机制绝顶互补，原因如下：

小圭臬和大圭臬下的感知职责机制似乎有压根区别，尤其是视觉鸿沟。举例，建模纹理和细粒度细节需要单独处理，抗争治安可能更稳妥。我将不才文详确参谋。熟悉大型刚烈扩散模子遐想密集，使用更紧凑的潜在空间可幸免处理贫苦的输入表征，有助于减少内存需求，加速熟悉和采样速率。

早期如实有职责尝试端到端治安，鸠合学习潜在表征和扩散先验，但未流行。尽管从实用角度看，幸免多阶段熟悉的序列依赖是可取的，但感知和遐想上风使这些贫穷值得。

为什么需要两个阶段？

如前所述，确保感知信号的生成模子能够高效专揽其容量至关高大，因为这能使它们更具资本效益。这基本上便是两阶段治安所竣事的想法：通过索求更紧凑的表征，专注于信号内容中与感知相关部分，并对这一表征进行建模而非原始表征，咱们能够使相对较小的生成模子阐明越过其范围的效果。

大多数感知信号中的信息施行上在感知上并不高大，这并非新发现：这亦然有损压缩背后的要道念念想，它使咱们能够以更低的资本存储和传输这些信号。像 JPEG 和 MP3 这么的压缩算法专揽了信号中的冗余以及咱们对低频比高频更敏锐的事实，从而用更少的比特表征感知信号。（还有其他感知效应，举例听觉装璜，但非均匀的频率敏锐性是最高大的。）

那么，咱们为什么不以这些有损压缩技能为基础来构建生成模子呢？这并非一个坏主意，一些研究如实为此目的使用了这些算法或其部分组件。但咱们很自然地倾向于用更多的机器学习来责罚问题，望望是否能越过这些 “手工遐想” 的算法。

这不单是是机器学习研究者的娇傲：施行上，使用学习得到的潜在表征而非事前存在的压缩表征有一个相称好的事理。与压缩配置不同，在压缩配置中越小越好，尺寸是独一高大的因素，生成建模的想法还施加了其他阻抑：某些表征比其他表征更容易建模。至关高大的是，表征中保留了一些结构，咱们可以通过赋予生成模子适当的归纳偏置来加以专揽。这一要求在重建质地和潜在表征的可建模性之间创造了衡量，咱们将不才一节中探讨这极少。

潜在表征灵验性的另一个高大原因是它们怎么专揽咱们感知在不同圭臬上不同职责的事实。在音频鸿沟，这极少显而易见：幅度的快速变化会产生音高的感知，而在较粗时候圭臬上的变化（举例饱读点）则可以被单独辩别。鲜为东谈主知的是，这种表象在视觉感知中也上演慎高大扮装：热诚和强度的快速局部波动被感知为纹理。我曾在 Twitter 上尝试解释这极少，并在此处改写该解释：

一种念念考形势是纹理与结构的对比，或者巧合东谈主们称之为东西与物体的对比。

在一张狗在朝外中的图像里，草的纹理（东西）是高熵的，但咱们不善于感知这种纹理各个实例间的各异，咱们只是将其感知为不可数的「草」。咱们无需逐个把每一根草叶看在眼里，就能确信咱们看到的是野外。

这种纹理的竣事要是稍有不同，咱们平方无法察觉，除非把图像径直叠在沿路。用抗争自编码器作念实验很风趣：当把原始图像和重建图像并列放在沿路比较时，它们往往看起来一模一样。但要是把它们叠在沿路，往还切换查抄，常常会发现图像之间的各异，尤其是在纹理丰富的区域。

对于物体（有形的东西）来说，情况则不同，举例狗的眼睛，近似进程的各异会坐窝暴清晰来。 一个好的潜在表征会抽象化纹理，但尽量保留结构。这么一来，在重建中对草纹理的表现可以与原始不同，而不会明显影响重建的保真度。这使得自编码器能够铁心好多模式（即归拢纹理的其他表现步地），并在其潜在空间中更简略地表征该纹理的存在。

这反过来也应该使潜在空间中的生成建模变得更容易，因为它现在可以对纹理的有无进行建模，而无需捕捉与该纹理相关的通盘复杂变化。

一张狗在朝外中的图片。图片的上半部分熵值很低：组成天外的像素可以从其相邻像素中很容易地展望出来。而下半部分熵值很高：草地的纹理使得隔壁的像素很难被展望。

由于两阶段治安提供的显耀效劳晋升，咱们似乎忻悦隐忍它带来的极端复杂性 —— 至少面前是这么。这种效劳的晋升不仅使熟悉运行更快、更低廉，而且更高大的是，它还可以大大加速采样。对于实行迭代细化的生成模子来说，这种显耀的资本裁汰相称受接待，因为生成单个样本需要屡次通过模子进行前向传播。

衡量重建质地和可建模性

深入探讨有损压缩和潜在表征学习之间的各异是值得的。自然机器学习可以用于两者，但如今平庸使用的大多数有损压缩算法并莫得使用机器学习。这些算法平方基于率失真谛论，该表面步地化并量化了咱们能够压缩信号的进程（率）与咱们允许解压缩信号与原始信号偏离的进程（失真）之间的关系。

对于潜在表征学习，咱们可以通过引入可建模性或可学习性的主张来扩展这种衡量，该主张样子了生成模子捕捉这种表征分散的难度。这导致了一个三方的率失真可建模性衡量，这与 Tschannen 等东谈主在表征学习的配景下参谋的率失真有用性衡量密切相关。（在机器学习配景下，另一种流行的扩展这种衡量的形势是率失真感知衡量，它明确折柳了重建保真度和感知质地。为了幸免过于复杂，我在这里不会作念这种折柳，而是将失真视为在感知空间中测量的量，而不是输入空间。）

为什么这甚而是一个衡量并不立即显而易见 —— 为什么可建模性与失真相冲突？要相接这极少，有计划有损压缩算法的职责形势：它们专揽已知的信号结构来减少冗余。在这个过程中，这种结构平方从压缩表征中被移除，因为解压缩算法能够重建它。但输入信号中的结构也在当代生成模子中被平庸专揽，举例以架构归纳偏差的步地，这些偏差专揽信号属性，如平移等变性或频率谱的特定特征。

要是咱们有一个神奇的算法，能够高效地从输入信号中移除险些通盘冗余，咱们将使生成模子捕捉压缩信号中剩余的无结构变异性变得相称困难。要是咱们的想法只是是压缩，这是完全可以的，但要是咱们要进行生成建模，就不是这么了。因此，咱们必须找到一个均衡：一个好的潜在表征学习算法会检测并移除一些冗余，但同期也会保留一些信号结构，以便为生成模子留住一些可以专揽的东西。

在这种情况下，一个不好的例子是熵编码，它施行上是一种无损压缩治安，但也被用作好多有损有经营的终末阶段（举例 JPEG/PNG 中的霍夫曼编码，或 H.265 中的算术编码）。熵编码算法通过为常常出现的模式分派更短的表征来减少冗余。这并莫得移除任何信息，但它恣意了结构。因此，输入信号中的小变化可能导致相应的压缩信号发生更大的变化，从而使熵编码序列的建模难度大大增多。

比拟之下，潜在表征倾向于保留大都的信号结构。底下的图展示了一些图像的 Stable Diffusion 潜在表征的可视化（取自 EQ-VAE 论文）。仅通过视觉查验潜在表征，就可以很容易地识别搬动物。它们基本上看起来像是带有诬陷热诚的噪声低分辨率图像。这便是为什么我心爱将图像潜在表征视为只是是「高级像素」，捕捉了一些普通像素不会捕捉的极端信息，但大部分仍然像像素一样表现。

从几幅图像中索求的 Stable Diffusion 潜在表征的可视化，取自 EQ-VAE 论文。潜在空间的前三个主身分分别对应于热诚通谈。从潜在表征的视觉查验中，图像中的动物仍然大多可以被识别出来，这标明编码器保留了大都原始信号的结构。

可以说，这些潜在表征绝顶低档次。传统的变分自编码器（VAE）会将通盘图像压缩成一个特征向量，平方会得到一个能够进行语义操作的高级表征，而当代用于图像生成建模的潜在表征施行上更接近像素层面。它们具有更高的容量，秉承了输入的网格结构（尽管分辨率较低）。网格中的每个潜在向量可能会抽象掉一些低档次的图像特征，举例纹理，但它并莫得捕捉到图像内容的语义。这亦然为什么大多数自编码器并不使用任何极端的要求信号，举例笔墨样子，因为这些信号主要阻抑的是高等次的结构（尽管也有例外）。

可控性

两个要道的遐想参数限度着具有网格结构的潜在空间的容量：下采样因子和表征的通谈数。要是潜在表征是破碎的，码本大小也很高大，因为它对潜在表征能够包含的信息位数施加了一个硬性抛弃。（除了这些，正则化战略也起慎高大作用，但咱们将不才一节参谋它们的影响。）

以一个示例来说，编码器可能会接管一张 256×256 像素的图像作为输入，并生成一个带有 8 个通谈的 32×32 一语气潜在向量网格。这可以通过使用跨步卷积堆栈或补丁大小为 8 的视觉养息器（ViT）来竣事。降采样因子会同期裁汰宽度和高度场地的维度，因此潜在向量的数目比像素少 64 倍 —— 但每个潜在向量有 8 个重量，而每个像素唯有 3 个（RGB）。

总体而言，潜在表征的张量组件数目（即浮点数）比表征原始图像的张量少。我心爱将这个数字称为张量尺寸缩减因子（TSR），以幸免与空间或时候降采样因子污染。

展示文本中样子的输入和潜在维度的默示图。

要是咱们把编码器的下采样因子增多 2 倍，潜在网格的大小就会变成 16×16，然后咱们可以把通谈数增多 4 倍到 32 个通谈，以保握相似的 TSR（总空间冗余）。对于给定的 TSR，平方有几种不同的配置在重建质地方面表现得大约绝顶，尤其是在视频的情况下，咱们可以分别限度时候和空间的下采样因子。然则，要是咱们改变 TSR（通过改变下采样因子而不改变通谈数，或者反之），这平方会对重建质地和可建模性产生深入的影响。

从纯数学角度来看，这是令东谈主骇怪的：要是潜在变量是实值的，网格的大小和通谈的数目就不应该相联系，因为单个数字的信息容量曾经是无尽的（这被 Tupper 的自指公式奥密地解说了）。但自然，有一些施行的抛弃因素抛弃了潜在表征的单个组成部分能够佩带的信息量：

咱们使用浮点数来表征实数，而浮点数的精度是有限的；在好多公式中，编码器会添加一定量的噪声，这进一步抛弃了灵验的精度；神经收集并不擅长学习其输入的高非线性函数。

第一个原因显而易见：要是用 32 位（单精度）来表征一个数字，那么它最多也只可传递 32 位的信息。加入噪声会进一步减少可用的位数，因为一些低位数字会被噪声掩饰。

终末一个抛弃其实更为严格，但面前相接还不够充分：难谈神经收集未便是为了学习非线性函数吗？如实如斯，但神经收集自然倾向于学习相对简便的函数。这平方是一个优点，而不是谬误，因为它增多了学习到的函数能够泛化到未见数据的概率。但要是咱们要把大都信息压缩到几个数字中，这很可能需要高度的非线性。自然有一些治安可以匡助神经收集学习更复杂的非线性函数（举例傅里叶特征），但在咱们的场景中，高度非线性的映射施行上会对可建模性产生负面影响：它们会掩饰信号结构，因此这不是一个好的责罚有经营。具有更多组件的表征会提供更好的衡量。

同样的道理也适用于破碎潜在表征：破碎化对表征的信息内容设定了一个硬性上限，但是否能够高效地专揽这一容量主要取决于编码器的抒发智力以及量化战略在施行中的效果（即是否通过尽可能均匀地使用不同码字来竣事高码本专揽率）。面前最常用的仍然是 VQ-VAE 中的原始 VQ 瓶颈，但最近一种通过「旋转妙技」提供更好梯度料想的更正治安在码本专揽率和端到端性能方面似乎很有远景。一些不使用显式学习码本的替代有经营也徐徐受到关心，举例有限标量量化（FSQ）、无查找量化（LFQ）和二进制球面量化（BSQ）。

总结来说，遴荐合适的 TSR（总空间冗余）至关高大：更大的潜在表征能够带来更好的重建质地（更高的率，更低的失真），但可能会对可建模性产生负面影响。更大的表征意味着有更多的信息位需要建模，因此需要生成模子具备更高的容量。在实践中，这种衡量平方是通过提醒来调整的。这可能是一个资本较高的过程，因为面前还莫得任何可靠且遐想资本低的可建模性代空想法。因此，需要反复熟悉足够大的生成模子才能得到专门念念风趣的扫尾。

Hansen-Estruch 等东谈主最近对潜在空间容量过甚千般影响因素进行了平庸的探索（他们的要道发现已在文中明确杰出夸耀）。面前有一个趋势是增多空间下采样因子，并相应地增多通谈数以保握 TSR，以便在更高分辨率下进行图像和视频生成（举例 LTX-Video 中的 32×、GAIA-2 中的 44×，以及 DCAE 中的 64×）。

梳理和塑造潜在空间

到面前为止，咱们曾经参谋了潜在表征的容量，即应该在其中包含若干位信息。同样高大的是，要精准限度原始输入信号中的哪些位信息应该被保留在潜在表征中，以及这些信息是怎么呈现的。我将前者称为梳理潜在空间，后者称为塑造潜在空间 —— 这种折柳自然隐讳，但很高大。好多正则化战略曾经被遐想出来，用于塑造、梳理和限度潜在表征的容量。我将专注于一语气情况，但其中好多有计划同样适用于破碎潜在表征。

VQGAN 与 KL 正则化潜变量

Rombach 等东谈主提议了两种针对一语气潜在空间的正则化战略：

罢职原始 VQGAN 的遐想理念，并将量化要领从头解释为解码器的一部分（而非编码器的一部分），从而取得一语气潜在表征（即 VQ 正则化，VQ-reg）；完全移除 VQGAN 中的量化操作，转而像规范变分自编码器（Variational Autoencoder，VAE）那样引入 KL 散度刑事牵扯项（即 KL 正则化，KL-reg）。

这种只对 VQGAN 作出最小篡改、以适配扩散模子（Diffusion Model）而生成一语气潜变量的念念路可谓奥密：此类结构在自归来模子（Autoregressive Model）中表现细腻，而熟悉过程中的量化要领也起到了某种「安全阀」作用，退避潜变量佩带过多的信息。

然则，正如咱们之前所参谋的，这种机制在多数情况下可能并非着实必要，因为编码器的抒发智力往往才是生成模子性能的瓶颈所在。

比拟之下，KL 正则化自己是传统 VAE 架构的中枢组成部分：它是组成凭证下界（Evidence Lower Bound，ELBO）的两项亏欠之一。ELBO 是对数据似然的下界，用于转折地、但在数值上可行地最大化样本的对数似然。该项正则化饱读吹潜变量征服某一预设先验分散（平方为高斯分散）。

但要道在于，ELBO 仅在 KL 项前未引入缩放超参数（scale parameter）的前提下，才是着实风趣风趣上的似然下界。然则在施行应用中，为了熟悉厚实性及重建质地的有计划，KL 正则项险些老是被大幅缩放（平方缩小几个数目级），这险些堵截了它与变分推断原始语境之间的接洽。

酿成这一调整的原因也很径直：未经缩放的 KL 项具有过强的抛弃作用，会显耀压缩潜在空间的容量，继而严重影响图像重建质地。出于工程可行性上的有计划，业界深广的作念法是显耀裁汰其在总亏欠函数中的权重。

（趁便提一下：在某些更关心语义可解释性或潜变量解耦（disentanglement）质地、而非重建效果的任务中，增多 KL 权重亦然一种灵验且常见的战略，举例 β-VAE）。

接下来属于明显的主不雅不雅点，但我合计现时对于 KL 项效果的参谋中还存在绝顶多的 “艰深化念念维”。举例，KL 项被平庸合计能率领潜变量征服高斯分散 —— 然则在施行应用中的缩放因子下，这一效果渺小到险些可以忽略。即使是在 “着实的” VAE 中，总体后验分散（aggregate posterior）也很少呈现出规范高斯形态。

因此，在我看来，「VAE」中阿谁「V」（即 「Variational」，变分）如今险些已失去实质风趣风趣 —— 其存在风趣风趣更多是历史留传。与其如斯，咱们倒不如将这类模子称为「KL 正则化自编码器」（KL-regularised autoencoders），这在主张上对现时主流实践更贴切。

在这种设定下，KL 项最主要的作用，是禁绝潜变量分散中的离群点，并在一定进程上阻抑其数值圭臬。换句话说：尽管 KL 项平方被看成抛弃潜变量容量的机制来叙述，其在现实中起到的作用，更多是对潜变量体式的轻度抛弃 —— 而这种抛弃也远莫得设想中那么强。

调整重建亏欠

重建亏欠的「三件套」（即归来亏欠（regression loss）、感知亏欠（perceptual loss）与抗争亏欠（adversarial loss））在最猛进程提高重建信号质地方面无疑阐明着要道作用。

然则，值得进一步研究的是，这些亏欠项怎么影响潜在变量（latents），稀奇是在「内容筛选」（curation，即潜变量学会编码哪些信息）方面的作用。如第 3 节（为什么需要两个阶段？）所参谋的，在视觉鸿沟中，一个细腻的潜在空间应在一定进程上竣事对纹理的抽象（abstraction）。这些亏欠是怎么匡助竣事这一想法的？

一个有启发性的念念维实验是，假定咱们将感知损树憎恶抗亏欠去除，仅保留归来亏欠，如传统的变分自编码器（VAE）所采用的作念法。这种配置平方会导致拖拉的重建扫尾。归来亏欠在遐想上不会偏向于特定类型的信号内容，因此在图像任务中，往往会更关心于低频信息，原因只是是这种信息在图像中占比较大。

在自然图像中，不同空间频率的能量平方与其频率的平方成反比 —— 频率越高，能量越小（联系该表象的图示分析，请参阅我先前的博文）。由于高频身分在总信号能量中所占比例极小，因此使用归来亏欠机，模子更倾向于准确地展望低频重量，而非高频部分。

然则，从东谈主类感知的角度看，高频信息的主不雅高大性远远高于它们在信号能量中所占的比例，这也就导致了公共熟知的「拖拉感」重建扫尾。

图片来自 VQGAN 论文。与仅使用归来亏欠熟悉的 DALL-E VAE 的对比展示了感知与抗争亏欠所带来的显耀影响。

由于纹理主要由这些高频身分组成，而归来亏欠险些忽略这些高频信息，最终咱们得到的潜在空间不仅无法作念出纹理抽象，反而是径直抹去了与纹理相关的信息。从感知质地的角度讲，这是一种很差的潜在空间结构。这也径直阐明了感知亏欠与抗争亏欠的高大性：它们确保潜在变量中能够编码一定的纹理信息。

既然归来亏欠具有上述这些不睬想的性质，而且往往需要其他亏欠项来加以弥补，那咱们是否可以干脆将其完全铁心呢？事实解说，这种作念法也不可行。因为感知亏欠与抗争亏欠的优化过程更为复杂，且容易堕入病态的局部最优解（毕竟，这些亏欠平方是基于预熟悉神经收集构建的）。在熟悉过程中，归来亏欠起到某种「正则化器」的扮装，握续为优化过程提供阻抑与指引，幸免模子堕入诞妄的参数空间。

现时已有诸多战略尝试采用不同步地的重建亏欠，以下仅列举部分文件中的实例，展示该场地的千般性：

前文提到的 DCAE46 模子，其治安在全体上与原始的 VQGAN 配方各异不大，只是将 L2 归来亏欠（均方舛错，MSE）替换为 L1 亏欠（平均皆备舛错，MAE）。它依然保留了 LPIPS 感知亏欠（Learned Perceptual Image Patch Similarity）以及 PatchGAN49 判别器。该治安的不同之处在于其采用了多阶段熟悉，仅在终末阶段启用抗争亏欠。ViT-VQGAN50 模子联结了两种归来亏欠：L2 亏欠与 logit-Laplace 亏欠 51，并使用 StyleGAN52 判别器以及 LPIPS 感知亏欠。LTX-Video44 模子引入了一种基于破碎小波变换（Discrete Wavelet Transform，DWT）的「视频感知亏欠」，并提议了其特有的抗争亏欠战略，称为 reconstruction-GAN。

正如经典菜肴千东谈主千味，在这种「配方」问题上，每位研究者都有各自的解法！

表征学习 vs 重建

此前咱们探讨的诸多遐想遴荐，不仅影响重建质地，同期也深刻影响所学习的潜在空间的性质。其中，重建亏欠事实上承担了双重担务：既保证了解码器输出的高质地，又在潜在空间的形成中阐明了要道作用。这不禁引出一个问题：像咱们现在这么「两全其美」的作念法，简直合适吗？我合计谜底是辩白的。

一方面，为生成建模（generative modelling）学习出细腻且紧凑的表征；另一方面，将这一表征解码回原始输入空间，这其实是两项天壤悬隔的任务。而当代自动编码器平方被期许能同期完成这两项任务。

尽管从实践角度看，这种作念法效果绝顶可以，无疑也简化了进程（毕竟自动编码器熟悉曾经是完整系统中第一阶段的熟悉部分，咱们自然但愿尽可能幸免进一步复杂化，尽管熟悉多个阶段的自动编码器也并非绝世超伦。但这一治安实则污染了两个任务，其间某些适用于一个任务的遐想，简略在另一个任务上并不睬想。

当解码器采用自归来架构时，这种任务合并的问题尤为杰出，因此咱们提议使用一个寂寥的非自归来（non-autoregressive）赞助解码器（auxiliary decoder）来为编码器提供学习信号。

主解码器（main decoder）则完全不会影响潜在表征，因为其梯度在熟悉中不会反传至编码器。这使其专注于优化重建质地，而赞助解码器则承担起潜在空间的塑造任务。通盘自动编码器各组件仍可鸠合熟悉，因此增多的熟悉复杂度相称有限。自然赞助解码器会增多熟悉资本，但它在熟悉完成后即可被铁心。

这种带有两个解码器的自动编码器结构中：主解码器仅用于重建，其梯度不回传到编码器（平方咱们用虚线来透露这极少）赞助解码器则专注于构建潜在空间，它可以采用不同的架构、优化不同的亏欠函数，或者两者教训相长。

尽管咱们在那篇论文中使用自归来解码器来处理像素空间的想法，如今曾经不再适用（可以说很分歧时宜），但我仍然信赖将表征学习与重建任务分开的这一战略在现时仍具有高度相关性。

一个赞助解码器，要是它优化的是另一种亏欠，或者采用了与主解码器不同的架构（抑或两者兼具），就可能为表征学习提供更灵验的熟悉信号，从而带来更优的生成建模效果。

Zhu 等东谈主最近也得出了同样的论断（见其论文第 2.1 节），他们使用 K-means 对 DINOv2 索求的特征进行破碎化建模，并联结一个单独熟悉的解码器。在生成建模中复用自监督学习（self-supervised learning）得到的表征，这一念念路在音频建模鸿沟早已较为深广 —— 可能是因为音频鸿沟研究者蓝本就民俗于熟悉声码器（vocoder），将预界说的中间表征（举例梅尔频谱图）养息回波形信号。

通过正则化晋升模子智力

对潜在变量容量的塑造、梳理和抛弃都会影响其可建模性：

容量抛弃决定了潜在变量中的信息量。容量越高，生成模子就必须越刚烈，才能充分捕捉其包含的通盘信息；塑造对于竣事高效建模至关高大。相似的信息可以用多种不同的形势表征，有些形势比其他形势更容易建模。缩放和规范化对于正确建模至关高大（尤其是对于扩散模子而言），但高阶统计量和相关结构也同样高大；梳宽宥影响可建模性，因为某些类型的信息比其他类型的信息更容易建模。要是潜在变量编码了输入信号中不可展望的噪声信息，那么它们的可展望性也会裁汰。

以下是一条风趣的推文，展示了这怎么影响厚实扩散 XL VAE：

图源：https://x.com/rgilman33/status/1911712029443862938

在这里，我想将其与 Xu et al. 提议的 V-information 接洽起来，它扩展了互信息的主张，使其能够有计划遐想阻抑。换句话说，信息的可用性取决于不雅察者辩别信息的遐想难度，咱们可以尝试量化这极少。要是一条信息需要刚烈的神经收集来索求，那么输入中的 V-information 量就会低于使用简便线性探伤的情况 —— 即使以比特为单元的皆备信息量相似。

明显，最大化潜在表征的 V-information 量是可取的，以便最大限制地裁汰生成模子相接潜在表征所需的遐想需求。我之前提到的 Tschannen et al. 样子的速率 - 失真 - 实用性衡量也营救同样的论断。

如前所述，KL 刑事牵扯对高斯化或平滑潜在空间的作用可能不如好多东谈主合计的那么大。那么，咱们可以作念些什么来使潜在模子更容易建模呢？

使用生成先验：与自动编码器共同熟悉一个（轻量级）潜在生成模子，并通过将生成亏欠反向传播到编码器中，使潜在模子易于建模，就像在 LARP 或 CRT 中一样。这需要仔细调整亏欠权重，因为生成损构怨重构亏欠相互矛盾：当潜在模子完全不编码任何信息时，它们最容易建模！使用预熟悉的表征进行监督：饱读吹潜在模子对现存高质地表征（举例 DINOv2 特征）进行展望，就像在 VA-VAE、MAETok 或 GigaTok 中一样。饱读吹等变性：使输入的某些变换（举例重缩放、旋转）产生相应的潜在表征，这些表征也进行近似变换，就像在 AuraEquiVAE、EQ-VAE 和 AF-VAE 中一样。我在第 4 部分中使用的 EQ-VAE 论文中的图表展示了这种阻抑对潜在空间的空间平滑度产生的深入影响。Skorokhodov et al. 基于潜在空间的谱分析得出了相似的论断：等变性正则化使潜在谱与像素空间输入的谱更相似，从而提高了可建模性。

这只是一些可能的正则化战略的一小部分，通盘这些战略都试图以某种形势增多潜在向量的 V-information。

向下扩散

一类用于学习潜在表征的自编码器值得深入研究：带有扩散解码器的自编码器。自然更典型的解码器架构采用前馈收集，该收集在一次前向传递中径直输出像素值，而且采用抗争式熟悉，但一种越来越流行的替代有经营是使用扩散来完成潜在解码任务以及对潜在表征的分散进行建模。这不仅会影响重构质地，还会影响学习到的表征类型。

SWYCC、ϵ-VAE 和 DiTo 是近期一些探索这种治安的研究扫尾，它们从几个不同的角度叙述了这一治安：

使用扩散解码器学习的潜在特征提供了一种更具原则性、表面基础的层级生成建模治安；它们可以仅使用 MSE 亏欠进行熟悉，这简化了过程并提高了鲁棒性（毕竟抗争性亏欠的调整绝顶毒手）；将迭代更正的道理当用于解码可以提高输出质地。

我无法反驳这些不雅点，但我如实想指出扩散解码器的一个显耀时弊：它们的遐想资本过甚对解码器延伸的影响。我合计，面前大多数生意部署的扩散模子都是潜在模子的一个要道原因是：紧凑的潜在表征有助于咱们幸免在输入空间进行迭代细化，而这种作念法既慢又贵。在潜在空间中实行迭代采样过程，然后在终末通过一次前向传播回到输入空间，速率要快得多。有计划到这极少，在我看来，在解码任务中从头引入输入空间迭代细化，在很猛进程上违反了两阶段治安的初志。要是咱们要付出这么的代价，不妨遴荐一些简便的扩散治安来扩展单阶段生成模子。

你可能会说，别急 —— 咱们难谈不行使用繁密扩散蒸馏治安来减少所需的要领数吗？在这么的配置中，由于具有相称丰富的要求信号（即潜在表征），这些治安如实被解说是灵验的，甚而在单步采样机制下亦然如斯：要求越强，取得高质地蒸馏扫尾所需的要领就越少。

DALL-E 3 的一致性解码器便是一个很好的实践案例：他们重用了厚实扩散潜在空间，并熟悉了一个基于扩散的新解码器，然后通过一致性蒸馏将其精简为仅两个采样要领。自然在延伸方面，它的支拨仍然比原始抗争解码器更高，但输出的视觉保真度得到了显耀晋升。

DALL-E 3 基于 Stable Diffusion 潜在空间的一致性解码器显耀提高了视觉保真度，但代价是延伸更高。

Music2Latent 是这种治安的另一个例子，它基于音乐音频的声谱图表征进行操作。它们的自编码器带有一致性解码器，采用端到端熟悉（不同于 DALL-E 3 的自编码器，后者复用了预熟悉的编码器），而且能够一步生成高保真输出。这意味着解码过程再次只需要一次前向传递，就像抗争性解码器一样。

FlowMo 是一款带有扩散解码器的自编码器，它使用后熟悉阶段来饱读吹模式搜索行为。如前所述，对于解码潜在表征的任务，丢失模态以及专注于真实性而非千般性施行上是可取的，因为它需要的模子容量较少，而且不会对感知质地产生负面影响。抗争性亏欠往往会导致模态丢失，但基于扩散的亏欠则不会。这种两阶段熟悉战略使扩散解码器能够模拟这种行为 —— 尽管仍然需要大都的采样要领，因此遐想资本远高于典型的抗争性解码器。

一些早期对于扩散自编码器的研究，举例 Diff-AE 和 DiffuseVAE，更侧重于学习近似于旧式 VAE 的高级语义表征，莫得拓扑结构，而且选藏可控性妥协耦。DisCo-Diff 介于两者之间，它专揽一系列破碎潜在表征来增强扩散模子，这些潜在表征可以通过自归来先验建模。

排斥抗争熟悉的必要性无疑会简化事情，因此扩散自编码器在这方面是一个风趣（最近也绝顶流行）的研究鸿沟。然则，在延伸方面，与抗争性解码器竞争似乎颇具挑战性，是以我合计咱们还莫得准备好湮灭它们。我相称期待一个更新的有经营：它不需要抗争性熟悉，但在视觉质地和延伸方面却能与现时的抗争解码器相比好意思！

网格统治一切

感知模态的数字表征平方采用网格结构，因为它们是底层物理信号的均匀采样（和量化）版块。图像产生二维像素网格，视频产生三维网格，音频信号产生一维网格（即序列）。均匀采样意味着相邻网格位置之间存在着固定的量子（即距离或者时候量）。

从统计风趣风趣上讲，感知信号在时候和空间上也趋于近似沉稳。与均匀采样相联结，这产生了丰富的拓扑结构，咱们在遐想用于处理它们的神经收集架构时会充分专揽这种结构：使用平庸的权重分享来专揽不变性和等变性等特质，这些特质通过卷积、轮回和详细力机制来竣事。

毫无疑问，对网格结构的专揽恰是咱们能够构建如斯刚烈的机器学习模子的要道原因之一。由此彭胀，在遐想潜在空间时保留这种结构是一个绝佳的主意。咱们最刚烈的神经收集遐想在架构上依赖于它，因为它们领先便是为径直处理这些数字信号而构建的。要是潜在表征具有相似的结构，它们将更擅所长理这些表征。

网格结构也为学习生成潜在空间的自编码器带来了显耀的上风：由于沉稳性，而且它们只需要学习局部信号结构，因此可以在较小的编著图像或输入信号片断上进行熟悉。要是咱们施加正确的架构阻抑（抛弃编码器妥协码器中每个位置的感受野），它们将能够开箱即用地泛化到比熟悉时更大的网格。这有可能大大裁汰第一阶段的熟悉资本。

然则，事情并非老是那么好意思好：咱们曾经参谋过感知信号是怎么高度冗余的，缺憾的是，这种冗余分散不均。信号的某些部分可能包含大都感知上显耀的细节，而其他部分则险些莫得信息。在咱们之前使用的野外里狗的图像中，有计划一个以狗的头部为中心的 100×100 像素块，然后将其与图像右上角仅包含蓝天的 100×100 像素块进行比较。

野外里的狗的图像，其中杰出夸耀了两个具有不同冗余度的 100×100 像素块。

要是咱们构建一个秉承输入二维网格结构的潜在表征，并用它来编码这幅图像，则势必会使用完全相似的容量来编码这两个图像块。要是咱们让表征足够丰富，能够捕捉到狗头通盘相关的感知细节，那么将浪费大都容量来编码近似大小的天外图像块。换句话说，保留网格结构会显耀裁汰潜在表征的效劳。

这便是我所说的「网格统治一切」：咱们用神经收集处理网格结构数据的智力曾经相称老练，偏离这种结构会增多复杂性，使建模任务变得愈加困难，而且对硬件的兼容性也更差，是以平方不会这么作念。但就编码效劳而言，这施行上绝顶浪费，因为视听信号中感知显耀的信息分散并不均匀。

Transformer 架构施行上相对稳妥抗争这种统治：自然咱们平方将其视为序列模子，但它施行上是为处理集值（set-valued）数据而遐想的，任何将聚集元素相互关联的附加拓扑结构都通过位置编码来抒发。这使得偏离成例网格结构比卷积或轮回架构更为实用。几年前，我和共事探索了使用可变速率破碎表征进行语音生成的这个想法。在两阶段生成模子的配景下，减弱潜在空间的拓扑结构似乎最近越来越受到关心，包括如下：

TiTok 和 FlowMo 从图像中学习序列结构化的潜在表征，将网格维度从二维裁汰到一维。大型谈话模子的发展为咱们带来了极其刚烈的序列模子，因此这是一种合理的想法结构；One-D-Piece 和 FlexTok 也采用了近似的治安，但使用了嵌套的 dropout 机制，在潜在序列中引入了由粗到细的结构。这使得序列长度能够根据每个输入图像的复杂度以及重建所需的细节级别进行调整。CAT 也探索了这种自适当性，但仍然保留了二维网格结构，而且仅调整其分辨率；TokenSet 更进一步，使用了一种生成「token 袋」的自动编码器，完全抛弃了网格。

除了 CAT 除外，通盘这些治安的共同点在于：它们学习的潜在空间在语义上比咱们面前主要参谋的那些要高级得多。就抽象档次而言，它们可能介于「高级像素」和旧式 VAE 的矢量值潜在空间之间。FlexTok 的一维序列编码器需要使用现存二维网格结构编码器的初级潜在空间作为输入，施行上是在现存初级潜在空间之上构建了一个极端的抽象层。TiTok 和 One-D-Piece 也专揽现存的二维网格结构潜在空间作为多阶段熟悉治安的一部分。一个相关的念念路是：将谈话域重用为图像的高级潜在表征。

在破碎环境下，一些职责专揽谈话 tokenisation 的念念想，研究了网格中常见的 token 模式是否可以组合成更大的子单元：DiscreTalk 是语音鸿沟的一个早期示例，它在 VQ token 之上使用了 SentencePiece。Zhang et al 的 BPE Image Tokenizer 是这一念念路的较新体现，它在 VQGAN token 上使用了一种增强的字节对编码算法。

其他模态的潜在变量

到面前为止，咱们主要关心视觉鸿沟，仅在一些地方简要说起音频。这是因为学习图像的潜在特征是咱们曾经相称擅长的事情，而且连年来，使用两阶段治安的图像生成曾经得到了平庸的研究并参加分娩！。咱们在感知亏欠方面领有老练的研究体系，以及大都的判别器架构，使抗争熟悉能够专注于感知相关的图像内容。

对于视频，咱们仍然停留在视觉鸿沟，但引入了时候维度，这带来了一些挑战。东谈主们可以简便地重叠使用图像的潜在特征并逐帧索求它们来取得潜在的视频表征，但这可能会导致时候伪影（举例耀眼）。更高大的是，它无法专揽时候冗余。我合计咱们用于时空潜在表征学习的用具还远远不够完善，而且面前东谈主们对怎么专揽东谈主类对畅通的感知来提高效劳的相接也不够深入。尽管视频压缩算法都专揽畅通料想来提高效劳，但情况仍然如斯。

音频亦然如斯：自然两阶段治安已被平庸采用，但对于使其适用于这种模态所需的修改，似乎并未达成平庸的共鸣。如前所述，对于音频，更常见的作念法是重用通过自监督学习习得的表征。

那么谈话呢？谈话并非感知模态，但两阶段治安简略也能提魁岸型谈话模子的效劳吗？事实解说，这并非易事。谈话本色上比感知信号更难压缩：它作为一种高效的调换形势发展起来，因此冗余度要低得多。但这并不料味着谈话就不存在：香农曾有一个著名的料想：英语的冗余度为 50%。但请记取，图像、音频和视频可以在相对较小的感知失真下压缩几个数目级，而谈话则不可能在不丢失隐微远离或高大语义信息的情况下作念到这极少。

用于谈话模子的 Tokeniser 往往是无损的（举例 BPE、SentencePiece），因此生成的 token 平方不被视为「潜在 token」（然则，Byte Latent Transformer 在其动态 tokenisation 战略中如实使用了这种框架）。然则，谈话中相对败落冗余并莫得间隔东谈主们尝试学习有损的高级表征！用于感知信号的技能可能无法沿用，但东谈主们曾经探索了几种其他用于学习句子或段落级别表征的治安。

端到端会是终末赢家吗？

当深度学习兴起时，主流不雅点是：咱们将尽可能用端到端学习取代手工构建的特征。鸠合学习通盘处理阶段将使这些阶段能够相互适当和合作，从而最大限制地提高性能，同期从工程角度简化进程。这或多或少也恰是遐想机视觉和语音处理鸿沟最终发生的事情。从这个角度来看，颇具讪笑意味的是，面前感知信号的主流生成建模范式是两阶段治安。自然两个阶段都倾向于学习，但并非完全端到端！

如今产物中部署的文本转图像、文本转视频和文本转音频模子大多使用中间潜在表征。值得念念考的是，这种近况是暂时的，照旧会握续下去？毕竟，两阶段熟悉如实引入了绝顶多的复杂性，除了愈加优雅除外，端到端学习还可以匡助确保系统的通盘部分都与单一的总体想法无缺地保握一致。

如上所述，输入空间的迭代细化速率慢且资本崇高，我合计这种情况可能会握续一段时候 —— 尤其是在咱们不断晋升生成信号的质地、分辨率和 / 或长度的情况下。咱们不太可能湮灭潜在层在熟悉效劳和采样延伸方面的上风，面前尚无可行的替代有经营被解说能够大范围应用。这是一个颇具争议的不雅点，因为一些研究东谈主员似乎合计是时候转向端到端治安了。我个东谈主合计现在还为时过早。

那么，咱们何时才能准备好归来单阶段生成模子呢？像简便扩散、Ambient Space Flow、Transformers 和 PixelFlow 这么的治安曾经解说：即使在相对较高的分辨率下，这种治安也能很好地阐明作用，只是面前还不够合算。但硬件正以惊东谈主的速率不断更正和晋升，因此我推测咱们最终会达到一个临界点：即相对低效的输入空间模子在经济上优于工程复杂性日益增多的潜在空间模子。至于何时竣事，则取决于具体模态、硬件更正的速率以及研究的进展，因此我不会作念出具体的展望。

昔日，咱们需要潜在向量来确保生成模子专注于学习感知相关的信号内容，同期忽略视觉上不显耀的熵。追思一下，输入空间中的似然亏欠在这方面尤其厄运，而切换到在潜在空间中测量似然值可以显耀改善基于似然模子的扫尾。可以说，这种情况已不再存在，因为咱们曾经找到了如安在感知上从头加权自归来和扩散模子的似然亏欠函数，从而排斥了扩展的一个高大进攻。尽管如斯，潜在空间模子的遐想效劳上风仍然一如既往地高大。

第三种替代有经营，我面前为止只是简要提到过体育游戏app平台，是分辨率级联治安。这种治安不需要表征学习，但仍然将生成模子问题认识为多个阶段。一些早期的生意模子曾使用这种治安，但它似乎曾经不再受接待了。我合计这是因为不同阶段之间的单干不够完善 —— 上采样模子必须完成太多的职责，这使得它们更容易在各个阶段积贮诞妄。