当前位置: 首页 > news >正文

论文选读

CLASSIFIER-FREE DIFFUSION GUIDANCE

摘要

Classifier guidance is a recently introduced method to trade off mode coverage and sample fidelity in conditional diffusion models post training

分类器引导可以权衡模式覆盖度和样本保真率。

模式覆盖度:指模型生成的样本能够涵盖目标分布中各种不同的模式或类别。

样本保真率:指生成的样本与真实数据在视觉、语义或其他相关特征上的相似程度和准确性。

权衡这两者做到高样本保真率,并且生成的样本要尽可能多样,而不是局限在单一模式。

low temperature sampling or truncation

低温度采样:低温度会使高概率的特征的概率更高,而低概率的则更低。

截断:只截取概率前k大的可能。

类似于其他生成模型的低温度采样和截断方法,分类器引导需要结合扩散模型的梯度估计和图像分类器的梯度( score estimate of a diffusion model with the gradient of an image classifier)来实现,因此这就需要单独训练一个分类器。

引出了一个问题,是否可以不通过分类器引导,只是单纯的生成模型。

jointly train a conditional and an unconditional diffusion model

combine the resulting conditional and unconditional score estimates

联合训练了一个条件扩散模型和无条件扩散模型,结合条件和无条件的分数估计,得到类似分类器引导实现样本质量和多样性的权衡。

引入

Prior to classifier guidance, it was not known how to generate “low temperature” samples from a diffusion model similar to those produced by truncated BigGAN

GAN:生成对抗网络

由两部分组成,生成器(Generator)和判别器(Discriminator),生成器负责生成尽可能逼真的假样本(例如图像),判别器则要区分输入的样本是来自真实数据集还是由生成器生成的假样本。二者相互博弈、不断优化,最终生成器能生成以假乱真的样本。

最后生成的样本可以兼顾保真率和多样性。

在分类器引导之前,我们不知道如何用扩散模型生成与BigGAN截断方法类似的低温度的样本。

分类器引导讲扩散模型的分数估计和分类器的输入梯度对数概率混合起来,

结论

无分类器引导在扩散模型中可以提高生成样本的质量并且降低样本多样性。

Deep Unsupervised Learning using Nonequilibrium Thermodynamics

使用非平衡热力学方法的无监督深度学习

摘要

机器学习中一个核心问题就是使用高度灵活的概率分布族来给复杂问题建模,其中分析、采样、推理和计算要是可分析的且可操作的。

本文提出了一种方法同时具备灵活性和可操作性。受到非平衡统计物理学的启发,通过一个迭代正向扩散过程来系统性的缓慢的破坏数据分布中的结构。然后学习一个反向扩散过程恢复数据的结构,产生一个高度灵活和可操作的数据生成模型。这种方法能快速的学习、采样和评估具有数千层或数千步的深度生成模型,并在学习到的模型下计算条件概率和后验概率。

\[\begin{aligned} \pi\left(\mathbf{y}\right) & =\int d\mathbf{y}^{\prime}T_\pi\left(\mathbf{y}|\mathbf{y}^{\prime};\beta\right)\pi\left(\mathbf{y}^{\prime}\right) & (1) \\ q\left(\mathbf{x}^{(t)}|\mathbf{x}^{(t-1)}\right) & =T_\pi\left(\mathbf{x}^{(t)}|\mathbf{x}^{(t-1)};\beta_t\right). & (2) \end{aligned} \]

Test-Time Training

Test-Time Scaling

http://www.hskmm.com/?act=detail&tid=22853

相关文章:

  • C++设计模式之行为型模式:职责链模式(Chain of Responsibility) - 实践
  • 第一章作业
  • 数据库系统概论
  • Pytorch
  • 页面 HTTPS 化实战,从证书部署到真机验证的全流程(证书链、重定向、混合内容、抓包排查) - 实践
  • AT_abc308_h [ABC308Ex] Make Q
  • 函数-高级用法+闭包
  • 点云-标注-分类-航线规划软件 (一)点云自动分类 - 实践
  • JVM的内存分配策略有哪些?
  • 在Linux系统上一键配置DoH,解决DNS解析被污染
  • 《电路基础》第五章学习笔记
  • Elasticsearch集群监控信息(亲测) - 教程
  • 2025超声波清洗机厂家TOP企业品牌推荐排行榜,龙门式,悬挂式,全自动,多臂式,多槽式,履带式,通过式,单槽式,摆动式,平移式超声波清洗机公司推荐!
  • SQL:concat函数(连接字符串)
  • 2025 北京地下室防潮品牌最新推荐排行榜:TOP3 实力品牌出炉,精准解决地下空间潮湿难题
  • python脚本统计fastq数据的GC含量
  • 第一次软件工程作业
  • 关于数颜色
  • 2025仿石漆厂家 TOP 企业品牌推荐排行榜,真石漆,水包砂,冠晶石,外墙,多彩,批刮,别墅,批发,出口仿石漆推荐这十家公司!
  • CF1615F LEGOndary Grandmaster
  • 2025 年仿石漆品牌最新推荐排行榜:聚焦真石漆仿石漆,水包砂仿石漆,冠晶石仿石漆,外墙仿石漆,多彩仿石漆供采购参考
  • 诚信液压阀块定制厂家推荐榜:实力制造与精准工艺口碑之选
  • 24 两两交换链表中的节点
  • 算法导论图论部分总结
  • 19 删除链表的倒数第 N 个结点
  • 浅谈 Bakas Trick / 不带删尺取 / 对顶栈
  • 聚变堆:中国BEST装置全面开建
  • web
  • 如何用pivotby函数实现数据透视(2)
  • 2025 年彩钢板厂家 TOP 企业品牌推荐排行榜,复合彩钢板,保温彩钢板,耐腐蚀彩钢板,净化彩钢板推荐这十家公司!