环球观焦点：GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型

2023-04-22 17:57:45 来源：程序员客栈

(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

自从 DALL·E 2 之后，在图像生成方面扩散模型替代GAN成了主流方向，比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日， Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿（1B）的GAN模型：GigaGAN，其在文生图效果上接近扩散模型效果，而且推理速度更快，生成512x512大小图像只需要0.13s，生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能，比如latent插值，风格混合，以及向量运算等。

GigaGAN

改进了StyleGAN架构，采用两阶段训练策略：一个是64x64的图像生成器和一个512x512的图像超分2器，其图像生成器架构如下所示（这里也是采用CLIP text encoder来引入text condition）：

GigaGAN

在 LAION2B-en和 COYO-700M数据集上训练，其在COCO数据集上的FID达到9.09，超过stable diffusion 1.5，推理速度比stable diffusion快20倍多（2.9s vs 0.13s）：

GigaGAN

除了文生图能力，还可以实现可控的合成，比如风格混合，如下图所示：

更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

关键词：

为您推荐

环球观焦点：GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型

点蓝色字关注“机器学习算法工程师”设为星标，干货直达！自从DALL·E2之后，在图像生成方面扩散模型替代GAN成了主流方向，比如开源的文生图模

来源：程序员客栈2023-04-22

键盘灵敏度怎么设置最快_键盘灵敏度怎么设置速读

1、点击电脑左下角的“开始”，选择“运行2、在弹出的“运行”对话框中输入“regedit”，点击确定3、在弹出的“注册表

来源：互联网2023-04-22

055大驱有多厉害？其战力是被低估了还是被高看了？今日快看

众所周知，航空母舰是一个国家综合国力的象征，也是现代海军不可或缺的利器，是战略威慑一般的存在，而可以装备防空、反潜、对海等多种武器、

来源：档案馆2023-04-22

天天速读：曼联出局夜内讧！2罪人激烈争吵，队长让门神闭嘴，球迷：全卖了

曼联出局夜内讧！2罪人激烈争吵，队长让门神闭嘴，球迷：全卖了,门神,马奎尔,欧联杯,曼联主场,塞维利亚队,大卫·德赫亚

来源：我爱英超2023-04-22

花毛茛

1、花毛茛（gèn），学名：Ranunculusasiaticus（L ）Lepech ，芹菜花，陆莲花，为毛茛科、花毛

来源：互联网2023-04-22

江苏常熟市在编公务员事业人员及国资单位人员5月实行工资全额数字人民币发放

4月22日，记者获悉，常熟市地方金融监督管理局和常熟市财政局日前印发《关于实行工资全额数字人民币发放的通知》。该通知称，从5月开始对常熟

来源：第一财经2023-04-22

新华全媒+｜先进制造业走势稳健为高质量发展积蓄动能快报

04:00今年以来，我国工业经济保持平稳运行。一季度规模以上工业增加值同比增长3%，增幅高于去年四季度0 3个百分点，扭

来源：新华网2023-04-22

【今年一季度新疆霍尔果斯口岸进出口货运量超800万吨】22日，霍尔果斯海关统计消息称，今年一季度新疆霍尔果斯口岸进出口货运量801.6万吨，其中进口货运量664.2万吨，出口货运量137.4万吨。呈现出客货双通，多种贸易方式齐头并进的良好发展态势。（中国新闻网）

【今年一季度新疆霍尔果斯口岸进出口货运量超800万吨】22日，霍尔果斯海关统计消息称，今年一季度新疆霍尔果斯口岸进出口货运量801 6万吨，其

来源：汇通财经2023-04-22

关注