国产成人精品无码一区二区 圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

发布日期:2022-05-19 05:00    点击次数:124

国产成人精品无码一区二区 圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。

 国产成人精品无码一区二区OpenAI剛剛推出的年末新作GLIDE,又讓擴散模子小火了一把。

這個基于擴散模子的文本圖像生成大模子參數規模更小,但生成的圖像質量卻更高。

于是,依舊是OpenAI出品,論文標題就径直號稱“在圖像生成上打敗GAN”的ADM-G模子也再行進入了大眾眼中:

圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

光看Papers with Code上基于ImageNet數據集的圖像生成模子榜單,從64 x 64到512 x 512分别率都由這一模子占據榜首:

圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

對比曾號稱史上最強圖像生成器的BigGAN-deep也不落下風,以至還能在LSUN和ImageNet 64 × 64的圖像生成后果上達到SOTA。

圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

有網友對此感嘆:前幾年圖像生成領域一直由GAN主導,現在看來,似乎要變成擴散模子了。

圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA 加入類別條件的擴散模子

我們先來望望擴散模子的定義。

這是一種新的圖像生成的时事,其名字中的“擴散”本質上是一個迭代過程。

具體到推理中,即是從一幅破坏由噪聲構成的圖像開始, 销魂美女图库通過預測每個步驟濾除的噪聲,迭代去噪赢得一個高質量的樣本,然后再渐渐添加更多的細節。

而OpenAI的這個ADM-G模子,則是在此基礎上向圖像生成任務中加入了類別條件,酿成了一種獨特的消融擴散模子。

磋磨人員分別從以下幾個方面做了改進:

基本架構

基于UNet結構做了五點改進:

在保持模子大小不變的前提下,增多深度與寬度 增多刺目頭(Attention Head)數量 在32×32、16×16和8×8的分别率下都使用刺眼光機制 使用BigGAN殘差塊對激活函數進行上采樣和下采樣 將殘差連接(Residual Connections)縮小為原來的1/根號2 圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA 類別引導(Classifier Guidance)

在噪聲渐渐轉換到信號的過程中,磋磨人員引入了一個預先訓練好的分類網絡。

它能夠為中間生成圖像預測并赢得一個標簽,被公疯狂玩弄的年轻人妻也即是不错對生成的圖片進行分類。

之后,再基于分類分數和目標類別之間的交叉熵損失計算梯度,用梯度引導下一步的生成采樣。

縮放分類梯度(Scaling Classifier Gradients)

按超參數縮放分類網絡梯度,以此來舍弃生成圖像的多樣性和精度。

比如像這樣,左邊是1.0規模大小的分類網絡,右邊是10.0大小的分類網絡,不错看到,右邊的生成圖像明顯類別愈加一致:

圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

也即是說,分類網絡梯度越高,類別就越一致,精度也越高,而同時多樣性也會變小。

生成領域的新熱點

当今,這一模子在GitHub上已有近千標星:

圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

而與GAN比起來,擴散模子生成的圖像還更多樣、更復雜。

基于同樣的訓練數據集時,擴散模子不错生成擁有全景、局部特寫、不同角度的圖像:

圖像生成王者不是GAN?擴散模子最近有點火,后果直達SOTA

△左:BigGAN-deep 右:ADM

其實,自2020年谷歌發表DDPM后,擴散模子就逐漸成為了生成領域的一個新熱點,

除了著作中提到的OpenAI的兩篇論文除外,還有Semantic Guidence Diffusion、Classifier-Free Diffusion Guidence等多個基于擴散模子設計的生成模子。

擴散模子接下來還會在視覺任務上有哪些新的應用呢,我們來年再看。

論文鏈接: https://arxiv.org/abs/2105.05233

開源鏈接: https://github.com/openai/guided-diffusion