2020年青草爱免费精品视频_丝袜熟女lianzu_99国产成人综合久久精品_亚洲精品国产乱码在线看蜜月_艾秋老大的处罚MD0006

首頁 > 熱點(diǎn) > > 正文

最大CLIP！LAION發(fā)布CLIP的擴(kuò)增定律-最新快訊

2022-12-23 07:58:13 來源： 分享到：


(資料圖片僅供參考)

點(diǎn)藍(lán)色字關(guān)注“機(jī)器學(xué)習(xí)算法工程師”

設(shè)為星標(biāo)，干貨直達(dá)！

近日，LAION等機(jī)構(gòu)在Reproducible scaling laws for contrastive language-image learning發(fā)布了CLIP的擴(kuò)增定律（scaling law），其中最大的CLIP為ViT-H/14，基于LAION-2B數(shù)據(jù)集訓(xùn)練，可以在ImageNet1K數(shù)據(jù)集上到78.0%的zero-shot準(zhǔn)確度，性能超過OpenAI目前開源的CLIP L/14，和Meta AI的FLIP Huge模型性能相當(dāng)，但是模型已經(jīng)開源在https://github.com/LAION-AI/scaling-laws-openclip。

論文的實(shí)驗(yàn)采用開源數(shù)據(jù)集LAION-400M和LAION-2B數(shù)據(jù)集，訓(xùn)練框架采用開源的OpenCLIP，所以論文的實(shí)驗(yàn)是可以復(fù)現(xiàn)的。訓(xùn)練在1520 NVIDIA A100 GPUs上進(jìn)行，采用PyTorch DDP分布式訓(xùn)練策略，采用混合精度（但是fp16會不穩(wěn)定，所以采用bf16，或者基于TF32的float32），訓(xùn)練的batch size在 86-88K之間。實(shí)驗(yàn)的總體結(jié)論是：擴(kuò)增定律也明顯適用CLIP，當(dāng)擴(kuò)增模型，訓(xùn)練數(shù)據(jù)和算力時(shí)，模型在下游任務(wù)上有一致性的提升。但是不同的訓(xùn)練數(shù)據(jù)集表現(xiàn)出不同的擴(kuò)增系數(shù)：OpenCLIP的模型（基于LAION-2B數(shù)據(jù)集）在圖文檢索任務(wù)上有較大的擴(kuò)增系數(shù)，而OpenAI CLIP模型（基于私有的WebImageText 400M數(shù)據(jù)集）在zero-shot分類任務(wù)上有較強(qiáng)的擴(kuò)增系數(shù)。這個(gè)結(jié)論和FLIP的結(jié)論比較吻合，這說明訓(xùn)練數(shù)據(jù)集對CLIP的性能確實(shí)有比較大的影響。用論文結(jié)論的一句話來說就是：Scaling behavior depends on task type and pre-training dataset。更多內(nèi)容可見論文：https://arxiv.org/abs/2212.07143

標(biāo)簽：

x 廣告
x 廣告

Copyright ©  2015-2022 南方儀表網(wǎng)版權(quán)所有  備案號：粵ICP備18023326號-21   聯(lián)系郵箱：855 729 8@qq.com