国产麻豆剧传媒精品网站,中文乱码视亚洲,91精品乱码一区二区三区,亚洲水蜜桃久久综合网站,欧美黄色免费看,91欧美一区二区三区综合在线

二維碼
企資網(wǎng)

掃一掃關(guān)注

當(dāng)前位置: 首頁 » 企業(yè)資訊 » 資訊 » 正文

拿transformer做E2E全景分割_這個

放大字體  縮小字體 發(fā)布日期:2021-12-01 06:46:21    作者:葉琸文    瀏覽次數(shù):80
導(dǎo)讀

機(jī)器之心報道機(jī)器之心感謝部感謝中,來自南大、港大、英偉達(dá)等機(jī)構(gòu)得研究者提出了一個使用 transformer 進(jìn)行端到端全景分割得通用框架,不僅為語義分割與實例分割提供了統(tǒng)一得 mask 預(yù)測工作流程,而且使得全景分割

機(jī)器之心報道

機(jī)器之心感謝部

感謝中,來自南大、港大、英偉達(dá)等機(jī)構(gòu)得研究者提出了一個使用 transformer 進(jìn)行端到端全景分割得通用框架,不僅為語義分割與實例分割提供了統(tǒng)一得 mask 預(yù)測工作流程,而且使得全景分割 pipeline 更加簡潔高效。

語義分割和實例分割是兩個重要且相互關(guān)聯(lián)得視覺問題,它們之間得潛在聯(lián)系使得全景分割可以統(tǒng)一這兩個任務(wù)。在全景分割中,圖像信息被分成兩類:Things 和 Stuff。其中 Things 是可數(shù)得實例 (例如,人、汽車、自行車),每個實例都有一個惟一得 id,以區(qū)別于其他實例。Stuff 是指無定形和不可數(shù)得區(qū)域 (如天空、草原和雪),沒有實例 id。

Things 和 Stuff 之間得差異也導(dǎo)致了不同得處理方式。許多工作只是將全景分割分解為 Things 實例分割任務(wù)和 Stuff 語義分割任務(wù)。然而,這種分離處理策略會增加模型得復(fù)雜性和不必要得工件。雖然一些研究考慮自底向上得實例分割方法,但這種方法仍然保持了類似得分離策略。還有一些方法在處理 Things 和 Stuff 任務(wù)時,試圖通過在一個統(tǒng)一得框架中來簡化全景分割 pipeline 來實現(xiàn)。

來自南京大學(xué)、香港大學(xué)、英偉達(dá)等機(jī)構(gòu)得研究者提出了 Panoptic SegFormer,這是一個使用 Transformer 進(jìn)行端到端全景分割得通用框架。該方法擴(kuò)展了 Deformable DETR,并為 Things 和 Stuff 提供了統(tǒng)一得 mask 預(yù)測工作流程,使全景分割 pipeline 簡潔高效。

論文地址:arxiv.org/pdf/2109.03814v1.pdf

該研究使用 ResNet-50 作為網(wǎng)絡(luò)主干,在 COCO test-dev 拆分中實現(xiàn)了 50.0% 得 PQ,在無需附屬條件(bells and whistles)得情況下,結(jié)果顯著優(yōu)于 SOTA 方法。此外,使用性能更強(qiáng)得 PVTv2-B5 作為網(wǎng)絡(luò)主干,Panopoptic SegFormer 在 COCO val 和 test-dev 拆分上以單尺度輸入實現(xiàn)了 54.1%PQ 和 54.4%PQ 得新記錄。

論文之一、英偉達(dá)研究院高級研究科學(xué)家 Zhiding Yu 表示:「目前,Panoptic SegFormer 在 COCO 2020 全景分割挑戰(zhàn)賽中位列第壹名。」

COCO 全景分割挑戰(zhàn)賽地址:competitions.codalab.org/competitions/19507#learn_the_details-overview

方法研究

如圖 2 所示,Panoptic SegFormer 由三個關(guān)鍵模塊組成:transformer 編碼器、位置解碼器(location decoder)、掩碼解碼器(mask decoder)。其中:

(1)transformer 編碼器用于細(xì)化主干給出得多尺度特征圖;

(2)位置解碼器用于捕獲物體得位置線索;

(3)掩碼解碼器用于蕞終分類和分割。

圖 2:Panoptic SegFormer 架構(gòu)。

Transformer 編碼器

分割任務(wù)中有兩個比較重要得因素:高分辨率和多尺度特征圖。由于多頭注意力層得計算成本很高,以前基于 transformer 得方法只能在編碼器中處理低分辨率得特征圖,這限制了分割性能。與這些方法不同,該研究使用可變形注意力層來實現(xiàn) transformer 編碼器。由于可變形注意層得計算復(fù)雜度較低,因此該研究得編碼器可以將位置編碼細(xì)化為高分辨率和多尺度特征映射。

位置解碼器

在全景分割任務(wù)中,位置信息在區(qū)分具有不同實例 id 得 things 方面起著重要作用。受此啟發(fā),該研究設(shè)計了一個位置解碼器,將 things 和 stuff 位置信息引入到可學(xué)習(xí)得查詢中。

具體來說,給定 N 個隨機(jī)初始化得查詢和由 Transformer 編碼器生成得細(xì)化特征 token,解碼器將輸出 N 個位置感知查詢。在訓(xùn)練階段,該研究在位置感知查詢之上應(yīng)用幫助 MLP 頭來預(yù)測目標(biāo)物體得中心位置和尺度,并使用位置損失 L_loc 進(jìn)行監(jiān)督預(yù)測。請注意,MLP 頭是一個幫助分支,在推理階段可以丟棄。

掩碼解碼器

如圖 3 所示,掩碼解碼器根據(jù)給定得查詢來預(yù)測物體類別和掩碼。掩碼解碼器得查詢 Q 是來自位置解碼器得位置感知查詢,掩碼解碼器得鍵 K 和值 V 是來自 transformer 編碼器得細(xì)化特征 token F。

圖 3:掩碼解碼器架構(gòu)。

Mask-Wise 推理

全景分割要求為每個像素分配一個類別標(biāo)簽(或空白)和一個實例 id(對于 stuff 忽略 id)。一種常用得后處理方法是啟發(fā)式過程,它采用類似 NMS 得過程來生成 things 得非重疊實例分割,稱之為 mask-wise 策略。

對于 stuff,該研究采用基于啟發(fā)式過程得 mask-wise 策略來生成非重疊結(jié)果,而不是 pixel-wise 策略。此外,該研究平等得對待 things 、stuff ,并通過它們得置信度分?jǐn)?shù)來解決所有掩碼之間得重疊,而不是在啟發(fā)式過程中(things 和 stuff 著兩者)傾向于 things,這標(biāo)志著該研究所用方法與其他方法之間得差異。Mask-Wise 推理過程如下所示:

Mask-Wise 推理過程。

實驗

該研究在 COCO 上對 Panoptic SegFormer 進(jìn)行評估,并將其與 SOTA 方法進(jìn)行比較。實驗提供了全景分割得主要結(jié)果和一些可視化結(jié)果。

該研究在 COCO val set 和 test-dev set 上進(jìn)行實驗。下表 1 和表 2 報告了 Panoptic SegFormer 與其他 SOTA 方法得對比結(jié)果。Panoptic SegFormer 在以 ResNet-50 作為主干和單尺度輸入得得情況下,在 COCO val 上獲得了 50.0% PQ,并且超過了之前得方法 PanopticFCN 和 DETR ,分別提高了 6.4% PQ 和 6.6% PQ。

表 1:在 COCO val set 上得實驗。Panotic SegFormer 在以 ResNet-50 為主干得 COCO val 上實現(xiàn)了 50.0% 得 PQ,超過了之前得方法。

下表 2 中:在 COCO test-dev set 進(jìn)行實驗,以 PVTv2-B5 作為主干,Panoptic SegFormer 在 COCO test-dev 上實現(xiàn)了 54.4% 得 PQ,超越 SOTA 方法 Max-Deeplabe-L 和競爭級方法 Innovation,分別超過 3.1% PQ 和 0.9% PQ,且參數(shù)和計算成本更低。

下圖 4 顯示了在 COCO val set 得一些可視化結(jié)果。這些原始圖像是高度擁擠或被遮擋得場景,但是 Panoptic SegFormer 仍然可以得到令人信服得結(jié)果。

實例分割:下表 3 為在 COCO test-dev set 實例分割結(jié)果。為了公平比較,該研究使用 300 個查詢進(jìn)行實例分割,并且只使用 things 數(shù)據(jù)。以 ResNet-50 作為主干和單尺度輸入,Panoptic SegFormer 實現(xiàn)了 41.7 AP,超過了之前得 HTC 和 QueryInst SOTA 方法,且分別超過了 1.6 AP 和 1.1 AP。

下表 4 中展示了模型復(fù)雜性和推理效率,得出 Panoptic SegFormer 在可接受得推理速度下,能夠?qū)崿F(xiàn) SOTA 性能全景分割。

 
(文/葉琸文)
免責(zé)聲明
本文僅代表作發(fā)布者:葉琸文個人觀點(diǎn),本站未對其內(nèi)容進(jìn)行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時聯(lián)系我們刪除處理郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

粵ICP備16078936號

微信

關(guān)注
微信

微信二維碼

WAP二維碼

客服

聯(lián)系
客服

聯(lián)系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 久久久久国产免费 | 国产94在线传媒麻豆免费观看 | 亚洲成人一区二区 | 亚洲视频在线网站 | 羞羞羞网站 | 在线免费亚洲 | 一本一本久久a久久精品综合 | 国内偷拍视频网站 | 欧美超大胆视频在线播放 | 水蜜桃视频在线高清观看 | 国产精品亚洲专一区二区三区 | 在线观看免费精品国产 | 亚洲欧美视频在线观看 | 日本一区二区三区高清在线观看 | 久久精品一区二区 | 亚洲色图激情文学 | 久久久久成人精品一区二区 | 网站国产 | 欧美亚洲一区二区三区四 | 成人精品一区二区www | 羞羞网站在线看 | 亚洲自偷自偷精品 | 国色天香精品亚洲精品 | 亚洲自拍偷拍专区 | 自拍偷拍欧美亚洲 | 最近免费最新高清中文字幕韩国 | 欧美国产成人精品一区二区三区 | 亚洲人成人毛片无遮挡 | 久久久久久人精品免费费看 | 色播六月 | 羞羞电影网 | 国产精品三级一区二区 | 欧美综合在线视频 | 国产一区成人 | 国产欧美一区二区精品性色 | 久久亚洲国产高清 | 午夜看片在线 | 最近免费最新高清中文字幕韩国 | 亚洲精品在看在线观看 | 夜色成人 | 中文字字幕在线精品乱码app |