1.引言 為什么要并行 近幾年，依賴大規(guī)模標(biāo)注數(shù)據(jù)和大量的可學(xué)習(xí)參數(shù)，深度神經(jīng)網(wǎng)絡(luò)才能異軍突起，占得機(jī)器學(xué)習(xí)半壁江山。然而，也是因?yàn)檫@兩點(diǎn)使得深度學(xué)習(xí)的訓(xùn)練變得極其困難，尤其...
發(fā)簡信
IP屬地：上海
-
GPU卡的底層通信原理 -
閱讀筆記- Spatial DETR: Robust Scalable Transformer-Based 3D Object Detection from Multi-view Camera ...來源：https://markus-enzweiler.de/downloads/publications/ECCV2022-spatial_detr.pdf[https:/...
-
閱讀筆記-Transformer Quality in Linear Time這篇文章的目的是為了解決transformer 處理長序列任務(wù)遇到的計(jì)算復(fù)雜度較高的問題。為了解決這個問題，許多工作聚焦于探索更有效的注意力機(jī)制，比如linear atten...
-
閱讀筆記 - The Devil in Linear Transformer來源：https://www.researchgate.net/publication/364419868_The_Devil_in_Linear_Transformer[h...
-
代碼閱讀-deformable DETR （五）
這一篇我們來看一下?lián)p失函數(shù)的定義。 該類定義前的注釋指出DETR的損失包含兩步： 計(jì)算模型輸出和gt之間的二分圖匹配； 對于匹配成功的數(shù)據(jù)對監(jiān)督其類別和box 在初始化函數(shù)的...
-
SwinTransformer 代碼復(fù)現(xiàn) - 模型搭建
參考swin transformer源碼，我們修改了： 添加了DropPath策略 每一個stage的輸出添加了norm層 每一個PatchMerge層添加了norm層 源碼...
-
閱讀筆記-Swin Transformer: Hierarchical Vision Transformer using Shifted Windows來源： arXiv.21030v1代碼：https:// github.com/microsoft/Swin-Transformer[http://github.com/mi...
-
閱讀筆記-TNT-Transformer in Transformer來源：CVPR2021單位：諾亞方舟、軟件所 我個人真的挺討厭各種夸大宣傳的，有些工作確實(shí)有貢獻(xiàn)，但現(xiàn)在的趨勢怎么就成了包裝和宣傳競賽呢。。。 這篇文章宣傳稱致敬Networ...
-
閱讀筆記-Looking beyond two frames: end-to-end multi-object tracking using spatial and temporal trans...來源： arXiv:2103.14829v1 這篇文章的目標(biāo)是利用transformer實(shí)現(xiàn)真正的端到端多目標(biāo)跟蹤器的訓(xùn)練，這里的端到端是指給定一段圖像序列，網(wǎng)絡(luò)能夠自動的處...
