確實應(yīng)該是『編碼網(wǎng)絡(luò)』，感謝指正
詳解深度學(xué)習(xí)中“注意力機制”1. 前言 本文翻譯自《Attention?Attention!》博客 最近幾年，注意力——在深度學(xué)習(xí)社區(qū)中，已然成為最廣為流行的概念和實用工具。在這篇博客里，我們將一起回顧...
發(fā)簡信
IP屬地：西藏
-
-
"早期的研究僅使用解碼網(wǎng)絡(luò)的最后一個狀態(tài)"應(yīng)該是“編碼網(wǎng)絡(luò)”
-
詳解梯度下降優(yōu)化算法
1. 文章 An overview of gradient descent optimization algorithms 2. 概要 梯度優(yōu)化算法，作為各大開源庫（如Ten...
-
【可視化】網(wǎng)絡(luò)Attention層1. 前言 準(zhǔn)備中期答辯，補充了一個實驗，需要對網(wǎng)絡(luò)結(jié)構(gòu)中的attention層進行可視化，觀察序列輸入的哪些詞或者詞組合是網(wǎng)絡(luò)比較care的。在小論文中主要研究了關(guān)于詞性...
-
詳解深度學(xué)習(xí)中“注意力機制”1. 前言 本文翻譯自《Attention?Attention!》博客 最近幾年，注意力——在深度學(xué)習(xí)社區(qū)中，已然成為最廣為流行的概念和實用工具。在這篇博客里，我們將一起回顧...
-
Java核心技術(shù)--對象與類
4.5 方法參數(shù) 方法參數(shù)的使用 一個方法不能修改一個基本數(shù)據(jù)類型的參數(shù)（即數(shù)值型和布爾型） 一個方法可以改變一個對象參數(shù)的狀態(tài) 一個方法不能讓對象參數(shù)引用一個新的對象（舉個...
-
Java核心技術(shù)--接口與內(nèi)部類
6.1 接口implement 繼承接口，即履行“義務(wù)” 接口中所有的方法自動屬于public，在接口聲明中，不必提供關(guān)鍵字public 接口中決不能含有實例域，也不能在接口...
-
機器學(xué)習(xí)面試006—樸素貝葉斯
1. 怎么理解樸素貝葉斯中的“樸素”？ 因為它假定所有的特征在數(shù)據(jù)集中的作用是獨立同分布的，但這個假設(shè)在現(xiàn)實生活中很不真實，因此很“樸素”。 2. 網(wǎng)頁搜索中的拼寫檢查可以基...
-
算法面試小結(jié)
1. 求一個數(shù)轉(zhuǎn)化為二進制后，包含1的數(shù)量 2. 求平均值 解析：x&y是取相同位與，結(jié)果是x和y相同位的和的一半；x^y是取x和y的不同位，右移相當(dāng)于除以2，所以這個函數(shù)的...
-
機器學(xué)習(xí)面試001—支持向量機SVM
1. 關(guān)于min和max交換位置滿足的 d* <= p* 的條件并不是KKT條件 Ans：這里并非是KKT條件，要讓等號成立需要滿足strong duality(強對偶)，之...
-
機器學(xué)習(xí)面試005—決策樹
1. 請問（決策樹、隨機森林，Boosting、Adaboot）GBDT和XGBoost的區(qū)別是什么？ Ans：①首先，隨機森林是一個包含多個決策樹的分類器；AdaBoost...
-
機器學(xué)習(xí)面試004—正則化
1. L1范數(shù)和L2范數(shù)的區(qū)別是什么？ Ans：①L1范數(shù)——指向量中各個元素的絕對值之和，又叫“稀疏規(guī)則算子”(Lasso regularization)。它可以實現(xiàn)特征的...
-
機器學(xué)習(xí)面試003—邏輯斯蒂回歸
1. LR為什么可以用來做CTR預(yù)估？ Ans：若把點擊的樣本作為正例，未點擊的樣本作為負(fù)例，則樣本的CTR就是樣本為正例的概率，LR可以輸出樣本為正例的概率，故可以解決此類...
-
數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)
循環(huán)列表 約瑟夫環(huán)問題 核心步驟： 建立一個具有n個鏈節(jié)點、無頭節(jié)點的循環(huán)鏈表 確定第一個報數(shù)人的位置 不斷地從鏈表中刪除鏈節(jié)點，直到鏈表為空 隊列 編程實現(xiàn)隊列的入隊、出隊...
-
機器學(xué)習(xí)面試002—kNN
1. 如何理解kNN中的k的取值？ Ans ：①選取較小的k值時，相當(dāng)于用較小的領(lǐng)域中的訓(xùn)練實例進行預(yù)測，“學(xué)習(xí)”近似誤差會減小，只有與輸入實例很相近的樣本才會對預(yù)測結(jié)果起作...
-
BP神經(jīng)網(wǎng)絡(luò)下MNIST字體識別1. BP神經(jīng)網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò) 又稱多層感知機，主要包括前饋和反向傳播算法，對不同的任務(wù)，構(gòu)建包含不同單元數(shù)的隱含層，融合合適的激活函數(shù)（Sigmoid、softmax、tan...
-
NoClassDefFoundError排坑經(jīng)歷
1. 前言 實習(xí)做NLP任務(wù)時，在離線train獲得模型bin文件后，在部署到線上之前經(jīng)常需要測試一下QPS等指標(biāo)，用Java寫了測試流程，用Maven打成jar包之后，上傳...
-
JFastText 挖坑指南
1. 前言 之前在做文本分類任務(wù)，使用了Facebook開源的Fasttext工具，用其在Unix下編譯后得到的fasttext命令訓(xùn)練生成*.bin文件。由于線上需要封裝成...