第一個，求的是p(wt=i|wt-1,..wt-n+1),即用前n個詞來計算當前詞的概率，其中解碼空間是整個詞表，也就是對于第t個詞，我們用前n個詞計算他是詞表中第i個詞的概率；
第二個問題，對所有語料下進行計算概率后求和，其概率為1
神經(jīng)網(wǎng)絡(luò)語言模型（NNLM）首先看一個例子： ztc/ 上下/ 齊/ 拼搏/ ，誓為/ 春戰(zhàn)/ 做/ 貢獻 這句話呢通順，意思明白，那如果換一下詞的位置： 上下/ 齊/ 拼搏/ ztc/ ，春站/ 做/...
更好的閱讀體驗，請?zhí)D(zhuǎn)至如何提升bert在下游任務(wù)中的性能[https://xv44586.github.io/2020/11/24/fine-tune/] 隨著Transf...
更好的閱讀體驗請?zhí)D(zhuǎn)至AdaBelief-更穩(wěn)定的優(yōu)化器[https://xv44586.github.io/2020/10/25/adabelief/] 對Adam 進行改...
更好的閱讀體驗請?zhí)D(zhuǎn)至模型增強(1)利用NLG 增強QA 任務(wù)性能[https://xv44586.github.io/2020/08/22/qa-augmentation/...
更好的閱讀體驗請?zhí)D(zhuǎn)至模型增強(2) 從label下手[https://xv44586.github.io/2020/09/13/classification-label-a...
更好的閱讀體驗請?zhí)D(zhuǎn)至樣本不均衡之難易不均衡[https://xv44586.github.io/2020/10/14/focal-loss/] 上篇看樣本下菜的FastBE...
更好的閱讀體驗請?zhí)D(zhuǎn)至PET-文本分類的又一種妙解[https://xv44586.github.io/2020/10/25/pet/] 之前的一篇《模型增強-從label下...
更好的閱讀體驗請?zhí)D(zhuǎn)至Knowledge Distillation (3) 看樣本下菜的FastBERT[https://xv44586.github.io/2020/09...
更好的閱讀體驗請?zhí)D(zhuǎn)至Knowledge Distillation (2) 知識遷移[https://xv44586.github.io/2020/08/31/bert-01...
更好的閱讀體驗請?zhí)D(zhuǎn)至Knowledge Distillation (1) 模塊替換之bert-of-theseus-上篇[https://xv44586.github.io...
更好的閱讀體驗請?zhí)D(zhuǎn)至Knowledge Distillation (1) 模塊替換之bert-of-theseus-下篇[https://xv44586.github.i...
最近有同學(xué)問nlp中如何做data augmentation，這篇總結(jié)下目前知道的方法。 數(shù)據(jù)增強 數(shù)據(jù)增強技術(shù)已經(jīng)是圖像領(lǐng)域的標配了，如旋轉(zhuǎn)、鏡像、翻轉(zhuǎn)等。由于圖像本身的特...
前言 bert中使用的優(yōu)化器整體是一個帶有線性調(diào)整學(xué)習(xí)率的帶有 權(quán)重衰減 而不進行bias correct的Adam優(yōu)化器。下面一步一步介紹。 優(yōu)化器 首先，在上一篇 《深度...
本文嘗試通過一個框架來梳理深度學(xué)習(xí)中的常用優(yōu)化算法，即從SGD到NAdam。 整體框架 我們設(shè)待學(xué)習(xí)參數(shù)為 w , 目標函數(shù)為 f(w)， 初始學(xué)習(xí)率為α。第t時刻的梯度為g...
yolov4出來后，簡單做下測試，看到結(jié)果還是相當給力的。 注意看中間有個被遮擋的馬，在yolov3中是檢測不到的，yolov4中檢測出來了，精度確實提升了。 那再來測試一下...
深度神經(jīng)網(wǎng)絡(luò)由于其巨大的參數(shù)量，可以很方便的擬合非常復(fù)雜的非線性關(guān)系，同時，巨大的參數(shù)量也給模型帶來了過擬合的問題。為了解決這個問題，也有人提出了早停和加入正則項等手段。而在...
你這電影看了個啥？基本劇情都沒看明白還在這評價呢？不管申公豹還是敖丙還是哪吒，三人都是在對抗成見，這么直白的主題都看不明白你就別瞎評論了行嗎
為什么被你們吹爆了的《哪吒》，我只看到了滿屏的尷尬？昨天我看了個動畫片。片子講的是一個村里有個小孩子自出生起體內(nèi)就封印了一股強大的妖力，于是村民們把他當做妖怪，畏懼他，疏遠他，避之唯恐不及。他表面上滿不在乎，在村子里為非作歹，...
