基于矩陣分解 快速簡(jiǎn)潔,但屬性信息與結(jié)構(gòu)信息的融合比較困難。 1. Skip-Gram with Negative Sampling (SGNS) 損失函數(shù) 將中心詞與上下文...
基于矩陣分解 快速簡(jiǎn)潔,但屬性信息與結(jié)構(gòu)信息的融合比較困難。 1. Skip-Gram with Negative Sampling (SGNS) 損失函數(shù) 將中心詞與上下文...
1. GCN 1.1 Laplace算子 Laplace算子特征函數(shù) -> Fourier變換 -> 卷積 Laplace矩陣L的特征向量 -> Fourier變換 -> 卷...
定義 優(yōu)化問(wèn)題:的解滿足如下條件該條件即KKT條件。 解釋 無(wú)約束條件時(shí),局部極值點(diǎn)在梯度為0時(shí)取得。例如,當(dāng)為局部極大值點(diǎn),則在任一方向移動(dòng)(一個(gè)任意小距離)時(shí)函數(shù)值應(yīng)不增...
在某一固定時(shí)段內(nèi),事件發(fā)生次,即事件的期望值已知。將該時(shí)段無(wú)限細(xì)分,每一個(gè)內(nèi)都看做一個(gè)0-1事件,則在時(shí)段內(nèi),其發(fā)生k次的概率為 比如,一個(gè)醫(yī)院一天出生8個(gè)嬰兒,那一天出生k...
1. 函數(shù)內(nèi)積 將函數(shù)在其定義域中,按切分后,看做無(wú)限維的向量(希爾伯特空間)。則其模平方為參照有限維度向量?jī)?nèi)積的定義,函數(shù)內(nèi)積定義為 內(nèi)積定義的推導(dǎo) 通過(guò)向量到向量的投影垂...
基礎(chǔ)準(zhǔn)備 1.定比分點(diǎn)公式 點(diǎn)為上一點(diǎn),則設(shè),則 證明: 2.凸函數(shù)性質(zhì) 設(shè),為凸函數(shù),則 3.markov不等式 證明: Hoeffding 不等式 取隨機(jī)變量,令。若滿足...
一、DF轉(zhuǎn)換器 Transformer:SparkML中有很多直接對(duì)DF進(jìn)行變換的類,如TF-IDF,PCA等,它們統(tǒng)稱Transformer;子類主要需要實(shí)現(xiàn)_transf...
1.定義 假設(shè)只有三種編輯方式:插入,刪除,替換。每種編輯方式對(duì)應(yīng)一次操作。按規(guī)定的編輯方式,將原始字符串變換到目標(biāo)字符串所需的最少操作次數(shù),被稱為最小編輯距離。Levens...
ERM 真實(shí)損失定義為總體分布,為真實(shí)標(biāo)簽函數(shù),為標(biāo)簽函數(shù),也叫模型或分類器。為在總體分布和真實(shí)標(biāo)簽函數(shù)分別為D和f時(shí)h所對(duì)應(yīng)的誤差,也叫做真實(shí)損失。其公式為 經(jīng)驗(yàn)損失抽取個(gè)...
一、矩陣求導(dǎo) 矩陣求導(dǎo)就是對(duì)內(nèi)部每一項(xiàng)求導(dǎo) , 矩陣的跡有如下性質(zhì): 因而可推出如下性質(zhì):設(shè) ,相當(dāng)于分別對(duì)和取偏導(dǎo)后相加 ,分子為標(biāo)量可看做矩陣的跡 二、最小二乘法 已知為...
一、信息熵(information entropy) 不確定性設(shè)是不確定性的度量,則需滿足a. 是概率的減函數(shù),且非負(fù)b. 獨(dú)立事件間具有可加性:可知,滿足以上條件,可作為不...
1. ogrid 調(diào)取方式如下 np.ogrid可以有多個(gè)切片索引,結(jié)果也對(duì)應(yīng)多個(gè)。結(jié)果產(chǎn)生邏輯為 統(tǒng)一維度總數(shù),如上X與Y均變?yōu)?維; 令第n個(gè)結(jié)果的值按照第n個(gè)切片索引可...
中心極限定理 設(shè)獨(dú)立同分布,期望為,標(biāo)準(zhǔn)差為,隨機(jī)變量的分布函數(shù)為即,服從正態(tài)分布,其概率密度函數(shù)為 證明:不妨設(shè)的概率密度為,令,這里可求出的概率密度,暫設(shè)為則,由下面第一...
一、均勻隨機(jī)數(shù)生成算法 平方取中法將2s位十進(jìn)制數(shù)字平方后取中間的2s位數(shù)字:但其長(zhǎng)度較短且均勻性較差,針對(duì)性的改進(jìn)方法是乘積取中法:但是隨機(jī)數(shù)長(zhǎng)度仍然不夠,且對(duì)初值依賴比較...
一、Wallis公式 通常根據(jù)的積分遞推性及其關(guān)于n的單調(diào)性應(yīng)用極限夾逼準(zhǔn)則推導(dǎo)出。 令從而有,即由得根據(jù)的單調(diào)性可知整理為由極限夾逼準(zhǔn)則可得出 二、的單調(diào)性 對(duì)于,當(dāng)時(shí),為...
數(shù)據(jù)分析中,我們常常會(huì)統(tǒng)計(jì)數(shù)據(jù)的平均增長(zhǎng)率或平均下降率。事實(shí)上,我們可以通過(guò)指數(shù)擬合來(lái)得到上升比率或下降比率。 如圖,針對(duì)不斷下降的月度數(shù)據(jù),我們制作一個(gè)指數(shù)擬合曲線: 圖中...
記: 梯度下降算法 系數(shù)更新公式為:不妨設(shè),且損失函數(shù)為:則梯度為:對(duì)于BGD,n為全體數(shù)據(jù)量;對(duì)于SGD,n為1;對(duì)于MGD,n為批量大小m。 牛頓二階梯度優(yōu)化法的推導(dǎo) 在...