可計(jì)算的估計(jì)量

? 滿足Le Cam卷積定理前提的概率分布族稱為正規(guī)參數(shù)族(Regular parametric family),囊括了大多數(shù)參數(shù)統(tǒng)計(jì)學(xué)常用的分布。然而,一元正規(guī)參數(shù)族f(x;\theta )\theta 是在開區(qū)間上定義的連續(xù)參數(shù),其取值有不可數(shù)無窮多個(gè)。計(jì)算機(jī)可執(zhí)行的算法均由有限多基本步驟組成,故算法個(gè)數(shù)至多為可數(shù)無窮。簡單的推論即得絕大多數(shù)\theta 值都不存在可行算法。

? 但我們要估計(jì)參數(shù)值時(shí),恰恰又要依賴可執(zhí)行在觀測樣本x上的算法(例:矩估計(jì)。這里默認(rèn)樣本自身的取值數(shù)有限),因此得出的只能是總數(shù)占滄海一粟的可計(jì)算值。用極特例的估計(jì)值去逼近一般情況下的不可計(jì)算值,能做到多好的精確度呢?這就是Vladimir Vovk在這篇論文中解決的問題:

? 原作者證明:令\left\{ T_{n} \right\} 為正規(guī)參數(shù)族f(x;\theta )\theta 值的一致可計(jì)算估計(jì)量,下標(biāo)n表示測得i.i.d樣本數(shù),則當(dāng)\theta 值不可計(jì)算時(shí)恒有:

? ? ? ? ? ? ? ? ? ??P(|T_{n}-\theta  |>c /\sqrt{ F(\theta ,n)}  )\geq \Phi (-c)

? 對所有充分大的n成立。式中\Phi ()為標(biāo)準(zhǔn)正態(tài)分布累積函數(shù),F(\theta ,n)n個(gè)樣本的總Fisher信息。c為可選的正數(shù)。

? 我們?nèi)=3,查正態(tài)累積值表知\Phi (-3)約為0.0015,故估計(jì)量對真值的偏離不超出3/\sqrt{F(\theta ,n)} 范圍的概率至多到0.9985。換言之,在置信水平不低于99.85%的要求下,只能精確到\pm 3/\sqrt{F(\theta ,n)} 的區(qū)間。其他置信度的情形可自行代換c值類推,不論如何,精確程度決定于總Fisher信息的高低,F(xiàn)isher信息量越小,估計(jì)范圍就越大越失準(zhǔn)。這性質(zhì)同Cramer Rao不等式相仿,但這里對有偏的估計(jì)量同樣適用。

? 此式的趣味之一在于:它只針對不可計(jì)算的參數(shù)值。若\theta _{0} 可計(jì)算,則有很自然的反例:令\forall n, T_{n} =\theta _{0} (與樣本無關(guān)的常數(shù)),既然\theta _{0} 可計(jì)算,這也算是個(gè)可計(jì)算估計(jì)量(“一只停了的鐘每天也準(zhǔn)兩次”)。顯然它在\theta =\theta _{0} 處不遵守上述規(guī)律——它偏離真值的概率始終是0,與樣本量n無關(guān)。但正如前文所敘,可計(jì)算的參數(shù)值是鳳毛麟角,此種形同套用已知值作弊的做法被不可計(jì)算性阻擋了。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容