發(fā)簡信
IP屬地：上海
在YARN源碼解析(5)-MapReduce中，在數(shù)據(jù)本地節(jié)點分配Task是如何做到的？中，我們介紹了MapReduce如何在block所在的H...
這本書中，主要介紹了黑天鵝事件的產(chǎn)生，以及它的原理． 其實黑天鵝事件，并不是每件會改變歷史進程的大事，才叫黑天鵝事件．而是，每件我們個人沒有預測...
今日在家無聊，翻了一遍《如何閱讀一本書》． 這本書早就購來了，但是一直沒有動過．最近從某個博客上看到了此書中的只言片語，感覺實在是醍醐灌頂，于是...
前幾天，在看Hadoop User Email List的時候，發(fā)現(xiàn)了一個關于HDFS Centrailzed Cache的問題。剛好我又不熟悉...
在我們編寫Scala代碼的時候，由于ListBuffer方便的特性，所以經(jīng)常會使用ListBuffer。過去也一直沒有什么問題。 但是呢，最近在...
在這篇文章中，我們來探究一下Scala HashMap.put(k, v)以及Java HashMap.put(k, v)的性能。 具體代碼沒看...
在上一篇文章Spark內(nèi)存模型初探(1)-Storage/Execution Memory的使用中，我們初步解析了一下Storage/Execu...
過去，我翻譯了幾篇關于Spark內(nèi)存模型的文章。翻譯完以后，我覺得我對Spark內(nèi)存模型已經(jīng)夠理解了，可是，紙上得來終覺淺，實際跑Spark任務...
筆者最近在測試Spark的內(nèi)存模型，測到ExecutionMemory的使用時，老是沒發(fā)現(xiàn)分配任何ExecutionMemory。懷疑由于是在同...