IP屬地：北京
-
Scala中的枚舉Enumeration
總覽 本文將會(huì)對(duì)scala中的枚舉類型實(shí)現(xiàn)進(jìn)行深入的探討，并且和其他語言中的枚舉做簡(jiǎn)單的比較。 什么是枚舉 現(xiàn)實(shí)中的事物往往只有 有限 個(gè)個(gè)體組...
-
準(zhǔn)備斷更了
準(zhǔn)備斷更了，感覺好累。雖然賬號(hào)注冊(cè)的早，但是參加日更還是最近的事。已經(jīng)到了每天晚上10點(diǎn)多還在想今天要寫些什么，實(shí)在沒有什么可寫的，就把之前記錄...
-
hdfs 文件統(tǒng)計(jì)
hdfs、hive用一段時(shí)間之后，我們會(huì)想要知道文件系統(tǒng)里的文件哪些是經(jīng)常被使用的，哪些是長(zhǎng)時(shí)間沒有被使用。 如果是用mapreduce或者sp...
-
elasticsearch優(yōu)化思路筆記
來自網(wǎng)上內(nèi)容的總結(jié) 寫入部分 批量寫入優(yōu)于每次寫入1條數(shù)據(jù)。 每批次寫入時(shí)設(shè)置routing為一個(gè)隨機(jī)值，那么這批次數(shù)據(jù)會(huì)寫入一個(gè)shard。減...
-
電動(dòng)車一定更環(huán)保嗎？
今天中午午飯后，跟一個(gè)同事閑聊。說到了車的事情，他是一臺(tái)蔚來（之前是指南者）。他對(duì)電動(dòng)車就非常推崇，原因是沒有污染。在他的意識(shí)里，之前開燃油車的...
-
YARN知識(shí)點(diǎn)總結(jié)如果把大數(shù)據(jù)Hadoop集群當(dāng)作一臺(tái)計(jì)算機(jī), 那么 HDFS = 磁盤 YARN = 任務(wù)調(diào)度器+資源管理器 所有任務(wù)都是運(yùn)行在Yarn上 Ya...
-
hive批量檢查 partition是否存在，刪除不存在的 partition
hive表的數(shù)據(jù)有時(shí)會(huì)發(fā)生partition還在，但是數(shù)據(jù)已經(jīng)被刪除了的情況。為了找出這些partition，并刪除數(shù)據(jù)已經(jīng)不存在的partit...
-
剛到新公司，就被同事請(qǐng)吃飯
今天去公司加班了，中午吃飯的時(shí)候，我們幾個(gè)同事一塊兒去吃。找了兩個(gè)飯店，人都特別多沒有位置。因?yàn)槲覀兤邆€(gè)人一起去的，都沒有這么大的餐桌。后來，最...
-
hdfs多用戶讀寫權(quán)限設(shè)置多個(gè)用戶都能對(duì)文件有操作(讀寫)權(quán)限. 1》在hdfs中設(shè)置umask為002, 則新目錄的權(quán)限為775, 新文件的權(quán)限為664, 只要都是su...
個(gè)人介紹