背景 筆者的大數(shù)據(jù)監(jiān)控系統(tǒng)中有一項(xiàng)hdfs路徑下異常格式文件檢測的功能。簡單的說就是每天需要定期的采集hdfs下的路徑。 在某天添加了hive staging路徑后，發(fā)現(xiàn)程序...
IP屬地：廣東
-
記springboot程序OOM排查和解決過程 -
PMQ源碼閱讀(3)---線程批次概念
背景 線程批次概念主要作用于消息消費(fèi)的過程，在PMQ項(xiàng)目是比較好的設(shè)計(jì)功能點(diǎn)之一，可以借鑒學(xué)習(xí)在日后工作中。 概念 在PMQ中，消息消費(fèi)默認(rèn)是采用多線程進(jìn)行消費(fèi)，所以偏移量的...
-
PMQ源碼閱讀(2)---消息產(chǎn)生和消費(fèi)過程背景 本章主要記錄PMQ中關(guān)于消息從生產(chǎn)者端提交到消費(fèi)者消費(fèi)消息的過程 從中我們可以看到實(shí)現(xiàn)一個消息系統(tǒng)需要的發(fā)送、存儲、消費(fèi)和重試環(huán)節(jié) 一些有用的編碼風(fēng)格和技巧也值得學(xué)習(xí) ...
-
數(shù)據(jù)算法 Hadoop/Spark大數(shù)據(jù)處理---第二章
在上一章中，我們實(shí)現(xiàn)的雖然是二次排序，但是排序的value是String或Integer，但是假如換一下，把value換成元組，也即是本章所給的例子：LIMM，2013-12...
-
數(shù)據(jù)算法 Hadoop/Spark大數(shù)據(jù)處理---第三章
本章欲解決的問題為求TOP(N)，共用到的方法有: 假設(shè)輸入鍵都是唯一的，也即給定的輸入集合{(K,V)},所有的K都是唯一的，用Mapreduce/Hadoop方法 假設(shè)輸...
-
hihoCoder#1032 : 最長回文子串
方法一：暴力法 枚舉所有子串進(jìn)行判斷，復(fù)雜度O(n^3)，實(shí)現(xiàn)略過（這么寫，面試應(yīng)該會掛） 方法二：動態(tài)規(guī)劃（TLE） P[i,j] =P[i+1,j-1], if(s[i]...
-
【轉(zhuǎn)】計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)知識總結(jié)作者：Poll的筆記博客出處：http://www.cnblogs.com/maybe2030/本文版權(quán)歸作者和博客園所有，歡迎轉(zhuǎn)載，轉(zhuǎn)載請標(biāo)明出處。 閱讀目錄1. 網(wǎng)絡(luò)層次...
