于Hadoop需要運(yùn)行在Linux環(huán)境中，而且是分布式的，因此個(gè)人學(xué)習(xí)只能裝虛擬機(jī)，本文都以VMware Workstation為準(zhǔn)，安裝CentOS7，具體的安裝此處不作過(guò)...
發(fā)簡(jiǎn)信
IP屬地：天津
-
零基礎(chǔ)搭建Hadoop大數(shù)據(jù)處理環(huán)境
-
16個(gè)非常實(shí)用的大數(shù)據(jù)工具Apache Hadoop是目前最成熟的大數(shù)據(jù)分析工具，但是市場(chǎng)上也不乏其他優(yōu)秀的大數(shù)據(jù)工具。目前市場(chǎng)上有數(shù)千種工具能夠幫你節(jié)約時(shí)間和成本，帶你從全新的角度洞察你所在的行業(yè)。...
-
基于Kafka與Spark的實(shí)時(shí)大數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)
微軟的ASG (應(yīng)用與服務(wù)集團(tuán))包含Bing,、Office,、Skype。每天產(chǎn)生多達(dá)5 PB以上數(shù)據(jù)，如何構(gòu)建一個(gè)高擴(kuò)展性的data audit服務(wù)來(lái)保證這樣量級(jí)的數(shù)據(jù)完...
-
Apache Spark常見(jiàn)的三大誤解
最近幾年關(guān)于Apache Spark框架的聲音是越來(lái)越多，而且慢慢地成為大數(shù)據(jù)領(lǐng)域的主流系統(tǒng)。最近幾年Apache Spark和Apache Hadoop的Google趨勢(shì)可...
-
HBase原理——要弄懂的sequenceIdHBase數(shù)據(jù)在寫(xiě)入的時(shí)候首先追加寫(xiě)入HLog，再寫(xiě)入Memstore，也就是說(shuō)一份數(shù)據(jù)會(huì)以?xún)煞N不同的形式存在于兩個(gè)地方。 為什么需要sequenceId? HBase數(shù)據(jù)在...
-
10道Hadoop面試真題及解題思路
搜索引擎會(huì)通過(guò)日志文件把用戶(hù)每次檢索使用的所有檢索串都記錄下來(lái)，每個(gè)查詢(xún)串的長(zhǎng)度為1-255字節(jié)。 (一)海量日志數(shù)據(jù)，提取出某日訪(fǎng)問(wèn)百度次數(shù)最多的那個(gè)IP。 首先是這一天，...
-
如何使用HBase？大數(shù)據(jù)存儲(chǔ)的兩個(gè)實(shí)戰(zhàn)場(chǎng)景
現(xiàn)如今各種數(shù)據(jù)存儲(chǔ)方案層出不窮，本文僅僅是結(jié)合兩個(gè)實(shí)戰(zhàn)場(chǎng)景就基于HBase的大數(shù)據(jù)存儲(chǔ)做了簡(jiǎn)單的分析，并對(duì)HBase的原理做了簡(jiǎn)單的闡述。如何使用好HBase，甚至于如何選擇...
-
批處理ETL已死，Kafka才是數(shù)據(jù)處理的未來(lái)？在 QCon 舊金山會(huì)議上，Neha Narkhede 做了“ETL 已死，而實(shí)時(shí)流長(zhǎng)存”的演講，并討論了企業(yè)級(jí)數(shù)據(jù)處理領(lǐng)域所面臨的挑戰(zhàn)。該演講的核心前提是開(kāi)源的 Apach...
-
如何避免HBase寫(xiě)入過(guò)快引起的各種問(wèn)題
首先我們簡(jiǎn)單回顧下整個(gè)寫(xiě)入流程 client api ==> RPC ==> server IPC ==> RPC queue ==> RPC handler ==> wri...
-
一只node爬蟲(chóng)的升級(jí)打怪之路我一直覺(jué)得，爬蟲(chóng)是許多web開(kāi)發(fā)人員難以回避的點(diǎn)。我們也應(yīng)該或多或少的去接觸這方面，因?yàn)榭梢詮呐老x(chóng)中學(xué)習(xí)到web開(kāi)發(fā)中應(yīng)當(dāng)掌握的一些基本知識(shí)。而且，它還很有趣。 作者：Nic...
-
Apache Kafka在大型應(yīng)用中的20項(xiàng)最佳實(shí)踐Apache Kafka是一款流行的分布式數(shù)據(jù)流平臺(tái)，它已經(jīng)廣泛地被諸如New Relic(數(shù)據(jù)智能平臺(tái))、Uber、Square(移動(dòng)支付公司)等大型公司用來(lái)構(gòu)建可擴(kuò)展的、...
-
如何使用HBase？大數(shù)據(jù)存儲(chǔ)的個(gè)實(shí)戰(zhàn)場(chǎng)景現(xiàn)如今各種數(shù)據(jù)存儲(chǔ)方案層出不窮，本文僅僅是結(jié)合兩個(gè)實(shí)戰(zhàn)場(chǎng)景就基于HBase的大數(shù)據(jù)存儲(chǔ)做了簡(jiǎn)單的分析，并對(duì)HBase的原理做了簡(jiǎn)單的闡述。如何使用好HBase，甚至于如何選擇...
-
數(shù)據(jù)挖掘領(lǐng)域十大經(jīng)典算法之—樸素貝葉斯算法（附代碼）
Na?veBayes算法，又叫樸素貝葉斯算法，樸素：特征條件獨(dú)立;貝葉斯：基于貝葉斯定理。屬于監(jiān)督學(xué)習(xí)的生成模型，實(shí)現(xiàn)簡(jiǎn)單，沒(méi)有迭代，并有堅(jiān)實(shí)的數(shù)學(xué)理論(即貝葉斯定理)作為支...
-
數(shù)據(jù)挖掘領(lǐng)域十大經(jīng)典算法之—K-鄰近算法/kNN（附代碼）
又叫K-鄰近算法，是監(jiān)督學(xué)習(xí)中的一種分類(lèi)算法。目的是根據(jù)已知類(lèi)別的樣本點(diǎn)集求出待分類(lèi)的數(shù)據(jù)點(diǎn)類(lèi)別。 簡(jiǎn)介 又叫K-鄰近算法，是監(jiān)督學(xué)習(xí)中的一種分類(lèi)算法。目的是根據(jù)已知類(lèi)別的樣...
-
大數(shù)據(jù)處理技術(shù)如何學(xué)習(xí)?
首先我們要學(xué)習(xí)Python語(yǔ)言和Linux操作系統(tǒng)，這兩個(gè)是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)的順序不分前后。 Python：Python 的排名從去年開(kāi)始就借助人工智能持續(xù)上升，現(xiàn)在它...
個(gè)人介紹
大數(shù)據(jù)零基礎(chǔ)的和做大數(shù)據(jù)想進(jìn)階的加群：806025609 免費(fèi)獲取一份大數(shù)據(jù)學(xué)習(xí)視頻和大數(shù)據(jù)學(xué)習(xí)體系進(jìn)階圖。我們每周有六到七節(jié)視頻更新。
這也是感謝大家對(duì)我的關(guān)注和支持。
這也是感謝大家對(duì)我的關(guān)注和支持。