接到一個(gè)有趣的作業(yè)，就是分析豆瓣用戶關(guān)注的小組，通過小組標(biāo)簽給這個(gè)用戶畫像。任務(wù)主要有這幾部分：1.通過爬取的數(shù)據(jù)，利用Spark Graphx對這些數(shù)據(jù)構(gòu)圖2.將這個(gè)圖進(jìn)行...
發(fā)簡信
IP屬地：北京
-
Spark Graphx分析豆瓣用戶及小組 -
spark graphx 圖計(jì)算寫在前面 態(tài)度決定高度！讓優(yōu)秀成為一種習(xí)慣！ 世界上沒有什么事兒是加一次班解決不了的，如果有，就加兩次?。? - -茂強(qiáng)） 什么是一個(gè)圖 一個(gè)網(wǎng)絡(luò)Network 一個(gè)樹Tre...
-
基于用戶畫像的實(shí)時(shí)異步化視頻推薦系統(tǒng)前言 這個(gè)月做的事情還是蠻多的。上線了一個(gè)百臺(tái)規(guī)模的ES集群，還設(shè)計(jì)開發(fā)了一套實(shí)時(shí)推薦系統(tǒng)。 標(biāo)題有點(diǎn)長，其實(shí)是為了突出該推薦系統(tǒng)的三個(gè)亮點(diǎn)，一個(gè)是實(shí)時(shí)，一個(gè)是基于用戶畫像去...
-
Kafka Zero-Copy 使用分析
之前有聽過Zero-Copy 技術(shù)，而Kafka是典型的使用者。網(wǎng)上找了找，竟然沒有找到合適的介紹文章。正好這段時(shí)間正在閱讀Kafka的相關(guān)代碼，于是有了這篇內(nèi)容。這篇文章會(huì)...
-
某互聯(lián)網(wǎng)大廠kafka最佳實(shí)踐
前言： 上手kafka已有2年的時(shí)間，我們的數(shù)據(jù)處理量也從最初的300g/day發(fā)展到今天的T量級(jí)在這個(gè)過程中也踩了不少坑，在這里分享出來和大家共勉。 一、硬件考量 1.1、...
-
Kafka 客戶端TimeoutException問題之坑
各種TimeoutException問題 會(huì)拋出org.apache.kafka.common.errors.TimeoutException:message可能為各種： B...
-
kerberos體系下的應(yīng)用(yarn,spark on yarn)kerberos 介紹 閱讀本文之前建議先預(yù)讀下面這篇博客kerberos認(rèn)證原理---講的非常細(xì)致，易懂 Kerberos實(shí)際上一個(gè)基于Ticket的認(rèn)證方式。Client...
-
http to https升級(jí)記
最近準(zhǔn)備搞一個(gè)小程序玩玩，到配置服務(wù)器域名的時(shí)候發(fā)現(xiàn)只支持https協(xié)議，迫于無奈，我不得不再次跳出自己的思維舒適區(qū)，發(fā)起了一次http向https的沖擊在這方面我也了解的不...
-
Kafka學(xué)習(xí)之路kafka當(dāng)前的版本是0.10.1新增加的新特性還是很多的，使用0.8.×的同學(xué)，可以多關(guān)注下了。原文地址：http://www.cnblogs.com/huxi2b/p/6...
個(gè)人介紹