學(xué)習(xí)了差不多一個星期，終于把flume-kafka-spark streaming貫通了，直接上流程圖： 一、環(huán)境部署 hadoop集群2.7.1zookeerper集群ka...
發(fā)簡信
IP屬地：北京
-
flume-kafka-spark streaming(pyspark)-hdfs實(shí)時日志實(shí)時計(jì)算 -
數(shù)據(jù)平臺實(shí)踐②——Logstash+Elasticsearch+Kibana簡介 在上一次的數(shù)據(jù)平臺實(shí)踐①中，對基于Flume，Kafka和Spark Streaming的數(shù)據(jù)平臺組合做了介紹，這一次對業(yè)界流行的ELK組合進(jìn)行學(xué)習(xí)與實(shí)踐。關(guān)于ELK，...
-
[個推]打造100億SDK覆蓋量的大數(shù)據(jù)系統(tǒng)，個推從離線到實(shí)時演進(jìn)的三階段打造100億SDK覆蓋量的大數(shù)據(jù)系統(tǒng)，個推從離線到實(shí)時演進(jìn)的三階段 | 36大數(shù)據(jù)http://www.36dsj.com/archives/58518 //個推大數(shù)據(jù)系統(tǒng)演...
-
RDD、DataFrame和DataSet的區(qū)別
spark 2.X開始，三者的關(guān)系發(fā)生了變化，可以參考《且談Apache Spark的API三劍客：RDD、DataFrame和Dataset》 ,在2.X中DataFram...
-
使用阿里云虛擬主機(jī)搭建hadoop偽分布式環(huán)境環(huán)境： 準(zhǔn)備工作：1.到阿里云虛擬主機(jī)網(wǎng)站申請?zhí)摂M服務(wù)器https://www.aliyun.com/ 2.查看該服務(wù)器防火墻是否關(guān)閉： 3、下載hadoop2.6.3 ，官...
-
優(yōu)秀的計(jì)算機(jī)編程類博客 和 文章
優(yōu)秀的計(jì)算機(jī)編程類博客 和 文章 介紹 優(yōu)秀的計(jì)算機(jī)編程類博客是一些關(guān)于計(jì)算機(jī)方面的優(yōu)秀博客。 歡迎大家將經(jīng)?？吹膬?yōu)秀博客或博客文章共享出來，您可以： 使用 Issues 以...
-
干貨：如何正確提升朋友圈照片的逼格今天來作死地八一八一個后期神器snapseed的使用方法。 純干貨。 多圖。 感覺會被圖片上傳給弄死…… 答應(yīng)我，看在我寫得這么辛苦的份上，以后再發(fā)朋友圈的時候，努力裝裝逼不...
