為什么做這個(gè)平臺(tái)? 選擇做這個(gè)社區(qū)平臺(tái)有以下幾個(gè)緣故:1、只要你跳槽,你就會(huì)被面試,八股文總要背的。(出來(lái)混早晚要還的)2、即使你不跳槽,只要你...
一、元數(shù)據(jù)概述 1.1、定義 元數(shù)據(jù)定義:描述數(shù)據(jù)的數(shù)據(jù),對(duì)數(shù)據(jù)及信息資源的描述性信息。小編認(rèn)為元數(shù)據(jù)不僅僅是關(guān)于數(shù)據(jù)的數(shù)據(jù),它還是一種上下文,...
國(guó)慶期間,花了些時(shí)間思考寫(xiě)作的目的。主要有以下幾個(gè)方面,同時(shí)大佬們一起加入探討交流學(xué)習(xí): 1、我能提供什么? 2、我輸出的質(zhì)量如何? 3、你能得...
簡(jiǎn)介 在前面的文章中,總結(jié)了SparkStreaming入門(mén)級(jí)的文章,了解到SparkStreaming是一種微批處理的"實(shí)時(shí)"流技術(shù),在實(shí)際場(chǎng)...
前言 Hive是數(shù)倉(cāng)建設(shè)使用頻率最高的一項(xiàng)技術(shù),基于各種業(yè)務(wù)需求,使用功能函數(shù)會(huì)為我們的開(kāi)發(fā)提高了很多效率。本篇是基于筆者在日常開(kāi)發(fā)中使用頻率較...
該文主要包括: zookeeper核心架構(gòu)設(shè)計(jì) zookeeper數(shù)據(jù)模型 zookeeper監(jiān)聽(tīng)機(jī)制 zookeeper ACL機(jī)制 zook...
本文編寫(xiě)的目的:為了深入理解后期關(guān)于zookeeper的文章,本文這里對(duì)分布式一致性算法的由來(lái)以及要解決的問(wèn)題做一個(gè)簡(jiǎn)述,更加深入的原理性東西后...
背景介紹 公司業(yè)務(wù)系統(tǒng)做優(yōu)化改造,同時(shí)為了能夠?qū)崿F(xiàn)全鏈路監(jiān)控,需收集所有業(yè)務(wù)系統(tǒng)之間的調(diào)用日志。數(shù)據(jù)情況:每天20億+機(jī)器成本:3臺(tái)kafka集...
之前用CDH5.2進(jìn)行集群的搭建,現(xiàn)需要將CDH支持spark-sql,具體搭建請(qǐng)見(jiàn)CDH離線安裝 一:準(zhǔn)備環(huán)境 jdk1.7.0_79scal...