前言 CarbonData 擁有不錯的明細查詢能力，比如簡單的where條件過濾，性能大概是Parquet的20倍。數(shù)據(jù)的聚合分析方面，如果有不錯的where過濾，則相當一部...
發(fā)簡信
IP屬地：福建
-
CarbonData實踐(一)
-
一個簡單的數(shù)據(jù)分析方案
大數(shù)據(jù)到數(shù)據(jù)挖掘過程中理想和現(xiàn)實差別非常的大。很多人開始接觸大數(shù)據(jù)都是被大數(shù)據(jù)的分析、挖掘等吸引，但是現(xiàn)實卻是面對大公司紛繁復雜的系統(tǒng)和應用，如何將不同系統(tǒng)的數(shù)據(jù)整合在一起便...
-
Spark On YARN 集群安裝部署本文展示了在之前搭建的Hadoop分布式集群的基礎上如何搭建Spark分布式集群環(huán)境 一、已有環(huán)境 ubuntu 14.04hadoop 2.7.1 集群安裝參考三臺機器ma...
-
hadoop使用Java API 訪問hdfs的數(shù)據(jù)使用hadoop dfs的api 來訪問訪問數(shù)據(jù) 。 看來一些資料和書，其實代碼很簡單，就是必須把需要的包，都帶上就可以了。另外，要確保hadoop dfs是開啟的。 隨便起...
-
一個簡明的Mapreduce 原理分析1. mapreduce 簡介 mapreduce源自google的一篇文章，將海量數(shù)據(jù)處理的過程拆分為map和reduce。mapreduce 成為了最早的分布式計算框架，...
-
Alluxio (前身為Tachyon) 加速 Spark 數(shù)據(jù)分析今天解讀的內容是來自 Spark Summit EU 2016 關于 Alluxio 的一個介紹：Effective Spark with Alluxio （視頻：http...
