使用ElasticSearch作為大數(shù)據(jù)平臺(tái)的實(shí)時(shí)OLAP框架 – lxw的大數(shù)據(jù)田地
http://lxw1234.com/archives/2015/12/588.htm
一直想找一個(gè)用于大數(shù)據(jù)平臺(tái)實(shí)時(shí)OLAP（甚至是實(shí)時(shí)計(jì)算）的框架，之前調(diào)研的Druid（druid.io）太過復(fù)雜，整個(gè)Druid由5、6個(gè)服務(wù)組成，而且加載數(shù)據(jù)也不太方便，性能一般，亦或是我還不太會(huì)用它。后來發(fā)現(xiàn)使用ElasticSearch就可以滿足海量數(shù)據(jù)實(shí)時(shí)OLAP的需求。
ElasticSearch相信大家都很熟悉了，它在搜索領(lǐng)域已經(jīng)有了舉足輕重的地位，而且也支持越來越多的聚合統(tǒng)計(jì)功能，還和YARN、Hadoop、Hive、Spark、Pig、Flume等大數(shù)據(jù)框架兼容的越來越好，比如：可以將ElasticSearch跑在YARN上，還可以在Hive中建立外部表映射到ElasticSearch的Index中，直接在Hive中執(zhí)行INSERT語句，將數(shù)據(jù)加載進(jìn)ElasticSearch。
所謂OLAP，其實(shí)就是從事實(shí)表中統(tǒng)計(jì)任意組合維度的指標(biāo)，也就是過濾、分組、聚合，其中，聚合除了一般的SUM、COUNT、AVG、MAX、MIN等，還有一個(gè)重要的COUNT(DISTINCT)，看上去這些操作在SQL中是非常簡單的統(tǒng)計(jì)，但在海量數(shù)據(jù)、低延遲的要求下，并不是那么容易做的。
ElasticSearch本來就是做實(shí)時(shí)搜索的，過濾自然不是問題，現(xiàn)在也支持各種聚合以及Pipeline aggregations（相當(dāng)于SQL子查詢的功能），而且ElasticSearch的安裝部署也非常簡單，一個(gè)節(jié)點(diǎn)只有一個(gè)服務(wù)進(jìn)程，關(guān)于安裝配置可參考：http://lxw1234.com/archives/2015/12/582.htm
本文以兩個(gè)業(yè)務(wù)場景的例子，看一下ElasticSearch是如何滿足我們的需求的。
例子1：網(wǎng)站流量報(bào)告
在我們的報(bào)表平臺(tái)有這樣一張報(bào)表，用于查看每個(gè)網(wǎng)站每天的流量指標(biāo)：
其中，維度有：天、小時(shí)、網(wǎng)站，指標(biāo)有：PV****、UV****、訪問次數(shù)、跳出率、平均停留時(shí)間、回訪率等。另外，還有一張報(bào)表是地域報(bào)告，維度多了省份和城市，指標(biāo)一樣。目前的做法是將可選的維度組合及對(duì)應(yīng)的指標(biāo)先在Hive中分析好，再將結(jié)果同步至MySQL，供報(bào)表展現(xiàn)。
真正意義上的OLAP做法，我是這樣做的：在Hive分析好一張最細(xì)粒度為visit_id（session_id）的事實(shí)表，字段及數(shù)據(jù)如下：
然后將這張事實(shí)表的數(shù)據(jù)加載到ElasticSearch中的logs2/sitelog1211中。查看數(shù)據(jù)：
從目前的調(diào)研結(jié)果來看，ElasticSearch沒有讓人失望，部署簡單，數(shù)據(jù)加載方便，聚合功能完備，查詢速度快，目前完全可以滿足我們的實(shí)時(shí)搜索、統(tǒng)計(jì)和OLAP需求，甚至可以作為NOSQL來使用，接下來再做更深入的測試。另外，還有一個(gè)開源的SQL for ElasticSearch的框架Crate（crate.io），是在ElasticSearch之上封裝了SQL接口，使得查詢統(tǒng)計(jì)更加方便，不過SQL支持的功能有限，使用的ElasticSearch版本較低，后面試用一下再看。
使用Hive讀寫ElasticSearch中的數(shù)據(jù) – lxw的大數(shù)據(jù)田地
http://lxw1234.com/archives/2015/12/585.htm
總結(jié)
使用Hive將數(shù)據(jù)添加到ElasticSearch中還是非常實(shí)用的，因?yàn)槲覀兊臄?shù)據(jù)都是在HDFS上，通過Hive可以查詢的。
另外，通過Hive可以查詢ES數(shù)據(jù)，并在其上做復(fù)雜的統(tǒng)計(jì)與分析，但性能一般，比不上使用ES原生API，亦或是還沒有掌握使用技巧，后面繼續(xù)研究。
Elasticsearch as Database - taowen - SegmentFault
https://segmentfault.com/a/1190000003502849
推銷Elasticsearch
時(shí)間序列數(shù)據(jù)庫的秘密（1）—— 介紹時(shí)間序列數(shù)據(jù)庫的秘密（2）——索引時(shí)間序列數(shù)據(jù)庫的秘密（3）——加載和分布式計(jì)算
用SQL查詢Elasticsearch
https://github.com/taowen/es-monitor
【01】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：表結(jié)構(gòu)定義【02】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：過濾和排序【03】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：簡單指標(biāo)【04】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：按字段聚合【05】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：HISTOGRAM聚合【06】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：CASE WHEN 聚合【07】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：聚合后排序【08】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：計(jì)算后再聚合【09】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：HAVING與Pipeline Aggregation【10】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：Drill Down 下鉆【11】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：Filter 下鉆【12】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：聚合后再計(jì)算【13】把 Elasticsearch 當(dāng)數(shù)據(jù)庫使：Join
//es-monitor【用SQL查詢Elasticsearch】
GitHub - taowen/es-monitor: query metric from elasticsearch using sql
https://github.com/taowen/es-monitor
As Console Command
For example
cat << EOF | python -m es_sql http://es_hosts SELECT "user", "oid", max("@timestamp") as value FROM gs_api_track_ GROUP BY "user", "oid" WHERE "@timestamp" > 1454239084000EOF
python -m es_sql
can be es-sql
if pip install es-sql
[
](https://github.com/taowen/es-monitor#as-python-library)As Python Library
pip install es-sql
import es_sqles_sql.execute_sql( 'http://127.0.0.1:9200', 'SELECT COUNT(*) FROM your_index WHERE field=%(param)s', arguments={'param': 'value'})
