1 概述 如果將ClickHouse作為Log或Metrics這種具有明顯時序特征數(shù)據(jù)的存儲和分析引擎，那就需要考慮這些數(shù)據(jù)的生命周期管理，即設(shè)置數(shù)據(jù)的老化機制，如是否需要根...
發(fā)簡信
IP屬地：福建
-
ClickHouse數(shù)據(jù)生命周期管理 -
手寫簡版倒排索引（Inverted Index）說明 周末閑來無事花點時間，基于Lucene倒排索引的思想，使用Python簡單實現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
Elasticsearch Search Phase Debug 詳細記錄Debug說明 記錄ES數(shù)據(jù)搜索的整個debug流程，具體細節(jié)沒有作過多的解釋說明 Debug的索引，設(shè)置2shard、0replicas，便于理解每個分片的執(zhí)行主線 ES ...
-
ClickHouse集群部署一 環(huán)境準備 下文以常見ClickHouse集群部署架構(gòu)[http://m.itdecent.cn/p/f1fa7e5cb67f]中方案四的部署架構(gòu)為例。 節(jié)點名稱主機...
-
Elasticsearch 索引數(shù)據(jù)被刪除問題的研究
背景 前段時間幫著客戶排查ES相關(guān)的問題，客戶環(huán)境后期接入的數(shù)據(jù)量比當初規(guī)劃的多了很多，依據(jù)機器資源的使用情況決定對當前ES集群進行擴容；由2data擴充為4data且專門獨...
-
Elasticsearch Dangling Indices知識梳理背景 前段時間客戶根據(jù)看到的ES日志報了索引無法創(chuàng)建的Bug，研發(fā)工作完成差不多后，開始梳理前線客戶Bug，調(diào)研后才發(fā)現(xiàn)原來是Dangling索引的問題；這篇文檔算是對Dan...
-
Elasticsearch 獲取寫入Doc shardID的源碼分析前言 平時在研究ES的分布式Doc（文檔）寫入操作時，我們已經(jīng)知道對將要寫入的Doc，ES首先會計算其應(yīng)該寫入到索引的哪個分片，然后在根據(jù)集群metaData中的路由信息判斷...
-
PB級大規(guī)模Elasticsearch集群運維與調(diào)優(yōu)實踐背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲業(yè)務(wù)日志。因為游戲業(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
總結(jié)最近半年對Elasticsearch開源項目的貢獻
自從2019年對Elasticsearch項目提交過一次代碼之后，開始逐漸關(guān)注社區(qū)里的新動態(tài)，并且嘗試去解決一些issue，通過這個過程去理解源碼從而深入理解Elastics...
