引言 最近幾個(gè)月我們小組在做SQL拉數(shù)據(jù)相關(guān)的優(yōu)化工作，主要涉及Trino、ES、Lucene三個(gè)模塊的開發(fā)優(yōu)化，具體優(yōu)化包括列存-行轉(zhuǎn)列讀取、序列化協(xié)議優(yōu)化、SQL字段Or...
發(fā)簡信
IP屬地：山西
-
SQL-Elasticsearch拉數(shù)據(jù)優(yōu)化 -
ClickHouse數(shù)據(jù)生命周期管理1 概述 如果將ClickHouse作為Log或Metrics這種具有明顯時(shí)序特征數(shù)據(jù)的存儲(chǔ)和分析引擎，那就需要考慮這些數(shù)據(jù)的生命周期管理，即設(shè)置數(shù)據(jù)的老化機(jī)制，如是否需要根...
-
哈哈 trie樹是個(gè)好玩意
手寫簡版倒排索引（Inverted Index）
說明 周末閑來無事花點(diǎn)時(shí)間，基于Lucene倒排索引的思想，使用Python簡單實(shí)現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
手寫簡版倒排索引（Inverted Index）說明 周末閑來無事花點(diǎn)時(shí)間，基于Lucene倒排索引的思想，使用Python簡單實(shí)現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
Elasticsearch Search Phase Debug 詳細(xì)記錄Debug說明 記錄ES數(shù)據(jù)搜索的整個(gè)debug流程，具體細(xì)節(jié)沒有作過多的解釋說明 Debug的索引，設(shè)置2shard、0replicas，便于理解每個(gè)分片的執(zhí)行主線 ES ...
-
ClickHouse集群部署一 環(huán)境準(zhǔn)備 下文以常見ClickHouse集群部署架構(gòu)[http://m.itdecent.cn/p/f1fa7e5cb67f]中方案四的部署架構(gòu)為例。 節(jié)點(diǎn)名稱主機(jī)...
-
@秦亞軍_bf9e 一般的做法是源ip不要是127.0.0.1之類的地址；其次這一塊可能要結(jié)合機(jī)器的iptables規(guī)則進(jìn)行判斷了。
發(fā)往Docker容器內(nèi)的數(shù)據(jù)包源地址被修改的研究
引言 此文檔是對(duì)發(fā)往Docker容器內(nèi)的數(shù)據(jù)包源地址被修改的研究做的實(shí)踐記錄。 實(shí)踐環(huán)境一 路由信息： 一、通過另一臺(tái)主機(jī)向當(dāng)前主機(jī)發(fā)送數(shù)據(jù)包1.192.168.84.75主...
-
hello，沒太明白你這里的意思哈；list insert操作是可以指定索引為0的，比如my_list = [1, 2, 3]，執(zhí)行操作my_list.insert(0,5)，則此時(shí)my_list會(huì)變成[5, 1, 2, 3]，即把插入的數(shù)據(jù)放到列表的最開始位置
python list 之時(shí)間復(fù)雜度分析
引言 我們?cè)谑褂胮ython開發(fā)過程中，list屬于使用非常廣泛的數(shù)據(jù)結(jié)構(gòu)。不管是自己程序存放數(shù)據(jù)，還是處理接口返回的數(shù)據(jù)，我們都更傾向于使用list。因?yàn)閘ist用起來不僅...
-
Elasticsearch Dangling Indices知識(shí)梳理背景 前段時(shí)間客戶根據(jù)看到的ES日志報(bào)了索引無法創(chuàng)建的Bug，研發(fā)工作完成差不多后，開始梳理前線客戶Bug，調(diào)研后才發(fā)現(xiàn)原來是Dangling索引的問題；這篇文檔算是對(duì)Dan...
-
Elasticsearch 索引數(shù)據(jù)被刪除問題的研究
背景 前段時(shí)間幫著客戶排查ES相關(guān)的問題，客戶環(huán)境后期接入的數(shù)據(jù)量比當(dāng)初規(guī)劃的多了很多，依據(jù)機(jī)器資源的使用情況決定對(duì)當(dāng)前ES集群進(jìn)行擴(kuò)容；由2data擴(kuò)充為4data且專門獨(dú)...
-
Elasticsearch 獲取寫入Doc shardID的源碼分析前言 平時(shí)在研究ES的分布式Doc（文檔）寫入操作時(shí)，我們已經(jīng)知道對(duì)將要寫入的Doc，ES首先會(huì)計(jì)算其應(yīng)該寫入到索引的哪個(gè)分片，然后在根據(jù)集群metaData中的路由信息判斷...
-
Elasticsearch Write Debug 詳細(xì)記錄Debug說明 記錄ES寫入數(shù)據(jù)的整個(gè)Debug流程，具體實(shí)現(xiàn)細(xì)節(jié)沒有做過多解釋說明 Debug的索引，設(shè)置1shard、0replicas，便于理清主線 先創(chuàng)建索引，其次再...
-
老兄 再請(qǐng)教個(gè)問題，你這里對(duì)ES平均每秒寫入的次數(shù)，這個(gè)值是咋計(jì)算的呢？
PB級(jí)大規(guī)模Elasticsearch集群運(yùn)維與調(diào)優(yōu)實(shí)踐
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
PB級(jí)大規(guī)模Elasticsearch集群運(yùn)維與調(diào)優(yōu)實(shí)踐背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
@bellengao 謝老兄 詳細(xì)解答
PB級(jí)大規(guī)模Elasticsearch集群運(yùn)維與調(diào)優(yōu)實(shí)踐
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
“1GB堆內(nèi)存支持20-30個(gè)分片為宜；另外需要控制集群整體的分片數(shù)量，集群總體的分片數(shù)量一般不要超過3w”，老兄，這些經(jīng)驗(yàn)值是如何得出的呢？ES數(shù)據(jù)節(jié)點(diǎn)1GB的堆內(nèi)存支持20~30個(gè)分片，可是有的索引mapping信息復(fù)雜，有些簡單啊，這個(gè)應(yīng)該會(huì)有差異吧？對(duì)于集群總體的分片數(shù)量一般不要超過3w的說法，主要是怕集群的master節(jié)點(diǎn)中需要存放的metadata信息太大嗎？之前看過一個(gè)說法說master在管理cluster state這塊是通過單線程的方式來做的，因此這里3w的限制與這些都有關(guān)嗎？很想知道ES集群變大之后，對(duì)Master節(jié)點(diǎn)內(nèi)存造成壓力的主要包含哪幾塊？望老兄幫忙解答下
PB級(jí)大規(guī)模Elasticsearch集群運(yùn)維與調(diào)優(yōu)實(shí)踐
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
總結(jié)最近半年對(duì)Elasticsearch開源項(xiàng)目的貢獻(xiàn)
自從2019年對(duì)Elasticsearch項(xiàng)目提交過一次代碼之后，開始逐漸關(guān)注社區(qū)里的新動(dòng)態(tài)，并且嘗試去解決一些issue，通過這個(gè)過程去理解源碼從而深入理解Elastics...
