發(fā)簡(jiǎn)信
IP屬地：福建
-
SQL-Elasticsearch拉數(shù)據(jù)優(yōu)化引言 最近幾個(gè)月我們小組在做SQL拉數(shù)據(jù)相關(guān)的優(yōu)化工作，主要涉及Trino、ES、Lucene三個(gè)模塊的開(kāi)發(fā)優(yōu)化，具體優(yōu)化包括列存-行轉(zhuǎn)列讀取、...
-
手寫(xiě)簡(jiǎn)版倒排索引（Inverted Index）說(shuō)明 周末閑來(lái)無(wú)事花點(diǎn)時(shí)間，基于Lucene倒排索引的思想，使用Python簡(jiǎn)單實(shí)現(xiàn)了索引文檔與短語(yǔ)搜索的小功能，目的是幫助快速理解倒排索引的寫(xiě)...
-
Elasticsearch Search Phase Debug 詳細(xì)記錄Debug說(shuō)明 記錄ES數(shù)據(jù)搜索的整個(gè)debug流程，具體細(xì)節(jié)沒(méi)有作過(guò)多的解釋說(shuō)明 Debug的索引，設(shè)置2shard、0replicas，便于...
-
Elasticsearch Dangling Indices知識(shí)梳理背景 前段時(shí)間客戶根據(jù)看到的ES日志報(bào)了索引無(wú)法創(chuàng)建的Bug，研發(fā)工作完成差不多后，開(kāi)始梳理前線客戶Bug，調(diào)研后才發(fā)現(xiàn)原來(lái)是Dangling索...
-
Elasticsearch 索引數(shù)據(jù)被刪除問(wèn)題的研究
背景 前段時(shí)間幫著客戶排查ES相關(guān)的問(wèn)題，客戶環(huán)境后期接入的數(shù)據(jù)量比當(dāng)初規(guī)劃的多了很多，依據(jù)機(jī)器資源的使用情況決定對(duì)當(dāng)前ES集群進(jìn)行擴(kuò)容；由2d...
-
Elasticsearch 獲取寫(xiě)入Doc shardID的源碼分析前言 平時(shí)在研究ES的分布式Doc（文檔）寫(xiě)入操作時(shí)，我們已經(jīng)知道對(duì)將要寫(xiě)入的Doc，ES首先會(huì)計(jì)算其應(yīng)該寫(xiě)入到索引的哪個(gè)分片，然后在根據(jù)集群m...
-
Elasticsearch Write Debug 詳細(xì)記錄Debug說(shuō)明 記錄ES寫(xiě)入數(shù)據(jù)的整個(gè)Debug流程，具體實(shí)現(xiàn)細(xì)節(jié)沒(méi)有做過(guò)多解釋說(shuō)明 Debug的索引，設(shè)置1shard、0replicas，便...
-
python list 之時(shí)間復(fù)雜度分析
引言 我們?cè)谑褂胮ython開(kāi)發(fā)過(guò)程中，list屬于使用非常廣泛的數(shù)據(jù)結(jié)構(gòu)。不管是自己程序存放數(shù)據(jù)，還是處理接口返回的數(shù)據(jù)，我們都更傾向于使用l...
-
Python lambda
引言 前段時(shí)間，沒(méi)事兒時(shí)翻看了自己剛參加工作時(shí)寫(xiě)的一些代碼，發(fā)現(xiàn)代碼中有好幾處分別都用到了lambda表達(dá)式，從代碼中會(huì)發(fā)現(xiàn)那時(shí)候的自己對(duì)lam...