官方鏈接 接口介紹 type Limiter Limter限制時間的發(fā)生頻率,采用令牌池的算法實現(xiàn)。這個池子一開始容量為b,裝滿b個令牌,然后每秒往里面填充r個令牌。由于令牌...
官方鏈接 接口介紹 type Limiter Limter限制時間的發(fā)生頻率,采用令牌池的算法實現(xiàn)。這個池子一開始容量為b,裝滿b個令牌,然后每秒往里面填充r個令牌。由于令牌...
為了更加充分利用機器資源,Meta 對 RocksDB 基于 Tectonic 分布式文件系統(tǒng)實現(xiàn)了存算分離改造。Tectonic 分布式文件系統(tǒng)提供了類似 HDFS 的文件...
本文是一篇向量化編程入門文章。 Vectorization is the process of converting an algorithm from a scalar i...
LevelDB 的 table 文件以 .ldb 作為文件擴展名,包括若干個 block,data block 存儲按照 key 的字母表順序排序的 KV 對數(shù)據(jù),meta ...
SpanDB: A Fast, Cost-Effective LSM-tree Based KV Store on Hybrid Storage[https://www.us...
RocksDB 是 LSM-tree 結(jié)構(gòu)的 KV 存儲,寫入的數(shù)據(jù)先通過 WAL 持久化,再寫入到 memtable 中。WAL 的寫入需要保證順序性,只能由單個線程來進行...
本章主要來自《數(shù)據(jù)庫系統(tǒng)概論》第六章的內(nèi)容,主要介紹關(guān)系代數(shù)相關(guān)的知識,其實大家也可以參考這篇文章 SQL 形式化語言——關(guān)系代數(shù)。 關(guān)系代數(shù)是一種過程化查詢語言,它包括一個...
FIFO compaction 適用于低負載數(shù)據(jù)的存儲(如日志),所有的文件都位于 L0。當(dāng)文件總大小超過配置值 CompactionOptionsFIFO::max_tab...
Universal Compaction 是 RocksDB 支持的另一種 compaction 方式,特點是降低寫放大,犧牲讀放大和空間放大。使用 Universal Co...
RocksDB 的 LSM-tree compaction 選取 sorted run 進行合并合并生成新的 sorted run,從而影響每次讀取涉及的 sorted ru...
Windows Azure Storage (WAS) 是微軟提供的支持多種數(shù)據(jù)結(jié)構(gòu)的存儲云服務(wù),本文是 Windows Azure Storage: a highly av...
LSM-tree 通過緩存的方式將隨機寫轉(zhuǎn)化為順序?qū)?,以極大提升寫入性能。compaction 則是 LSM-tree 在盡量不影響寫入性能下保證數(shù)據(jù)有序性的機制,中文可譯為...
本文是我對最近讀的幾篇論文的總結(jié),沒有太多引用原文,純靠自己的理解和印象串聯(lián)起來。主要是為日后深入了解相關(guān)知識做個簡單“索引”。 本文描述得不是很嚴謹,也不保證完全正確,建議...
Titan 是 pingcap 開源的一個基于 RocksDB 的 存儲引擎,以插件的形式提供,通過 key value 分離降低在 compaction 過程中的寫放大。整...
本文基于leveldb 1.22 版本展開,主要討論 LevelDB 的緩存 cache 實現(xiàn)。cache 可以根據(jù)數(shù)據(jù)內(nèi)容是否進行了解壓縮分為 compressed cac...
引言 HyperLogLog算法經(jīng)常在數(shù)據(jù)庫中被用來統(tǒng)計某一字段的Distinct Value(下文簡稱DV),比如Redis的HyperLogLog結(jié)構(gòu),出于好奇探索了一下...
Gorrilla是Facebook在2015年在VLDB發(fā)表的論文Gorilla: A Fast, Scalable, In-Memory Time Series Datab...
WAL(Write Ahead Log)是一種常用的實現(xiàn)crash-safe的技術(shù),通過將隨機寫轉(zhuǎn)化為順序?qū)懙男问?,在保證寫入高性能的前提下,把對數(shù)據(jù)的修改以日志的形式持久化...