Java作為一種強(qiáng)類(lèi)型、面向?qū)ο蟮木幊陶Z(yǔ)言，具有良好的健壯性和穩(wěn)定性。但是，程序在開(kāi)發(fā)過(guò)程中仍然面臨著各種潛在的問(wèn)題和風(fēng)險(xiǎn)。為了保證Java程序的健壯性和穩(wěn)定性，我們需要從以...
發(fā)簡(jiǎn)信
IP屬地：江蘇
-
JAVA編碼如何提升程序的健壯性和穩(wěn)定性
-
通俗的理解Bitmap(位圖)和RoaringBitmap(壓縮位圖)
一、使用的場(chǎng)景 日常業(yè)務(wù)中需要大量存儲(chǔ)一些重復(fù)的字符串，例如每日簽到用戶、朋友圈點(diǎn)贊的好友、計(jì)算每日登錄用戶等。字符串無(wú)論長(zhǎng)短不僅會(huì)浪費(fèi)大量的存儲(chǔ)資源，而且讀取查詢也耗時(shí)耗資...
-
使用Clickhouse+RoaringBitmap搭建數(shù)百億級(jí)用戶畫(huà)像平臺(tái)看這一篇就夠了背景 如果你是用戶，當(dāng)你使用抖音、小紅書(shū)的時(shí)候，假如平臺(tái)能根據(jù)你的屬性、偏好、行為推薦給你感興趣的內(nèi)容，那就能夠?yàn)槟愎?jié)省大量獲取內(nèi)容的時(shí)間。 如果你是商家，當(dāng)你要進(jìn)行廣告投放...
-
-
RoaringBitmap在Clickhouse里的片優(yōu)化遇到的問(wèn)題：Clickhouse本身是分布式的，數(shù)據(jù)要分布存儲(chǔ)在不同的分片，來(lái)達(dá)到分布式計(jì)算的效果。那我們保存到Clickhouse的一個(gè)大Bitmap就要被拆分成n個(gè)小的B...
-
使用Clickhouse直接寫(xiě)入Bitmap探索歷程
一、早期的實(shí)現(xiàn)對(duì)于小容量bitmap，直接可以使用Insert語(yǔ)句寫(xiě)入insert [table] (bitmap) VALUS （bitmapBuild[toUInt64(...
-
不封裝實(shí)體不需要注解使用EasyExcel通用讀寫(xiě)excel的方式
我們通常在讀寫(xiě)excel時(shí)需要?jiǎng)?chuàng)建一個(gè)實(shí)體類(lèi)，添加一一對(duì)應(yīng)的字段才能實(shí)現(xiàn)。 每次都創(chuàng)建實(shí)體都比較麻煩，而且當(dāng)我們不知道Excel格式時(shí)，怎么進(jìn)行讀寫(xiě)呢？有沒(méi)有一種通用的方法來(lái)...
-
clickhouse+bitmap中SQL優(yōu)化經(jīng)驗(yàn)
1、子查詢SELECT bitmapAndCardinality(groupBitmapOrStateOrDefault(bitmap)) FROM test.group_b...
-
Cousin who only knows SQL And Committed to the construction of data business intelligence system<br>&<br>Internet Garbage Maker<br>&<br>A Sqlboy with no future<br>&<br>(Go all out in the direction of web ) animation<br>&<br>mba
-
一行配置搞定 Spring Boot項(xiàng)目的 log4j2 核彈漏洞！
相信昨天，很多小伙伴都因?yàn)長(zhǎng)og4j2的史詩(shī)級(jí)漏洞忙翻了吧？ 看到群里還有小伙伴說(shuō)公司里還特別建了800+人的群在處理... 好在很快就有了緩解措施和解決方案。同時(shí)，log4...
-
keyBy
Flink拆分流和復(fù)制流
使用旁路輸出(side output)來(lái)拆分和復(fù)制流??我們?cè)谔幚頂?shù)據(jù)的時(shí)候，有時(shí)候想對(duì)不同情況的數(shù)據(jù)進(jìn)行不同的處理，那么就需要把流進(jìn)行拆分或者復(fù)制。如果是使用filter來(lái)...
-
Clickhouse中bitmap使用指南(ck位圖)
clickhouse在20以后的版本支持?jǐn)?shù)據(jù)列為64位的壓縮位圖 內(nèi)部實(shí)際類(lèi)型為Roaring64NavigableMap，具體可參考https://github.com/R...
-
Clickhouse通過(guò)JDBC直接查詢Bitmap
上面的方法直接讀取Bitmap會(huì)大量占用應(yīng)用內(nèi)存，怎么進(jìn)行優(yōu)化呢？我們可以通過(guò)Clickhouse把Bitmap轉(zhuǎn)成列，通過(guò)流式讀取bitmap里的offset，在應(yīng)用里創(chuàng)建...
-
利用Spring的AOP，通過(guò)注解自動(dòng)給方法添加緩存
需求：如果入?yún)⒁恢碌那闆r下，返回值一致，那么可以給該方法添加緩存。但是，如果挨個(gè)添加每次添加都需要開(kāi)發(fā)、測(cè)試，浪費(fèi)大量時(shí)間。解決方案：利用Spring的AOP，自動(dòng)添加緩存功...
-
責(zé)任鏈在開(kāi)發(fā)中的實(shí)際應(yīng)用
使用場(chǎng)景：項(xiàng)目中要使用到SQL解析器，目前選擇了2個(gè)解析器，但各有各的優(yōu)點(diǎn)。解析器A：解析速度快，但兼容性差一些，有一些SQL支持不了，直接拋異常；解析器B：解析速度慢，但兼...
個(gè)人介紹
京東數(shù)據(jù)應(yīng)用架構(gòu)師 Flink實(shí)時(shí)計(jì)算 Clickhouse 畫(huà)像系統(tǒng) 用戶洞察