背景 在執(zhí)行一個(gè)較為復(fù)雜的SQL聚合的時(shí)候，報(bào)錯(cuò)了：【報(bào)錯(cuò)】DB::Exception: Allocator: Cannot mmap 64.00 MiB., errno: ...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
給ClickHouse增加內(nèi)存
-
部署clickhouse cluster(基于docker+zookeeper)安裝zookeeper 雖然不是必要的，但clickhouse官方建議使用zookeeper部署集群，原因是ck的復(fù)制是用zk實(shí)現(xiàn)的： ZooKeeper is not a ...
-
用Airflow調(diào)度數(shù)倉(cāng)（CK）的ETL腳本安裝 前提：安裝了python，我這里是python3 下載 按照官網(wǎng)：pip3 install apache-airflow包太多，下載太慢改為清華的鏡像：pip3 ins...
-
docker mysql +GTID雙主+keepalived
基本思路：先停掉原mysql，把這個(gè)文件夾壓縮了傳到另一臺(tái)機(jī)器。然后解壓，用docker直接掛載解壓后的文件夾。機(jī)器1:192.168.10.2機(jī)器2:192.168.10....
-
clickhouse 用戶權(quán)限劃分（ACL）
通過(guò)配置/etc/clickhouse-server/user.xml來(lái)實(shí)現(xiàn)；user.xml如下： distribute engine 的問題 配置了ACL以后，訪問分布式...
-
Ubuntu上安裝docker
1.更新apt包索引：sudo apt update #這一步可能會(huì)報(bào)錯(cuò), 參考遇到的問題 2.通過(guò)HTTPS使用倉(cāng)庫(kù)(repository)安裝：sudo apt in...
-
mysql left join 導(dǎo)致的 Using join buffer (Block Nested Loop)
問題 在給運(yùn)營(yíng)部門寫一個(gè)簡(jiǎn)單的兩表join的時(shí)候，發(fā)現(xiàn)線上的數(shù)據(jù)庫(kù)很快，本地的數(shù)據(jù)庫(kù)很慢。 兩個(gè)表經(jīng)過(guò)條件篩選以后，數(shù)據(jù)量都差不多是5000條。 按理說(shuō)5000 join 5...
-
漫談事實(shí)表如何設(shè)計(jì)（四）一.累積型快照事實(shí)表的應(yīng)用場(chǎng)景介紹 針對(duì)電商交易，設(shè)計(jì)了交易下單/支付/確認(rèn)收貨事務(wù)事實(shí)表， 用于統(tǒng)計(jì)下單/支付/確認(rèn)收貨的子訂單數(shù)、GMV等。但仍然有很多需求, 此事務(wù)事實(shí)...
-
UnicodeEncodeError: 'ascii' codec can't encode characters in position 29-32: ordinal not in range
環(huán)境python3.7程序在本地調(diào)試的時(shí)候沒有問題，但是部署到k8s上的時(shí)候報(bào)錯(cuò)了【報(bào)錯(cuò)】 看起來(lái)應(yīng)該是寫日志的時(shí)候，使用了中文導(dǎo)致編碼錯(cuò)誤 【解決辦法】因?yàn)閳?bào)錯(cuò)是寫日志發(fā)生...
-
mysqldump導(dǎo)入導(dǎo)出遇到的問題
1.不導(dǎo)出系統(tǒng)數(shù)據(jù)庫(kù)，以免在導(dǎo)入的時(shí)候出現(xiàn)錯(cuò)誤：ERROR 1726 (HY000) at line 17288: Storage engine 'InnoDB' does ...
-
python 常用內(nèi)置函數(shù)
1.字符串和bytes互轉(zhuǎn) 方法一：bytes(s) / str(b) 方法二：s.encode() / b.decode() 2.進(jìn)制互轉(zhuǎn) 10轉(zhuǎn)2，8，16 ： bin(...
-
圖片毫無(wú)代表性
在澳門賭場(chǎng)洗手間里，我看透了人生…...
當(dāng)大多數(shù)人最大的人生起伏不過(guò)是年終考核的分?jǐn)?shù)時(shí)，在澳門一眾賭場(chǎng)的角落里，人生的無(wú)常與殘忍，才真正地揭開一點(diǎn)面紗。 曾經(jīng)有網(wǎng)友寫下自己的見聞： “在去賭場(chǎng)之前，我以為那里都是濫...
-
基于flink sql構(gòu)建實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)1、需求背景 根據(jù)目前大數(shù)據(jù)這一塊的發(fā)展，已經(jīng)不局限于離線的分析，挖掘數(shù)據(jù)潛在的價(jià)值，數(shù)據(jù)的時(shí)效性最近幾年變得剛需，實(shí)時(shí)處理的框架有storm，spark-streaming...
-
shell+crontab+flock 定時(shí)備份
mybackup.sh runbackup.sh crontab -e: 其中，my.lock事先創(chuàng)建，flock -xn表示獲取文件獨(dú)占鎖，如果因上次crontab任務(wù)沒有...
-
Centos7安裝GO
1.下載 2.解壓 3.修改環(huán)境變量 4.編寫helloworld測(cè)試 因?yàn)間o是編譯性語(yǔ)言。一次編譯多處可以執(zhí)行。所以把helloword拷貝到任何目錄都能正常執(zhí)行，并且可...
