@珊瑚蟲(chóng)_644c IP 網(wǎng)段
clickhouse + chproxy 集群搭建集群規(guī)劃 集群架構(gòu) 其中 Distribute 是指創(chuàng)建分布式表的機(jī)器，在此文章中是將 Distribute 單獨(dú)部署的，也可以將 Distribute 角色劃分到每個(gè) Re...
發(fā)簡(jiǎn)信
IP屬地：上海
-
-
-
@戰(zhàn)爭(zhēng)愛(ài)德森 一般任務(wù)定時(shí)觸發(fā)是對(duì)上一個(gè)周期的完整數(shù)據(jù)做計(jì)算，所以依賴一般是以數(shù)據(jù)時(shí)間來(lái)判斷依賴的
調(diào)度系統(tǒng)中不同周期任務(wù)依賴的方法（1）
背景 在調(diào)度系統(tǒng)中存在很多定時(shí)執(zhí)行的任務(wù)，這些任務(wù)有不同的執(zhí)行周期，比如有每分鐘、每小時(shí)、每天執(zhí)行一次的，也有可能是半天執(zhí)行一次的，且這些任務(wù)之間需要建立依賴關(guān)系，組成一個(gè)數(shù)...
-
記一次Spark Yarn Shuffle Service升級(jí)引發(fā)的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務(wù)寄生在其進(jìn)程內(nèi)部，大家都知道可以通過(guò)這個(gè)外部服務(wù)來(lái)削減...
-
Presto是Facebook開(kāi)源的大數(shù)據(jù)查詢引擎，它最大的特點(diǎn)是可以對(duì)各種異構(gòu)的數(shù)據(jù)源進(jìn)行查詢，這個(gè)專欄主要專注在Presto源代碼的閱讀、解析。歡迎投稿
-
SpringBoot上傳文件大小限制的配置
使用SpingBoot框架上傳文件時(shí)，如果文件大小超過(guò)了1MB，會(huì)報(bào)錯(cuò)： 原因是SpringBoot內(nèi)置的Tomcat的文件傳輸默認(rèn)單個(gè)文件最大1M，單次請(qǐng)求文件總數(shù)大小為1...
-
Spark - 編譯、打包和開(kāi)發(fā)環(huán)境搭建1. 編譯打包 Spark 支持 SBT 和 Maven 兩種方式，一般構(gòu)建使用 maven，開(kāi)發(fā)中調(diào)試使用交互式的 SBT SBT 執(zhí)行 build/sbt 時(shí)，會(huì)先下載 ...
-
-
一種大數(shù)據(jù)作業(yè)容器化的方法大數(shù)據(jù)分布式作業(yè)調(diào)度系統(tǒng)的一般架構(gòu)是由 master 將任務(wù)分發(fā)到一批 worker 上執(zhí)行 大數(shù)據(jù)作業(yè)有很多種不同的任務(wù)類(lèi)型： Shell Jar Hive/Spark s...
-
降低 Java 程序的“虛擬內(nèi)存地址”占用0. 問(wèn)題 最近業(yè)務(wù)方反饋我們的一個(gè) Java 寫(xiě)的 agent 內(nèi)存占用過(guò)高： 業(yè)務(wù)方是通過(guò) top 命令查看 VIRT 數(shù)值過(guò)高，但是通常來(lái)說(shuō)我們都是采用 RES 衡量?jī)?nèi)...
-
@楚留香皂 確實(shí)有這個(gè)問(wèn)題，需要支持自定義的依賴，在自動(dòng)規(guī)則的前提上，但也可以用檢測(cè)文件成功標(biāo)識(shí)的方式來(lái)讓用戶配置，建一個(gè)檢測(cè)兩天前的成功標(biāo)志任務(wù)
調(diào)度系統(tǒng)中不同周期任務(wù)依賴的方法（1）
背景 在調(diào)度系統(tǒng)中存在很多定時(shí)執(zhí)行的任務(wù)，這些任務(wù)有不同的執(zhí)行周期，比如有每分鐘、每小時(shí)、每天執(zhí)行一次的，也有可能是半天執(zhí)行一次的，且這些任務(wù)之間需要建立依賴關(guān)系，組成一個(gè)數(shù)...
-
chproxy 可以是多個(gè)節(jié)點(diǎn)，然后在前面掛一個(gè) LB, 后期實(shí)際上單個(gè) LB 的網(wǎng)絡(luò)流量確實(shí)會(huì)遇到瓶頸，所以可以添加多 LB, 然后將這些 LB 掛到一個(gè)統(tǒng)一的域名下，域名動(dòng)態(tài)均衡解析到多個(gè) LB 上
clickhouse + chproxy 集群搭建
集群規(guī)劃 集群架構(gòu) 其中 Distribute 是指創(chuàng)建分布式表的機(jī)器，在此文章中是將 Distribute 單獨(dú)部署的，也可以將 Distribute 角色劃分到每個(gè) Re...
-
時(shí)間有點(diǎn)久，我回答第二個(gè)問(wèn)題，就是不通過(guò) distribute 表直接寫(xiě)副本，多個(gè)副本之間會(huì)同步數(shù)據(jù)的，這個(gè)在 ch 的文檔里面有提到
clickhouse + chproxy 集群搭建
集群規(guī)劃 集群架構(gòu) 其中 Distribute 是指創(chuàng)建分布式表的機(jī)器，在此文章中是將 Distribute 單獨(dú)部署的，也可以將 Distribute 角色劃分到每個(gè) Re...
-
Ray autoscaler for k8s installation
https://docs.ray.io/en/latest/autoscaling.html#kubernetes 1. 安裝 kuberctl 要讓 kuberctl 能訪...
