對(duì)于規(guī)模以上的應(yīng)用來(lái)說(shuō)，調(diào)度系統(tǒng)已經(jīng)是必不可少的組成部分，尤其在基于數(shù)據(jù)分析的后臺(tái)應(yīng)用大量增長(zhǎng)的今天，健壯的調(diào)度任務(wù)管理已經(jīng)是非常重要的一環(huán)。 1. 調(diào)度問(wèn)題的由來(lái) 調(diào)度問(wèn)題...
IP屬地：浙江
-
數(shù)據(jù)平臺(tái)調(diào)度系統(tǒng)
-
列存儲(chǔ)格式Parquet淺析Parquet調(diào)研報(bào)告 1. 概述 1.1 簡(jiǎn)介 Apache Parquet是Hadoop生態(tài)圈中一種新型列式存儲(chǔ)格式，它可以兼容Hadoop生態(tài)圈中大多數(shù)計(jì)算框架(Had...
-
hadoop 配置文件部分
1、端口 9000端口：是fileSystem默認(rèn)的端口號(hào)：50070端口: 50070是hdfs的web管理頁(yè)面的端口 （50070端口也可以查看hdfs 的總存儲(chǔ) ...
-
Kerberos http身份認(rèn)證原理及例子相關(guān)概念說(shuō)明 SPNEGO：簡(jiǎn)單且受保護(hù)的 GSS-API 協(xié)商機(jī)制中定義的一項(xiàng)標(biāo)準(zhǔn)規(guī)范。如果啟用SPNEGO Web 認(rèn)證，那么在處理第一個(gè)入站 HTTP 請(qǐng)求時(shí)會(huì)對(duì) SP...
-
HTTPS雙向認(rèn)證指南作者：黃湘龍 研究HTTPS的雙向認(rèn)證實(shí)現(xiàn)與原理，踩了不少坑，終于整個(gè)流程都跑通了，現(xiàn)在總結(jié)出一篇文檔來(lái)，把一些心得，特別是容易踩坑的地方記錄下來(lái)。 1.原理 雙向認(rèn)證，顧名...
-
Hadoop Commands是怎樣被執(zhí)行的？
在命令行執(zhí)行 hadoop fs -ls / 這種 Hadoop Commands 時(shí)，系統(tǒng)內(nèi)部是怎樣處理的呢？ 1. bash 處理 可以用 linux 的which和ll...
-
利用zookeeper構(gòu)建高可用的Spring服務(wù)
高可用是一個(gè)健壯的系統(tǒng)必備的特性，實(shí)現(xiàn)高可用的方法有很多，這篇文章簡(jiǎn)要介紹了實(shí)現(xiàn)高可用的方法，適合瀏覽一遍熟悉高可用的概況。我的這篇文章的主要目的是介紹如何用zookeepe...
-
篇二|什么是ClickHouse的表引擎?在上一篇分享中，我們介紹了ClickHouse的安裝部署和簡(jiǎn)單使用。本文將介紹ClickHouse中一個(gè)非常重要的概念—表引擎(table engine)。如果對(duì)MySQL熟...
-
Hibernate常見(jiàn)面試題
在Java J2EE方面進(jìn)行面試時(shí)，常被問(wèn)起的Hibernate面試問(wèn)題，大多都是針對(duì)基于Web的企業(yè)級(jí)應(yīng)用開(kāi)發(fā)者的角色的。Hibernate框架在Java界的成功和高度的可...
