1.Yarn
Apache Hadoop YARN （Yet Another Resource Negotiator，另一種資源協(xié)調(diào)者）是一種新的 Hadoop 資源管理器，它是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了巨大好處。
2.Mesos
Mesos是Apache下的開源分布式資源管理框架，它被稱為是分布式系統(tǒng)的內(nèi)核。Mesos最初是由加州大學(xué)伯克利分校的AMPLab開發(fā)的，后在Twitter得到廣泛使用。
Apache Mesos是一個(gè)通用的集群管理器，起源于 Google 的數(shù)據(jù)中心資源管理系統(tǒng)Borg。
3.AWS
AWS 是業(yè)務(wù)流程管理開發(fā)平臺(tái)
4.HDFS
Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最開始是作為Apache Nutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開發(fā)的。HDFS是Apache Hadoop Core項(xiàng)目的一部分。
HDFS有著高容錯(cuò)性（fault-tolerant）的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實(shí)現(xiàn)流的形式訪問(wèn)（streaming access）文件系統(tǒng)中的數(shù)據(jù)。
5.S3
s3 （S3 Simple Storage Service 簡(jiǎn)單存儲(chǔ)服務(wù)）
S3理論上是一個(gè)全球存儲(chǔ)區(qū)域網(wǎng)絡(luò) (SAN)，它表現(xiàn)為一個(gè)超大的硬盤，您可以在其中存儲(chǔ)和檢索數(shù)字資產(chǎn)。但是，從技術(shù)上講，Amazon 的架構(gòu)有一些不同。您通過(guò) S3 存儲(chǔ)和檢索的資產(chǎn)被稱為對(duì)象。對(duì)象存儲(chǔ)在存儲(chǔ)段（bucket）中。您可以用硬盤進(jìn)行類比：對(duì)象就像是文件，存儲(chǔ)段就像是文件夾（或目錄）。與硬盤一樣，對(duì)象和存儲(chǔ)段也可以通過(guò)統(tǒng)一資源標(biāo)識(shí)符（Uniform Resource Identifier，URI）查找。
6.Cassandra
cassandra （開源分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)）
Cassandra是一套開源分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)。它最初由Facebook開發(fā)，用于儲(chǔ)存收件箱等簡(jiǎn)單格式數(shù)據(jù)，集Google BigTable的數(shù)據(jù)模型與Amazon Dynamo的完全分布式的架構(gòu)于一身Facebook于2008將 Cassandra 開源，此后，由于Cassandra良好的可擴(kuò)展性，被Digg、Twitter等知名Web 2.0網(wǎng)站所采納，成為了一種流行的分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案。
Cassandra是一個(gè)混合型的非關(guān)系的數(shù)據(jù)庫(kù)，類似于Google的BigTable。其主要功能比Dynamo （分布式的Key-Value存儲(chǔ)系統(tǒng)）更豐富，但支持度卻不如文檔存儲(chǔ)MongoDB（介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的開源產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)中功能最豐富，最像關(guān)系數(shù)據(jù)庫(kù)的。支持的數(shù)據(jù)結(jié)構(gòu)非常松散，是類似json的bjson格式，因此可以存儲(chǔ)比較復(fù)雜的數(shù)據(jù)類型）。Cassandra最初由Facebook開發(fā)，后轉(zhuǎn)變成了開源項(xiàng)目。它是一個(gè)網(wǎng)絡(luò)社交云計(jì)算方面理想的數(shù)據(jù)庫(kù)。以Amazon專有的完全分布式的Dynamo為基礎(chǔ)，結(jié)合了Google BigTable基于列族（Column Family）的數(shù)據(jù)模型。P2P去中心化的存儲(chǔ)。很多方面都可以稱之為Dynamo 2.0。
