K8s & HPC
Requirement
Hello, Kubernetes newbie here. I'm currently running docker on a inhouse hpc (on each node) and submiting to them using a queuing/scheduling system (Slurm). I'd like to replicate similar capabilities in the cloud. E.g. workflow would be (might be wrong): give start signal from local hpc, upload docker container and scripts, create kubernetes cluster (probably around 10 nodes with 16 cores each), submit jobs, let them run, bring back data locally, shutdown cloud.
Does that sound right? Where should i start? Thanks.
http://www.d1net.com/storage/enterprise/442273.html
SGE ：Grid Engine
AWS上的HPC
使用starCluster來構(gòu)建cluster,使用的queue system 是SGE
http://star.mit.edu/cluster/
https://github.com/spagnuolocarmine/amazonhpc
https://aws.amazon.com/solutions/case-studies/san-francisco-state-university/
Azure上的HPC
https://github.com/Azure/azure-bigcompute
HPC上的應(yīng)用，通常用MPI去開發(fā)并行計算的application.
并行計算
http://www.konvigne.com/index.php/2017/03/21/200/
并行計算和分布式計算的不同之處：
分布式計算是一種把需要進行大量計算的工程數(shù)據(jù)分區(qū)成小塊，由多臺聯(lián)網(wǎng)計算機分別處理，在上傳處理結(jié)果后，將結(jié)果統(tǒng)一合并得出數(shù)據(jù)結(jié)論的科學(xué)
首先來比較下分布式計算與并行計算的異同。其相同之處都是將復(fù)雜任務(wù)化簡為多個子任務(wù)，然后在多臺計算機同時運算。不同之處在于分布式計算是一個比較松散的結(jié)構(gòu)，實時性要求不高，可以跨越局域網(wǎng)在因特網(wǎng)部署運行，大量的公益性項目（如黑洞探索、藥物研究、蛋白質(zhì)結(jié)構(gòu)分析等）大多采用這種方式，而并行計算是需要各節(jié)點之間通過高速網(wǎng)絡(luò)進行較為頻繁地通信，節(jié)點之間具有較強的關(guān)聯(lián)性，主要部署在局域網(wǎng)內(nèi)。
在分布式計算的算法中，我們更加關(guān)注的是計算機間的通信而不是算法的步驟，因為分布式計算的通信代價比起單節(jié)點對整體性能的影響權(quán)重要大得多。
