概括來(lái)說(shuō)并行計(jì)算是同時(shí)使用多種計(jì)算資源解決問(wèn)題，是一種提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的有效手段。

并行是一個(gè)相對(duì)于串行來(lái)說(shuō)的概念，它是一種可以一次執(zhí)行多個(gè)指令的算法，目的是提高計(jì)算的速度，以及通過(guò)擴(kuò)大問(wèn)題的求解規(guī)模從而解決大型而復(fù)雜的計(jì)算問(wèn)題。

并行計(jì)算可以分為時(shí)間和空間上的并行兩種。
時(shí)間上的并行是指流水線技術(shù)。空間上的并行是指用多個(gè)處理器并發(fā)地執(zhí)行計(jì)算。

舉個(gè)簡(jiǎn)單的例子。（看這里看這里）

假設(shè)有一個(gè)食品加工小作坊，它生產(chǎn)某種食品需要經(jīng)過(guò)清洗、消毒、切割、包裝共四步，目前只有1個(gè)工人1臺(tái)機(jī)器且每個(gè)步驟的操作均需要工人參與（非自動(dòng)化），假設(shè)每個(gè)步驟需要1分鐘（不要深究，就是個(gè)假設(shè)）。

那么每件商品的生產(chǎn)需要耗時(shí)4分鐘，在只有一個(gè)工人的前提下，8分鐘只能生產(chǎn)2件商品：即要分別經(jīng)過(guò)“清洗、消毒、切割、包裝”“清洗、消毒、切割、包裝”，在其中某一個(gè)步驟進(jìn)行的時(shí)候，用于完成其余功能的機(jī)器組件是閑置狀態(tài)（很浪費(fèi)）。

這個(gè)時(shí)候，我們可以選擇再雇傭3個(gè)工人，這樣目前一共有4個(gè)人手，我們讓4個(gè)人分別負(fù)責(zé)某一步驟且同時(shí)操作，8分鐘后可以得到8件商品（假設(shè)已經(jīng)經(jīng)過(guò)了initial狀態(tài)，那么每個(gè)步驟在8分鐘內(nèi)分別執(zhí)行了8次），將吞吐量提高了4倍。這個(gè)過(guò)程對(duì)應(yīng)于“并行計(jì)算”在時(shí)間上的并行，也就是流水線的概念。

那么如果我再雇傭4個(gè)人，再買一臺(tái)設(shè)備，此時(shí)已經(jīng)有8個(gè)工人了，每2個(gè)人操作2臺(tái)機(jī)器負(fù)責(zé)一個(gè)步驟，這樣8分鐘后可以得到16件產(chǎn)品，這就是“并行計(jì)算”在空間上的并行。即用多個(gè)處理器并發(fā)的執(zhí)行計(jì)算。