pdf 有很多內容
1、SAS;2、SATA;3、NL-SAS;4、SCSI;5、IDE。請對上述五種類型的接口速率由慢到快進行排序,選擇正確的一項? 54231
01.什么是存儲?
1.存儲與數據:存儲是存放和保護這些數據的載體
2.數據的重要性:數據為企業(yè)的日常運營提供支撐,企業(yè)依賴數據進行分析,以便更好的進行決策。
3.數據的特點:高價值,高增長,多樣化的特點
4.狹義的存儲:是指具體的某種設備,比如以前的軟盤,CD,DVD以及硬盤等
5.廣義的存儲:指的是數據中心里面使用的存儲設備,里面包含了存儲硬件系統(tǒng),軟件系統(tǒng)、存儲網絡和存儲解決方案
解釋如下:服務器通過存儲網絡才能夠訪問存儲硬件系統(tǒng)中的數據,存儲軟件系統(tǒng)對存儲中的數據提供管理,將多種存儲硬件和軟件組合起來形成解決方案,可以滿足業(yè)務較高的數據管理需求,比如數據整合的解決方案,容災備份的解決方案
6.業(yè)務和存儲:
當今的存儲是廣義的存儲,是一種復雜的用來存儲和管理企業(yè)重要信息的系統(tǒng)。
存儲對業(yè)務的進行處理和數據保護。
- 存儲發(fā)展歷程
1.存儲發(fā)展歷程的兩個推動力
【1】用戶業(yè)務的需求【2】技術上的不斷提升
2.早期的存儲
早期的服務器和存儲是一體的。
CPU的主頻較低,內存比較小,硬盤的容量也不大,業(yè)務要求也沒有那么多。
3.存儲的發(fā)展
后來隨著IT建設,越來越多的業(yè)務系統(tǒng)運行在服務器上,硬盤的性能、容量、可靠性方面已經很難滿足業(yè)務的需求,便考慮把硬盤從服務器剝離出來,形成專用的存儲系統(tǒng)。即為DAS!
4.DAS存儲形態(tài)---JBOD
JBOD主要實現了硬盤的外置,從而提升了容量,但是數據控制管理工作依然由服務器負責,因此,服務器仍然由額外的開銷。
5.DAS存儲形態(tài)---智能化
智能化的DAS存儲,將數據管理和控制以及訪問功能集合在一起,服務器只需要關注數據讀寫即可。
6.集中式存儲---SAN和NAS
SAN是通過SAN的網絡來連接服務器,服務器看到的是一個個的塊設備,是當作一個個的硬盤來識別的。服務器存儲數據,首先要在服務器用文件系統(tǒng)來格式化,之后數據就可以進行數據的讀寫。往往SAN可以用在數據庫的場景,來存儲結構化的數據。
NAS:早期NAS主要是面向辦公的數據共享,特點是把服務器的文件系統(tǒng)放進了存儲里,這樣服務器通過網絡就可以共享數據。現在NAS主要面對的是非結構化的數據的存儲。比如,企業(yè)員工用于辦公文檔的共享和存儲
7.SAN和NAS存儲的應用
目前,幾乎所有的數據都是存放在這兩種形態(tài)的存儲上。
海量存儲、統(tǒng)一存儲(災備中心)
8.結構化數據與SAN
純粹的SAN,就是只能提供結構化的數據存儲和訪問的存儲。目前主要是高端的,比如:IBM DS8000 、VSP這種高端陣列。中端的SAN越來越少,新興的是固態(tài)存儲,他主要是面向對于性能要求比較高的場景,往往是應用在大企業(yè)的核心類的業(yè)務里面。
9.NAS的存儲形態(tài)
目前,NAS主要由兩種形態(tài)
【1】一種是NAS網關,它存在的事件已經非常久了,通常用戶會在SAN存儲的前面,加一個網關,網關對外提供NAS的服務
【2】另外一種是大數據的海量存儲,提供極強的擴展能力。這一類比較典型的代表有:EMC Islion以及華為的OceanStore 9000
應用場景的區(qū)別:兩者NAS的應用場景不太一樣,前者主要是用在文件共享和VDI等應用場景,而后者因為容量擴展性好,一般用在媒資庫、視頻監(jiān)控、高性能計算等場景。
10 統(tǒng)一存儲---SAN+NAS
現在的主流形態(tài)是:SAN+NAS雙劍合璧,就是我們常說的統(tǒng)一存儲;
但是由于歷史的原因,出現了兩種形態(tài)
【1】一種是像華為的OceanStor V3、NetApp的FAS和HP的3Par,屬于我們說的最佳形態(tài),單套存儲系統(tǒng)直接支持SAN和NAS,不需要額外的購買NAS網關,做到真正的統(tǒng)一。
【2】另一種像EMC的VNX,則仍需要附加NAS網關,只是管理層面做了統(tǒng)一。
03 存儲與應用環(huán)境
01計算機系統(tǒng)架構
軟件基礎分類(硬件基礎沒講)
軟件資源:應用軟件、操作系統(tǒng)、集群和分布式軟件、存儲要用到的分布式文件結構、多路徑、初始化軟件應用
計算資源:主機和服務器,集群化環(huán)境。解決大數據下業(yè)務處理的服務器
網絡資源:解決上層業(yè)務通過主機處理后需要傳輸到下面的存儲或者其他設備要用到的網絡化承載。
網絡化承載通道: 基于IP化承載和基于FC的承載。
IP化承載采用現階段已有設備支持,如交換機、防火墻、路由器等,或者現有網絡代替。
FC化承載需要重新搭建新的存儲環(huán)境,需要光纖、光模塊以及光纖的網絡交換機。成本高、距離比IP化短。不適用于容災備份架構。
4.存儲資源:所有硬件存儲設備。
存儲資源分三部分:DAS直連化存儲Direct-Attached Storage;SAN存儲區(qū)域網絡Storage Area Network;NAS網絡接入式存儲Network-Attached Storage
02 IT架構變化
內部變化:通過軟盤、光盤等完成數據存儲
a)存儲應用:存儲從上層應用到存儲介質,需要經過主機、服務器,理解為內部存儲環(huán)境。
b)內部存儲環(huán)境:上層業(yè)務應用I/O請求到操作系統(tǒng),然后調用文件系統(tǒng)找到相應存儲介質
c)設備(內部存儲速率因素):
CPU:組成運算單元、控制單元、存儲單元。
性能因素:工作頻率、緩存(1、2、3級緩存)容量越大,工作頻率越高,越好。內存同理。
內存:兩大變化。
SDR內存:同步動態(tài)隨機存儲寄存器。速率小、頻率低、數據量有限,會被淘汰啦。
DDR內存:雙倍率同步動態(tài)隨機存儲寄存器。性能因素:容量、帶寬、主頻。
總線:
計算機總線:計算機內部傳輸通道,CPU\內存間傳輸
主機總線:外送到網卡、顯卡等
I/O總線:U盤、外置硬盤等
2.外部變化:一基于數據塊存儲的架構(主流),如SAN\DAS;二文件共享式存儲,比如視頻、圖片,用NAS;三,對象存儲 a)網絡化存儲架構
單獨會被集群化部署在集群環(huán)境中,中間通道不再是主機直連存儲,而是網絡代替原來總線實現的方式。
b)分類
主機和服務器:數據處理和運算,通過主機后置的FC-HBA卡(主機總線適配器(Host Bus Adapter,HBA))或者IP-HBA卡去把數據傳輸到外界。
網絡:因為需要承載通道。有基于IP架構網絡或者FC網絡架構。
存儲設備:NAS\DAS\SAN
03其他
存儲需做備份、容災。So備份體系架構,虛擬磁帶庫或物理磁帶庫。
04 存儲介質和接口
01機械硬盤
機械結構:盤片,數據存放;主軸,驅動盤片;磁頭組件,維持磁頭高速運轉;接口;控制電路,內部供電。
電子化結構:主控芯片,數據控制;數據傳輸芯片,數據存儲或讀??;高速緩存芯片。
各部分功能
磁頭,盤片附帶無規(guī)則磁性材料,磁頭使其有規(guī)律;
盤片,有啟停區(qū),位于最內部;數據區(qū),磁道,磁道越多,磁盤容量越大,并不是一塊一塊磁道寫,而是一片一片扇區(qū)寫,一般為8K。柱面,所有磁道在同一位置的區(qū)域稱柱面,條帶化存儲。
4.主要參數:硬盤容量,跟盤片有關;轉速;緩存,越大越好;平均訪問時間,分平均尋道時間(啟停區(qū)到數據區(qū),8ms-11ms)和平均等待時間(到磁道位置但沒到扇區(qū)位置,4ms-10ms);傳輸速率,分內部傳輸速率(磁盤寫入數據的過程)和外部傳輸速率(通過接口)。
02SSD硬盤
def:擯棄機械硬盤的機械元件,都是芯片完成。
分類:分控制單元和存儲單元。存儲單元,有FLASH(主流),可移動外置,支持熱拔插;SSD,內存式存儲,應用在系統(tǒng)中存儲。
03硬盤接口
ATA接口:高速。并行ATA技術,稱IDE磁盤,業(yè)界最高133Mbps
SCS接口:實現串行,外置,小型設備。主流320MB/s
SATA接口:串行實現ATA技術,點對點,熱拔插。最低150MB/S,主流300MB/S,小型可移動設備。
SAS接口:串列SCSI(Serial Attached Scsi) 價格高,串行SCSI接口,點對點,全雙工,雙端口,正常600MB/S,可達1G。主流
FC接口:光纖通道接口。長距離,成本高。主流
05 RAID技術及應用一
01概念
產生:大數據下大批量存儲容量的技術
def:獨立冗余磁盤陣列。
分類:采用分條帶方式;采用校驗和鏡像方式進行安全式保護。
實現方式(截圖)
02分類
1.技術
條帶def:在同一個磁道上選擇同一個扇區(qū)或者多個扇區(qū)組成的區(qū)域。是切分硬盤條帶深度的單元。數據庫條帶深度小,圖像條帶深度大。
分條def:多塊硬盤的同一個磁道同一個扇區(qū)的條帶。要求:磁盤容量、傳輸速率和接口都保持相同。
2.安全保護
校驗
原則:相同為假,相異為真。磁盤數據+校驗盤數據得知丟失數據。
鏡像:存儲多份。缺點:數據寫到多個磁盤上,磁盤可利用率低,一般為50%。
03主工作狀態(tài)
RAID組創(chuàng)建:選擇相同硬盤組合在一起形成 。-->RAID正常工作狀態(tài):映射給主機或者映射給服務器。-->RAID組降級:某些磁盤掉線或故障。-->RAID重建狀態(tài):將RAID組降級完狀態(tài)回到正常工作狀態(tài)。-->RAID組失效狀態(tài):校驗數據發(fā)現第二個盤數據丟失,不能正常工作,需要重新格式化。
04常見RAID級別:
RAID0:條帶化存儲,無校驗,無鏡像。多塊硬盤讀寫,讀寫性能最高。數據傳輸速率也高。缺:無校驗無鏡像,一旦出錯需格式化。
RAID1:條帶化存儲,無校驗,有鏡像。允許有一份數據丟失,一份數據寫在多塊磁盤,讀類似RAID0,寫和存比RAID0差。
06 RAID第二部分(RAID 3、5、6、10、50)
RAID 3:條帶化存儲,有校驗,校驗信息存放于專用硬盤。RAID3校驗盤容易出現負載過大的情況,導致故障,校驗盤失效。寫入數據是最慢的,因為通過單獨的校驗盤算數據,這個校驗盤就成為了RAID3寫數據的瓶頸。讀取數據則采用多塊盤同時讀取,速度會相對較快。因為有校驗盤存在,所以出現一塊磁盤失效的情況,可以通過校驗盤進行數據恢復,帶有一定安全性。
RAID 5:條帶化存儲,有校驗,校驗信息均勻分布在陣列所有磁盤上,所有磁盤既有數據信息也有校驗信息。將單塊校驗盤分散到所有磁盤上,減小校驗盤出現負載過大故障的概率,同時突破但磁盤瓶頸,寫入數據也更快。讀取數據同RAID0、1、3。RAID5也允許一塊盤出現故障,通過剩余盤算出丟失數據。
RAID 6:針對超過一塊磁盤出故障RAID3、5無法解決的情況。采用兩次奇偶校驗方法,校驗數據分散在不同的盤上或兩塊獨立校驗盤上。
RAID 6有兩種實現方式:
RAID 6 P+Q:將兩次校驗數據分散在不同磁盤上。相當于通過兩次RAID 5過程恢復數據,先通過一次RAID 5算出校驗數據P,再算出Q。因為要兩次校驗,寫入數據效率一般,數據讀取相對較快??梢栽试S兩塊盤同時出故障,做到數據恢復。
RAID 6 DP double parity:兩塊專屬磁盤存放校驗數據。RAID 6 DP也是兩次校驗,首先完成P的校驗,再通過斜向數據完成DP校驗。RAID 6 DP兩個磁盤都是單獨做校驗,同RAID3一樣故障概率較大。寫入速度慢,讀取相對快??梢栽试S兩塊盤同時出故障。
RAID 10:業(yè)界使用最廣泛。分成兩個級別,首先完成RAID 1的過程,再完成RAID 0的過程,至少需要四塊硬盤。包含了RAID 1和RAID 0的特征,有鏡像冗余可以恢復數據,也有RAID0存取快的特征??梢栽试S兩塊壞盤(不在同一RAID 1區(qū)內)。
RAID 50:高性能的RAID場景,通過兩次RAID完成,一次RAID 5,一次RAID 0。至少需要6塊硬盤。數據既有RAID 50的冗余,又有RAID 0讀寫快的特征。比RAID利用率高
總結:
RAID 0:磁盤利用率最高,讀寫性最高。更多應用在對數據安全性要求較低但要求讀寫性能的場景,如:文本編輯工作站、圖像工作站、視頻剪輯;
RAID 1:提供鏡像冗余設計,數據讀相對快,寫入慢,磁盤利用率低(1/2)。更多應用在對數據安全性要求高的場景,如:數據庫;
RAID 3:提供單獨的校驗盤存儲數據,寫入最慢,讀性能高,磁盤利用率N-1;
RAID 5:性能比RAID 3高,寫性能比RAID 3高比RAID 0低,磁盤利用率N-1;
RAID 6:磁盤利用率N-2,經過兩次校驗,數據寫入慢,讀取高;
RAID 3、5、6適用于郵件服務器、文件服務器等;
RAID 10:磁盤利用率同RAID 1為N/2,數據讀取快,寫入一般,處于RAID 0和RAID 3、5之間;
RAID 50:奇偶校驗+冗余,磁盤利用率N-2,數據讀取快,寫入低,因為和RAID 5一樣需要校驗。
重點是RAID 5、RAID 10、RAID 50、RAID 6四個級別,在目前IT架構下應用場景較廣。
07 存儲陣列技術及應用
01組成
分類:盤控一體化架構,盤控分離架構。
控制框部分:處理、管理。
以S5500為例,接口分A控和B控。有管理網口、維護網口、串口、連接存儲陣列需要SAS級聯(lián)接口、FC主機端口。
2.硬盤框部分:存儲數據。
系統(tǒng)插框:通過這完成系統(tǒng)插件。
風扇、電源模塊:1+1冗余設計
級聯(lián)模塊:擴容。
硬盤模塊:對外提供存儲容量
02華為存儲管理工具—ISM integrity storage manager
功能
安裝
發(fā)現新設備
頁面介紹
08 SAN技術及應用
01概念
def:存儲區(qū)域網絡。
分類:FC SAN; IP SAN
連接方式:
直連組網。缺點:只能為一臺服務器
單交換組網:可以給多臺服務器。缺:應用服務器和交換機之間只有一條鏈路,只能為一臺服務器存儲。
雙交換組網:至少兩臺交換機、兩條鏈路。
4.SAN組成部分:主機總線設備卡,HBA卡
光纖線
光纖交換機和以太網交換機
存儲陣列設備
02SAN架構
SAN FC:光纖作為承載通道?;贔C協(xié)議棧,其組成,FC0:物理交換,定義物理層介質;FC1,編碼解碼;FC2,結構協(xié)議,幀流控制;FC3,加密;FC4,協(xié)議封裝。
分類:
點對點FC-PTP:只能連接2設備。直連。只能為一臺服務器提供
仲裁環(huán)FC-AL:通過集線器一個環(huán)路上工作。有一個出問題,整個環(huán)路出問題。
交換式FC-SW:通過交換機,2條鏈路,冗余式設計。
IP-SAN:承載TCP/IP協(xié)議存在。
分類:
以太網卡+軟件方式:以太網卡把數據包通過網卡傳到外界
硬件TOE網卡+軟件方式:把原來以太網卡業(yè)務分在TOE網卡中。
ISCSI HBA卡方式:即完成數據封裝和數據發(fā)放。最常用
3.FC SAN和IP SAN區(qū)別
9 NAS存儲
01 概念
def:網絡附屬存儲。有自己的文件系統(tǒng)和操作系統(tǒng)管理數據。
拓撲結構
對外提供的協(xié)議:不同服務器不同。WIN用CIFS協(xié)議,UNIX用NFS協(xié)議
CIFS:通用互聯(lián)網文件系統(tǒng)。截圖
NFS:網絡文系統(tǒng)。截圖
區(qū)別:NFS需要安裝軟件,對網絡安全性要求低。
02 NAS系統(tǒng)架構
NAS引擎:實現文件系統(tǒng)和操作系統(tǒng)支持
網絡接口:提供交互的網絡協(xié)議
存儲陣列:自己本身的存儲陣列也可包容SAN環(huán)境
03 NAS文件系統(tǒng)IO與性能影響
因素:主機、網絡、NAS本身內部。
04 NAS與SAN對比
截圖
RAID 熱備盤、預拷貝、重構
RAID --> LUN
RAID2.0 優(yōu)勢: 使得各磁盤均衡分擔負載,不再有熱點硬盤,提升了系統(tǒng)的性能和硬盤可靠性
快速精簡重構
提升單LUN性能,且其上的數據可以根據數據的活躍度,自動調整,遷移到存儲池的不同存儲層 --> SmartTier
SmartThin: 存儲容量虛擬化,按需分配,可在線擴容,容量管理自動化,告警閾值
寫時空間分配:Capacity-on-write
讀寫重定向:Redirect-on-time
讀寫流程均如下:
SmartQoS基于令牌桶原理
IOPS計算方法 傳統(tǒng)磁盤本質上一種機械裝置,如FC, SAS, SATA磁盤,轉速通常為5400/7200/10K/15K rpm不等。影響磁盤的關鍵因素是磁盤服務時間,即磁盤完成一個I/O請求所花費的時間,它由尋道時間、旋轉延遲和數據傳輸時間三部分構成。 尋道時間Tseek是指將讀寫磁頭移動至正確的磁道上所需要的時間。尋道時間越短,I/O操作越快,目前磁盤的平均尋道時間一般在3-15ms。 旋轉延遲Trotation是指盤片旋轉將請求數據所在扇區(qū)移至讀寫磁頭下方所需要的時間。旋轉延遲取決于磁盤轉速,通常使用磁盤旋轉一周所需時間的1/2表示。比如,7200rpm的磁盤平均旋轉延遲大約為60*1000/7200/2 = 4.17ms,而轉速為15000 rpm的磁盤其平均旋轉延遲約為2ms。 數據傳輸時間Ttransfer是指完成傳輸所請求的數據所需要的時間,它取決于數據傳輸率,其值等于數據大小除以數據傳輸率。目前IDE/ATA能達到133MB/s,SATAII可達到300MB/s的接口數據傳輸率,數據傳輸時間通常遠小于前兩部分時間。 因此,理論上可以計算出磁盤的最大IOPS,即IOPS = 1000 ms/ (Tseek + Troatation),忽略數據傳輸時間。假設磁盤平均物理尋道時間為3ms, 磁盤轉速為7200,10K,15K rpm,則磁盤IOPS理論最大值分別為, IOPS = 1000 / (3 + 60000/7200/2) = 140 IOPS = 1000 / (3 + 60000/10000/2) = 167 IOPS = 1000 / (3 + 60000/15000/2) = 200 固態(tài)硬盤SSD是一種電子裝置,避免了傳統(tǒng)磁盤在尋道和旋轉上的時間花費,存儲單元尋址開銷大大降低,因此IOPS可以非常高,能夠達到數萬甚至數十萬。實際測量中,IOPS數值會受到很多因素的影響,包括I/O負載特征(讀寫比例,順序和隨機,工作線程數,隊列深度,數據記錄大小)、系統(tǒng)配置、操作系統(tǒng)、磁盤驅動等等。因此對比測量磁盤IOPS時,必須在同樣的測試基準下進行,即便如何也會產生一定的隨機不確定性。通常情況下,IOPS可細分為如下幾個指標: Toatal IOPS,混合讀寫和順序隨機I/O負載情況下的磁盤IOPS,這個與實際I/O情況最為相符,大多數應用關注此指標。 Random Read IOPS,100%隨機讀負載情況下的IOPS。 Random Write IOPS,100%隨機寫負載情況下的IOPS。 Sequential Read IOPS,100%順序負載讀情況下的IOPS。 Sequential Write IOPS,100%順序寫負載情況下的IOPS
RAID數據保護
hot spare: 全局熱備盤、局部熱備盤
預拷貝:監(jiān)控發(fā)現RAID組中某成員盤即將故障失效,則提前將數據拷貝到熱備盤中,有效降低數據丟失風險
重構:RAID中發(fā)生故障的磁盤的所有數據將重新生成,并將數據寫到熱備盤上
常見的備份: D2D, D2T, D2V(虛擬磁帶庫), D2D2T(磁盤--虛擬磁帶庫--物理磁帶)