存儲層級內(nèi)的優(yōu)化技術:構建存儲系統(tǒng)時.需要基于成本和性能來考慮,因此存儲系統(tǒng)通常采用多層不同性價比的存儲器件組成存儲層次結構。大數(shù)據(jù)的規(guī)模大,因此構建高效合理的存儲層次結構,可以在保證系統(tǒng)性能的前提下,降低系統(tǒng)能耗和構建成本,利用數(shù)據(jù)訪問局部性原理.可以從兩個方面對存儲層次結構進行優(yōu)化。從提高性能的角度,可以通過分析應用特征,識別熱點數(shù)據(jù)并對其進行緩存或預取,通過高效的緩存預取算法和合理的緩存容量配比,以提高訪問性能。從降低成本的角度,采用信息生命周期管理方法,將訪問頻率低的冷數(shù)據(jù)遷移到低速廉價存儲設備上,可以在小幅系統(tǒng)整體性能的基礎上,大幅降低系統(tǒng)的構建成本和能耗。分布式存儲系統(tǒng),是將數(shù)據(jù)分...
在分布式系統(tǒng)中,分區(qū)可容忍性總是要滿足的,因此一致性和可用性不能同時滿足。存儲系統(tǒng)設計時需要在一致性和可用性之間權衡,在某些場景下,不允許丟失數(shù)據(jù),在另外一些場景下,極小的概率丟失部分數(shù)據(jù)是允許的,可用性更加重要。隨著集群規(guī)模越來越大,故障發(fā)生的概率也越來越大了,大規(guī)模集群每天都有故障發(fā)生。容錯是分布式存儲系統(tǒng)涉及的重要目標,只有實現(xiàn)了自動化容錯,才能減少人工運維成本,實現(xiàn)分布式存儲的規(guī)模效應。首先,分布式存儲系統(tǒng)需要能夠檢測到機器故障。接著,需要能夠將服務復制或者遷移到集群中的其他正常服務的存儲節(jié)點。分布式存儲領域有兩個派系,一派是SDS(軟件定義存儲),一派是軟硬一體。鄭州企業(yè)分布式存儲系...
傳統(tǒng)數(shù)據(jù)存儲模型需要支持盡可能多的應用,因此需要具備較好的通用性。大數(shù)據(jù)具有大規(guī)模、高動態(tài)及快速處理等特性,通用的數(shù)據(jù)存儲模型通常并不是較能提高應用性能的模型.而大數(shù)據(jù)存儲系統(tǒng)對上層應用性能的關注遠遠超過對通用性的追求。針對應用和負載來優(yōu)化存儲,就是將數(shù)據(jù)存儲與應用耦合。簡化或擴展分布式文件系統(tǒng)的功能,根據(jù)特定應用、特定負載、特定的計算模型對文件系統(tǒng)進行定制和深度優(yōu)化,使應用達到較好的性能。分布式存儲系統(tǒng)中的多臺服務器通過網(wǎng)絡進行連接。但是我們無法保證網(wǎng)絡是一直通暢的,分布式系統(tǒng)需要具有一定的容錯性來處理網(wǎng)絡故障帶來的問題。一個令人滿意的情況是,當一個網(wǎng)絡因為故障而分解為多個部分的時候,分布式...
存儲系統(tǒng)標準化:隨著分布式存儲的發(fā)展,存儲行業(yè)的標準化進程也不斷推進,分布式存儲優(yōu)先采用行業(yè)標準接口(SMI-S或OpenStack Cinder)進行存儲接入。在平臺層面,通過將異構存儲資源進行抽象化,將傳統(tǒng)的存儲設備級的操作封裝成面向存儲資源的操作,從而簡化異構存儲基礎架構的操作,以實現(xiàn)存儲資源的集中管理,并能夠自動執(zhí)行創(chuàng)建、變更、回收等整個存儲生命周期流程?;诋悩嫶鎯φ系墓δ?,用戶可以實現(xiàn)跨不同品牌、介質地實現(xiàn)容災,如用中低端陣列為好的陣列容災,用不同磁盤陣列為閃存陣列容災等等,從側面降低了存儲采購和管理成本。存儲層級內(nèi)的優(yōu)化技術:構建存儲系統(tǒng)時,需要基于成本和性能來考慮。國內(nèi)存儲服...