鎮(zhèn)江大道云行分布式存儲系統(tǒng)架構(gòu)

來源: 發(fā)布時間:2022-01-10

分布式存儲系統(tǒng)需要使用多臺服務(wù)器共同存儲數(shù)據(jù),而隨著服務(wù)器數(shù)量的增加,服務(wù)器出現(xiàn)故障的概率也在不斷增加。為了保證在有服務(wù)器出現(xiàn)故障的情況下系統(tǒng)仍然可用。一般做法是把一個數(shù)據(jù)分成多份存儲在不同的服務(wù)器中。但是由于故障和并行存儲等情況的存在,同一個數(shù)據(jù)的多個副本之間可能存在不一致的情況。這里稱保證多個副本的數(shù)據(jù)完全一致的性質(zhì)為一致性。分布式存儲系統(tǒng)需要多臺服務(wù)器同時工作。當(dāng)服務(wù)器數(shù)量增多時,其中的一些服務(wù)器出現(xiàn)故障是在所難免的。我們希望這樣的情況不會對整個系統(tǒng)造成太大的影響。在系統(tǒng)中的一部分節(jié)點出現(xiàn)故障之后,系統(tǒng)的整體不影響客服端的讀/寫請求稱為可用性。 運維告訴你分布式存儲的那些“坑”。鎮(zhèn)江大道云行分布式存儲系統(tǒng)架構(gòu)

面對海量數(shù)據(jù)的存儲需求,分布式存儲顯然在架構(gòu)上有著天然優(yōu)勢,但在這波數(shù)據(jù)洪流之中也面臨著性能上的全新挑戰(zhàn)。于分布式存儲的工作原理是將各個存儲節(jié)點使用網(wǎng)絡(luò)互聯(lián)的方式構(gòu)建為集群,向外部提供更加可靠的高性能服務(wù),因此可以說分布式存儲本質(zhì)上是一種網(wǎng)絡(luò)存儲,其性能在很大程度上受網(wǎng)絡(luò)的影響。在高性能的分布式存儲中,使用傳統(tǒng)的TCP網(wǎng)絡(luò)進(jìn)行各存儲節(jié)點之間的網(wǎng)絡(luò)互聯(lián)很容易形成網(wǎng)絡(luò)瓶頸,而在分布式存儲容易讓用戶詬病的IO延時方面,網(wǎng)絡(luò)部分的開銷是不可忽視的一部分。 徐州魏晉元興分布式存儲系統(tǒng)架構(gòu)分布式存儲能夠?qū)崿F(xiàn)內(nèi)容感知,配合前端應(yīng)用對海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析和價值挖掘。

實際上分布式存儲,高性能與高可用是矛盾的,比如要設(shè)計一個分布式存儲系統(tǒng),出于對性能的考慮,記錄數(shù)據(jù)時先寫一個份數(shù)據(jù)到某個機(jī)器上并立即返回,然后異步發(fā)起多個數(shù)據(jù)備份過程(副本)。這種設(shè)計的性能比較好,但存在“容錯性”的風(fēng)險,即寫完數(shù)據(jù)后,目標(biāo)機(jī)器立即發(fā)生故障,會導(dǎo)致數(shù)據(jù)丟失!如果同時寫多個副本,每個副本寫成功以后再返回,則又導(dǎo)致性能下降,因為這個過程取決于慢的那臺機(jī)器的性能。這就是高性能與高可用之間的矛盾。而要真正從根本上克服這些矛盾,解決分布式存儲的高性能和高可用問題,更有效的是對于分布式文件系統(tǒng)和分布式存儲系統(tǒng)架構(gòu)進(jìn)行優(yōu)化和改進(jìn),從而從源頭解決這些問題。

說到分布式存儲,我們先來看一下傳統(tǒng)的存儲是怎么個樣子。傳統(tǒng)的存儲也稱為集中式存儲,從概念上可以看出來是具有集中性的,也就是整個存儲是集中在一個系統(tǒng)中的,但集中式存儲并不是一個單獨的設(shè)備,是集中在一套系統(tǒng)當(dāng)中的多個設(shè)備,比如下圖中的EMC存儲就需要幾個機(jī)柜來存放。在這個存儲系統(tǒng)中包含很多組件,除了核xin的機(jī)頭(控制器)、磁盤陣列和交換機(jī)等設(shè)備外,還有管理設(shè)備等輔助設(shè)備。結(jié)構(gòu)中包含一個機(jī)頭,這個是存儲系統(tǒng)中為核xin的部件。通常在機(jī)頭中有包含兩個控制器,互為備用,避免硬件故障導(dǎo)致整個存儲系統(tǒng)的不可用。 對于保證分布式存儲系統(tǒng)的高可靠和高可用,數(shù)據(jù)在系統(tǒng)中一般存儲多個副本。

分布式存儲架構(gòu)由三個部分組成:客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器??蛻舳素?fù)責(zé)發(fā)送讀寫請求,緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請求,是整個系統(tǒng)的核xin組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù),保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時拓展,系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。分布式存儲分為文件存儲、對象存儲和塊存儲,但它們?nèi)N存儲方式的基本架構(gòu)都是大同小異的。即客戶端或應(yīng)用端、元數(shù)據(jù)(MDS)服務(wù)器和數(shù)據(jù)節(jié)點服務(wù)器。客戶端和元數(shù)據(jù)服務(wù)器之間交互是“信令交互”,而客戶端到數(shù)據(jù)節(jié)點是“媒體交互”。元數(shù)據(jù)服務(wù)器或通過數(shù)據(jù)節(jié)點服務(wù)器獲取各節(jié)點服務(wù)器的基本配置情況和狀態(tài)信息。 常見的幾種分布式存儲以及應(yīng)用場景。臺州大道云行分布式存儲有哪些

分布式存儲提供豐富的API,根據(jù)業(yè)務(wù)應(yīng)用要求,自動按需部署存儲資源,實現(xiàn)基于存儲策略的自動化管理目標(biāo)。鎮(zhèn)江大道云行分布式存儲系統(tǒng)架構(gòu)

目測分布式存儲領(lǐng)域有兩個派系,一派是SDS(軟件定義存儲),一派是軟硬一體。前者以vSAN、Ceph為代biao,以軟件廠商為主在推廣。分布式存儲軟件+通用服務(wù)器組合,打著重定義存儲市場的旗幟,頗有“有王侯將相寧有種乎”的氣勢;另一派是存儲老牌存儲玩家的產(chǎn)品,他們以軟硬一體為主,如Isilon、HCP等。誰主沉浮很難判斷,不過我們不妨從產(chǎn)業(yè)動態(tài)窺見一斑。雖然用過的客戶都詬病分布式存儲軟件+服務(wù)器的方式存在各種兼容性、可靠性、可維護(hù)性的問題,但筆者認(rèn)為SDS這種模式會長期存在,尤其是在傳統(tǒng)的低端領(lǐng)域,如備份歸檔、開發(fā)測試環(huán)境。而越往高duan走,軟硬一體越是占據(jù)主流。業(yè)界主流廠商也在持續(xù)推出軟硬一體的產(chǎn)品: 鎮(zhèn)江大道云行分布式存儲系統(tǒng)架構(gòu)

江蘇魏晉元興智能科技有限公司致力于數(shù)碼、電腦,是一家貿(mào)易型公司。公司業(yè)務(wù)分為網(wǎng)絡(luò)安全,VR,MR,VR,AI,視頻監(jiān)控安防,出入口門禁失控制等,目前不斷進(jìn)行創(chuàng)新和服務(wù)改進(jìn),為客戶提供良好的產(chǎn)品和服務(wù)。公司從事數(shù)碼、電腦多年,有著創(chuàng)新的設(shè)計、強(qiáng)大的技術(shù),還有一批獨立的專業(yè)化的隊伍,確保為客戶提供良好的產(chǎn)品及服務(wù)。在社會各界的鼎力支持下,持續(xù)創(chuàng)新,不斷鑄造高品質(zhì)服務(wù)體驗,為客戶成功提供堅實有力的支持。