隨著網(wǎng)絡(luò)帶寬的高速增長(zhǎng)，在軟件上的消耗已成為網(wǎng)絡(luò)性能的瓶頸，而通過繞過CPU實(shí)現(xiàn)高性能傳輸?shù)腞DMA網(wǎng)絡(luò)成為分布式存儲(chǔ)不錯(cuò)的選擇。RDMA（RemoteDirectMemoryAccess），可以簡(jiǎn)單理解為網(wǎng)卡完全繞過CPU實(shí)現(xiàn)兩個(gè)服務(wù)器之間的內(nèi)存數(shù)據(jù)交換。其作為一種硬件實(shí)現(xiàn)的網(wǎng)絡(luò)傳輸技術(shù)，可以大幅提升網(wǎng)絡(luò)傳輸效率，幫助網(wǎng)絡(luò)IO密集的業(yè)務(wù)（比如分布式存儲(chǔ)、分布式數(shù)據(jù)庫(kù)等）獲得更低的時(shí)延以及更高的吞吐。初的RDMA是實(shí)現(xiàn)在IB（Infiniband）上，由于其新的硬件技術(shù)棧成本比較高，主要用于HPC（高性能計(jì)算）等少數(shù)場(chǎng)景。而新的技術(shù)發(fā)展下，能夠?qū)崿F(xiàn)在以太網(wǎng)上使用RDMA。 布式存儲(chǔ)解決如何將數(shù)據(jù)存到多臺(tái)機(jī)器上，并且提供可用性，可靠性和一致性等問題。鹽城數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
得益于合理的分布式架構(gòu)，分布式存儲(chǔ)可預(yù)估并且彈性擴(kuò)展計(jì)算、存儲(chǔ)容量和性能。分布式存儲(chǔ)的水平擴(kuò)展有以下幾個(gè)特性：1)節(jié)點(diǎn)擴(kuò)展后，舊數(shù)據(jù)會(huì)自動(dòng)遷移到新節(jié)點(diǎn)，實(shí)現(xiàn)負(fù)載均衡，避點(diǎn)過熱的情況出現(xiàn);2)水平擴(kuò)展只需要將新節(jié)點(diǎn)和原有集群連接到同一網(wǎng)絡(luò)，整個(gè)過程不會(huì)對(duì)業(yè)務(wù)造成影響;3)當(dāng)節(jié)點(diǎn)被添加到集群，集群系統(tǒng)的整體容量和性能也隨之線性擴(kuò)展，此后新節(jié)點(diǎn)的資源就會(huì)被管理平臺(tái)接管，被用于分配或者回收。隨著分布式存儲(chǔ)的發(fā)展，存儲(chǔ)行業(yè)的標(biāo)準(zhǔn)化進(jìn)程也不斷推進(jìn)，分布式存儲(chǔ)優(yōu)先采用行業(yè)標(biāo)準(zhǔn)接口進(jìn)行存儲(chǔ)接入。在平臺(tái)層面，通過將異構(gòu)存儲(chǔ)資源進(jìn)行抽象化，將傳統(tǒng)的存儲(chǔ)設(shè)備級(jí)的操作封裝成面向存儲(chǔ)資源的操作，從而簡(jiǎn)化異構(gòu)存儲(chǔ)基礎(chǔ)架構(gòu)的操作，以實(shí)現(xiàn)存儲(chǔ)資源的集中管理，并能夠自動(dòng)執(zhí)行創(chuàng)建、變更、回收等整個(gè)存儲(chǔ)生命周期流程，從而降低了存儲(chǔ)采購(gòu)和管理成本。 上海大規(guī)模分布式存儲(chǔ)運(yùn)維告訴你分布式存儲(chǔ)的那些“坑”。
分布式存儲(chǔ)早期主要用于互聯(lián)網(wǎng)日志、企業(yè)備份歸檔、開發(fā)測(cè)試等場(chǎng)景，這些場(chǎng)景無疑是低價(jià)值場(chǎng)景，成本是第yi訴求甚至訴求。然此一時(shí)彼一時(shí)，士別三日也當(dāng)刮目相看。首先是分布式存儲(chǔ)產(chǎn)品能力已今非昔比，逐漸具備了承載企業(yè)高價(jià)值業(yè)務(wù)的關(guān)鍵能力，例如毫秒級(jí)時(shí)延、TB/s級(jí)帶寬、雙活/3DC業(yè)務(wù)級(jí)容災(zāi)、端到端DIF等，無論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)的承載，功能完備性的比較大短板早已補(bǔ)齊。其次，分布式存儲(chǔ)已走入眾多高價(jià)值關(guān)鍵業(yè)務(wù)，如運(yùn)營(yíng)商BOM業(yè)務(wù)、金融渠道類業(yè)務(wù)以及超算、油藏探測(cè)HPC等高價(jià)值業(yè)務(wù)，通過大規(guī)模應(yīng)用實(shí)踐來檢驗(yàn)成色。（小道消息，某些高價(jià)值場(chǎng)景全閃出貨價(jià)達(dá)到1000美金/TB以上啦）看完當(dāng)下還要看看未來，筆者認(rèn)為未來高價(jià)值的非結(jié)構(gòu)化數(shù)據(jù)場(chǎng)景，分布式存儲(chǔ)的版圖還會(huì)持續(xù)擴(kuò)展。如自動(dòng)駕駛訓(xùn)練、4K/8K超高清、5G日志留存等場(chǎng)景，對(duì)多協(xié)議訪問、極zhi帶寬、擴(kuò)展性訴求強(qiáng)烈，分布式存儲(chǔ)已然成為這些未來業(yè)務(wù)的優(yōu)先架構(gòu)。
分布式存儲(chǔ)早是由谷歌提出的，其目的是通過廉價(jià)的服務(wù)器來提供使用與大規(guī)模，高并發(fā)場(chǎng)景下的Web訪問問題。它采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)存儲(chǔ)負(fù)荷，利用位置服務(wù)器定位存儲(chǔ)信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。分布式存儲(chǔ)的興起與互聯(lián)網(wǎng)的發(fā)展密不可分，互聯(lián)網(wǎng)公司由于其數(shù)據(jù)量大而資本積累少，而通常都使用大規(guī)模分布式存儲(chǔ)系統(tǒng)。與傳統(tǒng)的高duan服務(wù)器、高duan存儲(chǔ)器和高duan處理器不同的是，互聯(lián)網(wǎng)公司的分布式存儲(chǔ)系統(tǒng)由數(shù)量眾多的、低成本和高性價(jià)比的普通PC服務(wù)器通過網(wǎng)絡(luò)連接而成。 超大規(guī)模時(shí)空數(shù)據(jù)的分布式存儲(chǔ)與應(yīng)用。
一般分布式存儲(chǔ)的MDC采用的是數(shù)據(jù)庫(kù)或內(nèi)存儲(chǔ)數(shù)據(jù)庫(kù)來記錄數(shù)據(jù)塊和物理位置關(guān)系。客戶端向MDC發(fā)出詢問位置的請(qǐng)求，MDC查詢數(shù)據(jù)庫(kù)后返回請(qǐng)求數(shù)據(jù)的存儲(chǔ)位置。這種方法存儲(chǔ)訪問的速度較慢，而且MDC作為交通的“樞紐”，是整個(gè)存儲(chǔ)的核xin，當(dāng)MDC發(fā)生故障，會(huì)導(dǎo)致整個(gè)存儲(chǔ)都不能使用。但是采取這個(gè)方式，也有好處，比如可以根據(jù)不同需求設(shè)置不同的副本策略等。對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)是在同樣容量下提供的存儲(chǔ)性能比文件存儲(chǔ)更好，又能像文件存儲(chǔ)一樣有很好的共享性。實(shí)際使用中，性能不是對(duì)象存儲(chǔ)關(guān)注的問題，需要高性能可以用塊存儲(chǔ)，容量才是對(duì)象存儲(chǔ)關(guān)注的問題。所以對(duì)象存儲(chǔ)的持久化層的硬盤數(shù)量更多，單盤的容量也更大。對(duì)象存儲(chǔ)的數(shù)據(jù)的安全性保障也各式各樣，可以是單機(jī)raid或網(wǎng)絡(luò)raid，也可以副本。Ceph和google基于GFS的存儲(chǔ)就是典型的對(duì)象存儲(chǔ)。 分布式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)技術(shù)，通過網(wǎng)絡(luò)使用企業(yè)中的每臺(tái)機(jī)器上的磁盤空間。臺(tái)州大道云行分布式存儲(chǔ)原理
分布式存儲(chǔ)能夠?qū)崿F(xiàn)內(nèi)容感知，配合前端應(yīng)用對(duì)海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析和價(jià)值挖掘。鹽城數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
為了保證分布式存儲(chǔ)系統(tǒng)的高可靠和高可用，數(shù)據(jù)在系統(tǒng)中一般存儲(chǔ)多個(gè)副本。當(dāng)某個(gè)副本所在的存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障時(shí)，分布式存儲(chǔ)系統(tǒng)能夠自動(dòng)將服務(wù)切換到其他的副本，從而實(shí)現(xiàn)自動(dòng)容錯(cuò)。分布式存儲(chǔ)系統(tǒng)通過復(fù)制協(xié)議將數(shù)據(jù)同步到多個(gè)存儲(chǔ)節(jié)點(diǎn)，并確保多個(gè)副本之間的數(shù)據(jù)一致性。客戶端將寫請(qǐng)求發(fā)送給主副本，主副本將寫請(qǐng)求復(fù)制到其他備副本，常見的做法是同步操作日志（CommitLog）。主副本首先將操作日志同步到備副本，備副本回放操作日志，完成后通知主副本。接著，主副本修改本機(jī)，等到所有的操作都完成后再通知客戶端寫成功。下圖中的復(fù)制協(xié)議要求主備同步成功才可以返回客戶端寫成功，這種協(xié)議稱為強(qiáng)同步協(xié)議。 鹽城數(shù)據(jù)分布式存儲(chǔ)架構(gòu)實(shí)戰(zhàn)
江蘇魏晉元興智能科技有限公司主要經(jīng)營(yíng)范圍是數(shù)碼、電腦，擁有一支專業(yè)技術(shù)團(tuán)隊(duì)和良好的市場(chǎng)口碑。魏晉元興智能致力于為客戶提供良好的網(wǎng)絡(luò)安全，VR,MR，VR，AI，視頻監(jiān)控安防，出入口門禁失控制，一切以用戶需求為中心，深受廣大客戶的歡迎。公司秉持誠(chéng)信為本的經(jīng)營(yíng)理念，在數(shù)碼、電腦深耕多年，以技術(shù)為先導(dǎo)，以自主產(chǎn)品為重點(diǎn)，發(fā)揮人才優(yōu)勢(shì)，打造數(shù)碼、電腦良好品牌。魏晉元興智能秉承“客戶為尊、服務(wù)為榮、創(chuàng)意為先、技術(shù)為實(shí)”的經(jīng)營(yíng)理念，全力打造公司的重點(diǎn)競(jìng)爭(zhēng)力。