分布式存儲
distributed storage
定義:將數據按照一定的分布算法分散存儲在多臺獨立的存儲節(jié)點上,實現多節(jié)點并行訪問的存儲技術。
學科:計算機科學技術_計算機體系結構_存儲系統
相關名詞:存儲介質、大規(guī)模并行計算機、服務器
圖片來源:視覺中國
【延伸閱讀】
分布式存儲最早是由谷歌提出的概念,其目的是通過廉價的服務器為大規(guī)模、高并發(fā)場景下的網頁訪問場景提供服務。它通過分布式軟件將物理資源組織起來,構成具備高性能的邏輯存儲池,在保證可靠性的同時提供多種存儲服務。
一般而言,分布式存儲是將數據分散存儲在多臺獨立的物理設備上(通常是通用X86服務器),采用可擴展的系統結構,利用多臺物理服務器分擔存儲負荷,利用位置服務器定位存儲信息。這種架構不但提高了系統的可靠性、可用性和存取效率,還易于擴展。
分布式存儲擴展能力強,容量隨節(jié)點數線性上漲,可達到EB(百億億字節(jié),艾字節(jié))級別,但網絡時延會成為分布式存儲對外提供服務時的瓶頸。
歷經幾十年的發(fā)展,分布式存儲的發(fā)展經歷了以下四個階段:
第一個階段是1980年代的網絡文件系統,該系統通過少量服務器(通用X86服務器)實現網絡環(huán)境下的簡單文件共享(文件共享是指主動地在網絡上共享自己的計算機文件)。
第二個階段是1990年代的共享SAN文件存儲,該類型存儲已經能夠外接SAN設備實現更大的文件系統。SAN存儲全稱為存儲區(qū)域網絡,是一種連接外接存儲設備和服務器的存儲架構。
第三個階段是2000年代的Share-Nothing存儲,這種存儲開始利用通用服務器構建起高擴展的存儲系統。Share-Nothing存儲架構的優(yōu)點是每臺服務器都可以對外提供服務,擴展性比之前的架構更好。
第四個階段是2010年代逐漸產生的企業(yè)級的云存儲,這類存儲開始具備豐富的企業(yè)特性,存儲性能、效率和數據保護能力有了進一步的增強,開始廣泛應用在各行各業(yè)中。
下一個十年,分布式存儲的技術創(chuàng)新將集中在AI(人工智能技術)、介質和架構三個主要的方向。
首先是AI,AI技術的發(fā)展會使得存儲更加智能,使得分布式存儲自動化運維的能力逐步增強。
其次是存儲介質,QLC(四層存儲單元)、TLC(三層存儲單元)、NVME over Fabric(使用Fabric網絡來承載NVMe協議) 等存儲介質和傳輸協議的發(fā)展使得分布式存儲具備更優(yōu)的價格和更低的時延。
最后,為了適應新興的技術和存儲介質,適配海量多樣的數據帶來的性能和成本挑戰(zhàn),分布式存儲在架構上也會出現相應的創(chuàng)新。
分布式存儲主要的應用場景一般為氣象氣候預測、地質勘探、航空航天、工程計算、材料工程等領域。
責任編輯:張鵬輝