• <input id="cusyy"></input>
  • <menu id="cusyy"><strong id="cusyy"></strong></menu>
  • 中國數據存儲服務平臺

    為什么Hitachi Vantara的高性能文件存儲HCSF火了?

    在日前的采訪中,Hitachi Vantara中國區技術銷售總監謝勇、Hitachi Vantara中國區資深解決方案顧問蔡慧陽透露:Hitachi Vantara高性能文件存儲HCSF深受市場歡迎,取得了不錯的銷售業績。一直到這個時候,我還不知道HCSF (Hitachi Content Software for File) 是怎樣的一款產品,也就根本不知道為什么HCSF會受歡迎。

    從“日立文件內容軟件”的字面意思來看,HCSF很像是一款分布式NAS產品,市場上這樣的產品很多,為什么HCSF會受歡迎,就因為Hitachi Vantara的品牌光環嗎?

    Hitachi Vantara的前身是HDS,與EMC、NetApp并稱為專業存儲廠商的前三名,是外部存儲市場的領導者,是集中式存儲的代表。在分布式存儲方面,此前只有HCP (Hitachi Content Platform),一款分布式對象存儲產品。

    從技術上說,HCSF是一款分布式文件存儲,那么和分布式NAS存儲有什么分別呢?

    顯然,HCSF不是分布式NAS存儲,產品定位更多的不是面向通用的文件存儲市場,HCSF面向的是HPC (高性能計算)、HPDA(高性能數據分析)、AI(人工智能)這樣的典型的新型應用場景,其市場特點是對高IOPS、高帶寬、以及低延遲有著苛刻的需求,是普通分布式NAS沒有辦法滿足的市場領域。

    對HPC高性能計算稍有了解的朋友都知道這是一個特別的專門領域。一開始的時候,計算和存儲緊密結合,并沒有一個“高性能計算存儲”的市場存在,但是隨著應用的發展,計算、存儲分離的需求日益突出。原因也很簡單,一方面數據量急劇增加,使用多套存儲的方式管理起來非常麻煩;其次,后端存儲的性能已經跟不上前端算力的步伐,前端的CPU+GPU異構計算、混合負載、混合文件大小對后端存儲提出了更高性能需求。

    為了大幅提升文件存儲的性能,除了使用常見的POSIX協議,HCSF還支持英偉達的GPU Direct Storage (GDS)協議,這樣性能還可以進一步得以提升。

    英偉達公司 (NVIDIA) 為了避免出現性能瓶頸,針對后端存儲開發了一種新的訪問協議——NVIDIA GPU Direct Storage (GDS),通過在NVMe存儲系統和GPU內存之間啟用DMA (直接內存存取),提升存儲的效率。

    GDS在存儲和GPU之間提升2~8倍的數據傳輸帶寬;延遲大為降低,例如在某些場景下端到端傳輸的延遲能夠實現3.8x的降低;當GPU并發度增加時,GDS仍然保持穩定的低延遲輸出。GPU不僅作為實現最高帶寬的計算引擎,同時也作為實現最高IOPS的計算引擎。在某些場景的實測數據表明,如果單純使用CPU,吞吐率僅能達到50 GB/s;而使用GPU之后,吞吐率可達到215 GB/s。因此,能支持GDS的存儲系統更能充分匹配前端的異構計算能力。

    類似GDS這樣新技術的出現,進一步推動了高性能計算存儲的需求,HCSF瞄準的就是這一塊市場領域?,F有開源高性能文件存儲方面主要是基于Lustre或BeeGFS,此外部分傳統分布式NAS通過配置閃存盤也能覆蓋一些較低的性能需求。相比之下,HCSF的設計初衷就是要解決傳統的分布式NAS和其他分布式文件系統遇到的各種性能瓶頸和擴展問題。

    HCSF非常適用于自動駕駛訓練、基因測序、AI、ML等應用對極致性能和超大容量的需求。在人工智能驅動的高性能數據分析領域,在數據處理的不同階段,對存儲有不同的性能需求。例如,某些階段要求超高帶寬,某些階段要求超高IOPS+超低延時,還有一些階段同時要求超高帶寬+超高IOPS。同時,在文件的大小方面,以往以處理大文件為主,小文件性能往往不佳。這就要求新一代的文件存儲產品能夠通過某些技術優化,例如小I/O聚合等技術,兼顧大I/O和小I/O處理的性能需求。HCSF作為新一代的高性能文件存儲產品,可以直接將數據在客戶端進行切片,小文件打包處理,同時寫入到所有節點的硬盤上,通過并行方式提高了讀寫效率。完美地解決了這些問題。另外,如何存儲超大規模的數據也是一個現實的問題。以自動駕駛訓練場景為例,當下主流的L2-L3級別自動駕駛訓練階段,每輛車每天產生的數據量已經達到幾TB到10TB不等;隨著汽車行駛里程的增加,以及將來逐步進入高級別自動駕駛階段(L4-L5),產生的數據總量能達到幾百PB甚至EB級的規模,所以AI訓練需要處理的數據規模相當大,也就是說后端文件存儲的容量擴展性要足夠大。HCSF近乎無限的擴展能力可以輕松地滿足超大數據量的存儲需求。

    不僅如此,高性能數據分析除了需要兼顧高帶寬、高IOPS和低時延的性能要求,還需要確保海量數據之間跨系統的協同交互與共享。如此一來,多協議互通就成為必然的選擇。從目前了解到的情況來看,HCSF支持的協議種類可以說在所有高性能文件存儲中是最全的。強大的多協議支持能力能更方便的接入不同種類的應用服務器,這樣才能有效避免數據在不同的服務器與存儲之間來回移動,在減少采購多套存儲的同時,也縮短了數據處理時間。

    正是因為準確把握了技術和市場應用的需求,在Hitachi Vantara品牌的加持下,HCSF的市場成功,也是水到渠成的事情!對嗎?

    未經允許不得轉載:存儲在線 » 為什么Hitachi Vantara的高性能文件存儲HCSF火了?
    分享到: 更多 (0)
    wwwwcxxxx
  • <input id="cusyy"></input>
  • <menu id="cusyy"><strong id="cusyy"></strong></menu>