人工智慧如何提公升大資料儲存與管理效率?

2021-10-10 01:56:39 字數 2408 閱讀 2555

隨著大資料的大量**以及企業可用資料量的增加,儲存容量規劃已成為儲存管理員的問題。據估計,每天產生2.5萬億位元組的資料。現在,如果以神經元計算的話,那就是相當於2.5億個人類大腦的海量資料。而且,相同的估計表明,全球總資料的90%是從2023年到2023年生成的。

可以簡單地說,每天生成越來越多的資料,這正增加了儲存工作負載的規模和複雜性。但是,人工智慧可以拯救儲存管理員,幫助他們高效地儲存和管理資料。通過使用ai資料儲存,**商和企業可以將儲存管理提公升到乙個新的水平。而且,儲存管理員可以找到他們目前正在努力管理的指標的解決方案。

儲存管理員在管理儲存問題時面臨一些挑戰。而且,如果他們克服了這些挑戰,將幫助他們在資料儲存的各個方面之間找到適當的平衡,例如在**分配工作負載,如何分配工作負載以及如何優化堆疊等等。

一般而言,吞吐量是指處理某事物的速率。在網路級別,吞吐量的度量單位是mbps(兆位/秒),而在儲存級別,吞吐量的度量單位是mb /秒(兆位元組/秒)。由於乙個位元組等於八兆位,因此生產率在儲存級別上提高了。並且,變得難以管理提高的生產率。

1. 延時

延遲是伺服器完成請求所花費的時間。關於儲存,這是指滿足單個儲存塊的請求所花費的時間。儲存塊或塊儲存是將資料儲存在卷中的塊。純延遲不受吞吐量影響,但是如果單個塊請求很大,則應用延遲可能會隨著吞吐量的增加而偏離。

2. iops(每秒輸入/輸出操作)

iops是指儲存堆疊每秒可以處理的離散讀寫任務的數量。儲存堆疊是一種允許過程呼叫的資料結構。這意味著將多個過程彼此儲存在堆疊中,然後在呼叫和返回的基礎上乙個接乙個地執行所有過程。例如,如果乙個過程被呼叫,它將被執行,然後返回,以便在堆疊中呼叫下乙個過程。而且,在談論iops時,基礎輸入/輸出任務可以達到儲存系統的堆疊限制。例如,讀取乙個大檔案和多個小檔案可能會對iops產生影響。由於讀取單個大檔案僅需要執行乙個讀取任務,因此可以以較高的速度執行它,而另一方面,讀取多個檔案的速度非常慢,因為需要執行許多讀取任務。

企業管理員和儲存**商處理各種各樣的儲存型別。而且,它們還滿足不同輸入/輸出服務的指標。大型檔案共享應用可能需要適當的吞吐量,但也必須允許延遲損失,因為大型而複雜的應用可能會對延遲產生不利影響。另一方面,電子郵件伺服器可能需要大量儲存,低延遲和良好的吞吐量,但它可能不需要非常苛刻的iops配置檔案。並且,儲存管理員應該決定應該為哪些儲存分配什麼資源。因此,在組織中執行著成千上萬的服務時,對基礎儲存的管理超過了人們進行明智更改的能力。而且,這就是ai演算法派上用場的地方。

ai可以監控儲存以檢測多種工作負載的模式和效能。這裡的工作負載是由各種輸入/輸出特徵或應用任務生成的資料流。通過檢測這些工作負載模式,ai可以幫助儲存管理員洞悉哪些工作負載可能使他們面臨最大化儲存陣列的風險。此外,儲存監視還可以幫助了解是否有任何額外的工作負載可以放入陣列中。而且,如果新增到陣列中,那麼工作負載將造成多少中斷。

例如,假設一家企業正在向流程中新增電子郵件伺服器。在這種情況下,人工智慧系統可以幫助**儲存陣列將能夠滿足該伺服器的儲存需求還是將其最大化。借助此類技術,儲存管理員可以主動獲取有關如何將不同的工作負載分配給不同的儲存堆疊並最大程度地減少延遲的資訊。因此,將ai整合到儲存陣列,儲存**商和組織中可以優化儲存堆疊。

除了監視儲存活動外,儲存管理員還需要檢查和分析儲存系統要使用的應用的編碼和錯誤。這有助於他們更好地了解如何圍繞應用的需求設計儲存體系結構。他們通過了解應用的輸入/輸出模式來做到這一點。用於執行此操作的最常見技術是捕獲應用的跟蹤。

strace是linux的使用者空間實用程式,可用於診斷、除錯和獲取有關輸入和輸出功能的指令。但是,由於複雜的應用可以具有多個輸入/輸出功能,因此這對人類來說可能是乙個挑戰。另一方面,ml演算法可以輕鬆地提取和分析大量資料,並解決許多儲存問題,最好是通過檢視儲存系統本身來解決。此外,通過使用大量資料訓練演算法,以了解特定堆疊或整個應用如何收集和儲存資料,它們可以幫助實現對該特定應用儲存活動的實時觀察,以防止堆疊最大化並改善儲存容量。

遙測資料是自動記錄和無線傳輸來自遠端或不可訪問**的資料。遙測以下列方式起作用:感測器在源處測量資料,它們將其轉換為電壓,然後將其與定時資料合併為單個資料流,該資料流將傳輸到遠端接收器。接收後,可以根據使用者要求對資料進行處理。

ai的計算機視覺技術可以掃瞄遙測資料,以保護儲存陣列免受漏洞侵害。當使用有關漏洞的歷史資料進行訓練時,機器學習演算法可以將來自各種應用程式的傳入資料與歷史資料進行匹配,以發現漏洞的可能性。因此,借助ai的**分析,儲存**商可以著眼於在遇到客戶之前防止儲存問題。

ai資料儲存仍處於起步階段,但已經顯示出了驚人的結果。而且,因此雲**商和其他儲存管理員正在對ai進行越來越多的投資,以使用超融合儲存系統進行儲存維護。採用主流ai資料儲存肯定會幫助企業控制上述所有指標,並為其客戶提供更好的服務。

人工智慧與大資料

現在,沒有什麼流行詞比大資料和人工智慧更常見了。無數的分析家向我們保證,將從根本上重塑我們的日常生活。事實上,對於圍繞人工智慧和大資料的所有討論,很少有人提到這兩種新興技術的融合,尤其是在解釋人工智慧為什麼迫切需要大資料以取得成功的時候。這是人工智慧和大資料操作之間的秘密聯絡,以及這兩種新興趨勢將如...

人工智慧大資料與複雜系統

人工智慧大資料與複雜系統 課程簡介 從alpha go到無人駕駛,人工智慧ai結合大資料發揮出驚人功效的場景越來越多。如何從零開始真正入門這個領域?人工智慧 大資料與複雜系統一月特訓班可以幫到您!人工智慧 artificial intelligence 英文縮寫為ai。它是研究 開發用於模擬 延伸和...

大資料未來 超級人工智慧?

一 理解大資料 1 當前 大資料的四大特徵 規模大 變化快 種類雜 價值密度低。2 產業成果 二 大資料到大資料計算 1 大資料膨脹,如何處理演算法以及資料的問題?上面提到的是通過改變演算法來達到遍歷資料的目的,但是在真正處理資料時依然是無法做到高效的,畢竟機器cpu的運算瓶頸擺在那裡,演算法工程師...