Fourinone2 0對分布式檔案的簡化操作

2021-09-01 07:37:36 字數 1401 閱讀 8515

fourinone2.0裡通過fttpadapter和fileadapter實現檔案io的支援。其中,fttpadapter提供對遠端檔案的操作,fileadapter提供對本地檔案的操作,兩者api和使用相似,這裡主要說明fttpadapter:

fttpadapter提供了對分布式檔案的便利操作, 將集群中所有機器的硬碟資源利用起來,通過統一的fttp檔案路徑訪問,並且windows和linux都能支援:

作業系統上的任何目錄檔案都可以通過新增fttp協議頭和ip去訪問:

[color=red]fttp://ip或網域名稱/window或linux原有目錄檔名[/color]

比如訪問windows系統的d:/data/a.log檔案:

windows:fttp:

比如訪問linux系統的/home/user/a.log檔案:

linux:fttp:// 192.168.0.1/home/user/a.log

獲取遠端檔案內容變的更簡單,比如以這樣的方式讀取遠端檔案:

fttpadapter fa = fttpadapter("fttp:");

fa.getfttpreader().readall();

這裡讀取了192.168.0.1這台linux伺服器上的/home/log/a.log檔案的所有內容

提供對集群檔案的操作支援,包括:

1、元資料訪問,新增刪除,按塊拆分, 高效能並行讀寫,排他讀寫(按檔案部分內容鎖定),隨機讀寫,集群複製等

2、對集群檔案的解析支援(包括按行,按分割符,按最後標識讀取)

3、對整形資料的高效能讀寫支援(arrayint比arraylist存的更多更快)

4、兩階段提交和事務補償處理

5、自帶乙個集群檔案瀏覽器,可以檢視集群所有硬碟上的檔案(不同於hadoop的namenode,沒有單點問題和容量限制)

總的來說, 將集群看做乙個作業系統,像操作本地檔案一樣操作遠端檔案。

但是fourinone並不提供乙個完整的分布式儲存系統,比如檔案資料的匯入匯出、拆分儲存、負載均衡,備份容災等儲存功能, fourinone只是讓完成這項工作變的簡單,讓開發人員可以利用這些api方便的設計和實現這些功能,用來滿足自己的特定需求。

一、[url=""]如何搭建配置fttpadapter環境[/url]

二、[url=""]如何訪問集群檔案根目錄[/url]

三、[url=""]如何訪問和操作遠端檔案[/url]

四、[url=""]如何進行集群內檔案複製和並行複製[/url]

五、[url=""]如何讀寫遠端檔案[/url]

六、[url=""]如何解析遠端檔案[/url]

七、[url=""]如何並行讀寫遠端檔案[/url]

八、[url=""]如何批量並行讀寫遠端檔案和事務補償處理[/url]

企鵝群:241116021

如何對分布式系統進行測試

如何對分布式系統進行測試 問題摘要 目前分布式系統在產品上的應用比較多,相對而言分布式系統執行環境比較複雜。分布式的一些特點,例如,網路化 開放性 動態性 實時性,使得測試難度加大很多。當前,分布式系統測試的方法比較零散,其中有一些測試方法還有待提高。問題背景 有以下三個方面研究 非同步測試工具 時...

談談自己對分布式的理解

現在常用的開源分布式框架乙個是阿里開源的dubbo,還有乙個就是spring cloud 最初的服務化解決方案是 相同服務提供乙個統一的網域名稱,然後客戶端傳送http請求,由nginx負責請求分發和跳轉,耦合了服務呼叫邏輯,相當於乙個重量級的esb 有以下幾個缺點 1 作為消費者不知道由哪個服務例...

對分布式事務的簡單理解

分布式事務就是把乙個包含多個操作步驟的業務操作 這些操作往往是由不同的應用系統來完成的 作為乙個整體來對待,要麼都成功,要麼都失敗。問題是各個操作步驟在不同的業務系統中進行操作,網路速度,系統故障等各種因素都有可能影響操作結果,必須採取有效方法來達到事務的目的。所謂的原子性就是說,在整個事務中的所有...