一種千萬級別檔案查詢思路

2021-08-15 00:08:01 字數 374 閱讀 8043

將千萬級別的檔案按照名稱排序,

每5000條記錄提取乙個關鍵id。

按照關鍵id新建資料夾

將前5000個檔案放入第乙個關鍵資料夾中,5001-10000放入第二個資料夾中。

生成乙個python字典,鍵為所有關鍵點,值為關鍵點對應的檔案。

將python字典轉換為json檔案。

提取時的步驟:

1:將json檔案轉換為python的字典格式。

2:獲取字典的鍵

3:將鍵排序後放入乙個列表中。

4:待查詢的檔案與列表中的元素做大小比較,獲取對應的元素,即關鍵點。

5:判斷該關鍵點列表中是否存在待查詢的檔案。

6:存在則拼接出路徑,不存在則返回不存在。完成查詢。

RMI大檔案傳輸的一種思路

public inte ce uploader uploadservice是rmi提供的服務,uploader是服務端例項化後傳給客戶端使用的。介面都是在服務端實現的。然後就是接受檔案的服務端fileserver public class fileserver public string reque...

檢測檔案型別的另外一種思路

今天用swoole的時候要獲取字尾名,去網上找了找資料,發現了乙個非常有意思的反常規的獲取檔案字尾的方式,值得學習一下。一言不合就貼 tempfile fopen img,rb bin fread tempfile,2 唯讀2位元組 fclose tempfile strinfo unpack c2...

一種計算留存的思路

在一些統計系統中,為了觀察使用者的粘度,我們會計算一系列的叫做留存的指標 次日註冊留存 2日註冊留存.n日註冊留存,比如昨天註冊了1000名使用者中,在今天有300名使用者又登入了,那麼對應於昨天的註冊留存就是30 如果再去細究,還可以去計算活躍使用者的留存情況,比如昨天登入的1000名使用者中,在...