演算法 內外網資料發布的設計思路

2021-05-23 15:22:06 字數 711 閱讀 6127

[案例]

之前單位做的乙個健康評估管理系統,應用環境是內外網物理隔離的,但是資料又要發布到外網供使用者訪問。所以這裡涉及到資料的發布更新問題。最近反映資料檔案上傳後,在處理資料更新時總得不到處理結果。上傳檔案通過網頁來實現,後台進行資料處理,資料檔案比較大,後台涉及到資料匯入、更新處理等操作,資料處理環節又時候後要半個多小時。

這個更新應該如何設計才最合理呢?

[設計思路]

之前的設計思路是檔案上傳和更新都集中在乙個方法內實現。這樣需要web支援長時間響應,對效能肯定有影響。

我感覺應該可以把檔案上傳、處理、結果查查找分開處理。資料的更新處理通過單獨的程式後台處理,然後建立一張更新任務表,包括任務編號、資料檔名、上傳時間、處理狀態、處理結果等資訊。

思路如下:

1.考慮到檔案可能比較大,通過斷點方式續傳實現上傳。上傳完畢後進行檔案完整性驗證。然後將資料檔名和上傳時間等資訊寫入到更新任務表中,處理狀態預設未待處理狀態。

然後頁面就可以跳轉到對更新計畫表的查詢頁面了。

2.web伺服器部署個windows服務,定時讀取更新任務表中處理狀態為未處理的任務,然後進行資料的匯入,匯入完畢後依次呼叫相應的儲存過程進行資料合併處理。其中每乙個環節,都將處理時間以及處理過程最加到更新任務表的處理結果欄位中,如果出現異常,則將相應的時間和異常資訊最佳到更新任務表的處理結果欄位中,並設定處理狀態。

3.頁面上定時讀取更新計畫表的資訊,了解目前本次資料發布的處理進展。

完善的審批流程 護航內外網資料傳輸安全

大多數企業為了網路及資料安全,都會採用內外網隔離的方式,傳統網路物理隔離方案是兩台電腦,分別對應兩個不同的網路,分別稱為內部區域網和外部網際網路。彼此之間互相獨立,沒有任何交換資訊的途徑。很多單位只能採用網閘或者光閘的邏輯隔離的方案進行雙網資訊互動,但其方案有著許多限制,且只能允許資料從低密級網路傳...

關於資料產品的資料設計思路

資料產品的設計思路,因資料產品移動端顯示範圍小,故所顯示的資料需 1.統計資料,如按時間 部門 類別等維度進行合計等 2.分析結果資料,如完成百分比 增長率 同比率等 3.可下鑽明細資料,如按季度合計,可以檢視合計的月份資料,乃至日資料,直至下鑽至最小級別資料 4.可切換維度,如原先按月統計的資料,...

U盤拷貝在內外網資料擺渡中的5大「罪行」

網路隔離是一種很常見的資料保護手段,尤其在高科技研發型企業 高新製造業 金融行業 醫療行業等比較普遍,這種方式是能很好的將內部的核心資料保護起來的。隔離之後就會面臨不同網路之間的資料交換問題,很多組織或機構還是會選擇比較傳統的資料交換方式 移動介質拷貝,像u 盤啊 硬碟啊之類的。雖然沒什麼建設成本,...