實現報表資料外接計算

2021-09-30 20:37:25 字數 2618 閱讀 4787

在報表應用中,針對歷史資料查詢的報表佔比很大,這類報表的特點是:第一,資料變化小,查詢的歷史資料幾乎不會發生變化;第二,資料量大,而且還會隨時間不斷增加。如果這些歷史資料始終存放在資料庫中,由於大多數資料庫的 jdbc 效能都很低下(取數過程的資料物件轉換比從檔案中讀取資料慢乙個數量級),當涉及資料量較大或併發較多的時候,報表的效能會急劇下降。顯然,如果能將這些變化不大的歷史資料移出資料庫,採用檔案系統儲存,就可以獲得比資料庫高得多的 io 效能,從而提高報表的整體效能。

但是,報表並不能直接使用原始資料,都需要運算(比如查詢彙總)之後再進行呈現,而檔案本身沒有計算能力,因此無法提供報表需要的結果。此外,使用檔案儲存的資料量一般都很大,僅靠報表呈現端很難實現高效的計算。

對於潤幹報表來說,這種需求完全可以在內建集算引擎的幫助下做到,稱為庫外檔案計算,或資料外接計算。所支援的檔案型別包括:文字、excel、json 格式檔案等,還支援效率更高的二進位制檔案。

通過資料外接計算,將較大資料量的歷史資料從資料庫中剝離,除了可以滿足歷史查詢類報表的效能需求外,還可以實現混合資料來源(檔案 + 資料庫)的計算,進而實現大資料量的實時資料查詢,比如從檔案系統中讀取往期大量的歷史資料,從資料庫中讀取當期較小量的實時資料進行混合計算。由此,一方面可以避免資料庫的 io 瓶頸,快速提公升報表效能,增大資料查詢範圍;另一方面,將歷史資料移出,資料庫可以專注於保證業務系統資料的一致性,而不是耗費資源在大量的歷史查詢任務上,這也是一種資料庫優化的手段。

下面用乙個例子說明潤幹報表實現資料外接計算(結合集算器實現)的步驟:

1、 將資料庫中歷史資料匯出到檔案

使用者可以自行選擇適當的方法將歷史資料匯出到檔案,當然這個過程也可以使用集算器來做,比如將資料匯出到文字。如果希望更高的效能,還可以使用比文字能快 2-5 倍的二進位制檔案格式。在集算器中使用以下**可將文字檔案轉換成二進位制格式。

file("e:/訂單明細.b").export@b(file(「e:/訂單明細.txt」.cursor())
file("e:/訂單明細.b").export@b(file(「e:/訂單明細.txt」.cursor())2、 使用潤幹報表內建的集算引擎讀取資料檔案當資料外接後,潤幹報表可將檔案作為資料來源來設計報表,比如根據訂單明細按客戶統計訂單數量和訂單金額,由於原始訂單資料非常大,所以讀入檔案時採用流式(檔案游標)的方式逐步讀入。

指令碼中使用的引數及其含義如下:

指令碼:a

1=file(「e:/ 訂單明細.txt」).cursor@t()

2=a1.select(貨主國家 ==county && 貨主地區 ==area && 貨主城市 ==city && 訂購日期 >=begin && 訂購日期 <=end)

3=a2.groups(客戶 id;count( 訂單 id): 訂單數量,sum(訂單金額): 訂單總額 )

4return a3

**說明:

a1:通過檔案游標採用流式處理的方式讀入大文字;

a2:按照指定的多個維度進行資料過濾,結果仍然是游標;

a3:根據選出的結果,按照客戶 id 彙總訂單數量和訂單金額;

a4:為報表返回結果集。

前面提到,潤幹報表既可以針對單獨的檔案(匯出的歷史資料)進行查詢計算,還可以進行檔案 + 資料庫的混合運算,進行大資料量實時查詢。a1

=file(「e:/ 訂單明細.txt」).cursor@t()

2=a1.select(訂購日期 >=begin && 訂購日期 <=end)

3=a2.groups(客戶 id;count( 訂單 id): 訂單數量,sum(訂單金額): 訂單金額 )

4=connect(「cmos」)

5=a4.cursor(「select 客戶 id,count( 訂單 id) 訂單數量,sum(訂單金額) 訂單金額 from 訂單明細 where 貨主國家 =? and 貨主地區 =? and 貨主城市 =? and 訂購日期 >? and 訂購日期 group by 客戶 id」,county,area,city,begin,end)

6=[a3,a5.fetch()].conj()

7>a4.close()

8=a6.groups(客戶 id;sum( 訂單數量): 訂單總量,sum(訂單金額): 訂單總額 )

9return a7

**說明:

a5:根據指定引數執行 sql,彙總當期資料;

a6:將兩部分彙總資料合併(縱向拼接);

a8:根據合併後的歷史和當期彙總資料再次彙總,得到各客戶的訂單數量和訂單金額。

3 在潤幹報表中呼叫集算指令碼,編輯報表表示式完成報表製作

資料集配置如下:

報表配置如下:

通過以上過程可以清晰的看到,潤幹報表可以通過資料外接提公升報表效能,解決對往期歷史 + 當期資料進行查詢時效能不高的問題。

實現報表資料外接計算

在報表應用中,針對歷史資料查詢的報表佔比很大,這類報表的特點是 第一,資料變化小,查詢的歷史資料幾乎不會發生變化 第二,資料量大,而且還會隨時間不斷增加。如果這些歷史資料始終存放在資料庫中,由於大多數資料庫的 jdbc 效能都很低下 取數過程的資料物件轉換比從檔案中讀取資料慢乙個數量級 當涉及資料量...

實現報表資料預先計算

報表應用中,如果資料量較大或計算過程較複雜,往往會導致報表資料來源準備過慢,從而影響報表效能。這種情況下可以預先計算報表需要的資料,在呈現時直接引用,使得使用者在訪問報表時可以迅速地獲得響應。由於報表在訪問時常常需要引數,因此顯然不可能把所有引數組合對應的報表資料來源都準備好,所以預先計算通常只生成...

實現報表資料預先計算

報表應用中,如果資料量較大或計算過程較複雜,往往會導致報表資料來源準備過慢,從而影響報表效能。這種情況下可以預先計算報表需要的資料,在呈現時直接引用,使得使用者在訪問報表時可以迅速地獲得響應。由於報表在訪問時常常需要引數,因此顯然不可能把所有引數組合對應的報表資料來源都準備好,所以預先計算通常只生成...