如何用XML實現高效管理資料

2021-04-15 13:07:07 字數 2546 閱讀 6477

xml資料是web上資料交換和表達的標準形式,和關聯式資料庫相比,xml資料可以表達具有複雜結構的資料,比如樹結構的資料。正因為此,在資訊整合系統中,xml資料經常被用作資訊轉換的標準。 bitscn~com

管理三大領域資料

bbs.bitscn.com網管論壇

基於xml資料的特點,xml資料的高效管理通常有著以下的應用。

www_bitscn_com中國.網管聯盟

1.複雜資料的管理bitscn#com中國網管聯盟

xml可以有效地表達複雜的資料。這些複雜的資料雖然利用關聯式資料庫也可以進行管理,但是這樣會帶來大量的冗餘。比如說文章和作者的資訊,如果利用關聯式資料庫,需要分別用關係表達文章和作者的資訊,以及這兩者之間的關係,這樣的表達,在文章和作者關係的關係中分別需要儲存文章和作者對應的id,如果僅僅為了表達文章和作者之間的關係,這個id是冗餘資訊,在xml資料中物件之間的關係可以直接用巢狀或者id-idref的指向來表達。此外xml資料上的查詢可以表達更加複雜的語義,比如xpath可以表達比sql更為複雜的語義。因此利用xml對複雜資料進行管理是一項有前途的應用。

www_bitscn_com中國.網管聯盟

2.網際網路中資料的管理

bbs.bitscn.com網管論壇

網際網路上的資料與傳統的事務資料庫與資料倉儲都不同,其特點可以表現為模式不明顯,經常有缺失資訊,物件結構比較複雜。因此在和網際網路相關的應用,特別是對從網際網路採集和獲取的資訊進行管理的時候,如果使用傳統的關聯式資料庫,存在著產生過多的關係,關係中存在大量的空值等問題。而xml可以用來表達半結構資料,對模式不明顯,存在缺失資訊和結構複雜的資料可以非常好的表達。特別在許多web系統中,xml已經是資料交換和表達的標準形式。因此xml資料的高效管理在網際網路的系統中存在著重要的應用。

bbs.bitscn.com

3.資訊整合中的資料管理

bbs.bitscn.com中國網管論壇

現代資訊整合系統超越了傳統的聯邦資料庫和資料整合系統,需要整合多種多樣的資料來源,包括關聯式資料庫、物件-關聯式資料庫以及網頁和文字形式存在的資料。對於這樣的資料進行整合,xml這樣既可以表達結構資料也可以表達半結構資料的形式成為首選。 而在資訊整合系統中,為了提高系統的效率,需要建立乙個cache,把一部分資料放到本地。在基於xml的資訊整合系統中,這個cache就是乙個xml資料管理系統。因此xml資料的管理在資訊整合系統中也有著重要的應用。 www@bitscn@com

開發難點解決之道

www@bitscn@com

1.關聯式資料庫中複雜查詢的優化bbs.bitscn.com中國網管論壇

在基於關聯式資料庫的xml資料管理系統中。在沒有建立索引的情況下,系統的效能非常低,為了提高系統的效能,我們在編碼上建立了索引,經過分析,由於在系統中最常做的操作是a.x b.y的join操作,最好的選擇是建立二維索引,由於我們的後端資料庫沒有對二維索引的支援,我們選擇了在x和y屬性上分別建立b+樹的方法。使得系統效能得到了提高。此外,我們發現,在對巢狀查詢進行翻譯的過程中,如果巢狀查詢的結果可能過大,對巢狀查詢的結果建立臨時表可以提高系統的效能。

bbs.bitscn.com中國網管論壇

經驗總結:對於乙個資料庫應用,需要對其workload進行分析,根據workload建立索引;對於執行效率很慢的查詢或查詢集合,可以通過分析查詢計畫找出系統的瓶頸進行處理。

www@bitscn@com

2.複雜資料庫系統的除錯

bbs.bitscn.com中國網管論壇

在除錯xml資料的管理系統中,多次出現了小規模資料執行準確,效率很高,而大規模資料執行錯誤或執行效率很低的情況。對於這種情況,我們採取了定位錯誤、猜測錯誤, 繼而加以解決的策略,也就是首先確定出現錯誤的操作,使得錯誤的出現具有可重複性,然後通過逐步刪減資料,確定資料出現在哪些資料上,這樣就使得除錯設計的操作和資料的規模大大減小了,然後根據經驗對錯誤進行猜測,逐步排除錯誤。

[bitscn.com]

經驗總結:對於資料規模大、操作複雜的資料庫系統的除錯,首要任務是讓錯誤可以重現,然後把次要因素逐步排除,最後發現問題的所在。 bitscn#com中國網管聯盟

3.複雜資料庫系統的測試

www_bitscn_com中國.網管聯盟

由於系統需要處理各種各樣的xml上的查詢,為了確保系統的健壯性,需要選取多種具有代表性的查詢對系統進行測試。為了選取這樣的查詢,我們考察了xml上影響查詢的不同引數,包括查詢的長度、查詢中包含的關係種類、查詢的選擇性和查詢中約束條件的選擇性,根據這些引數,我們分別選擇有代表性的查詢對系統進行測試。

bbs.bitscn.com

經驗總結:對資料庫系統的測試集合的選擇,必須考慮到可能查詢的多種因素;在資料庫系統的設計和測試過程中,對資料庫系統可能用於處理的查詢集合,需要有深入的了解。

本文**

如何用SQL資料支援XML

如果你在it業工作,那麼你很可能聽說過xml 但如果你的工作主要與sql server有關,那麼你可能並沒有直接運用過xml。xml已經是web程式設計環境中的普遍的資料格式了,而且它也是.framework中主要的底層技術之一。sql server以兩種方式來支援xml 通過sql server本...

如何用XML資料繫結前台Repeater

最近有朋友問到我如何用xml資料繫結前台repeater檔案,我查了一下以前做的專案,這裡給大家介紹一下,方便大家也方便我自己日後查詢。廢話少說,上 前台檔案 aspx 在aspx前台頁面引用xml命名空間 page language c autoeventwireup true codebehin...

如何用java實現資料脫敏

資料脫敏是指對某些敏感資訊通過脫敏規則進行資料的變形,實現敏感隱私資料的可靠保護。在涉及客戶安全資料或者一些商業性敏感資料的情況下,在不違反系統規則條件下,對真實資料進行改造並提供測試使用,如身份證號 手機號 卡號 客戶號等個人資訊都需要進行資料脫敏,資料庫安全技術之一。比如我們現在有個user表,...