IBM 11鏈結Hadoop最佳實踐

2021-08-10 10:04:30 字數 2541 閱讀 4063

大資料標誌著業務分析的新時代到來,各商業組織現在有機會就資料在容量、速度和多樣性的傳統處理能力不足問題上作出更加明智的決策。ibm 具有得天獨厚的優勢, 可以提供全面的技術和服務, 從大資料中吸取可操作的洞察力,通過與如ibm infosphere biginsights 為代表的hadoop技術互鏈, ibm cognos 商業智慧型現在可以輕鬆訪問非結構化源資料, 從而使業務分析人員能夠接觸到大量非結構化資料中發現的關鍵洞察。

在最新的cognos analytics 11環境中使用 hadoop 的另一種方法是使用文字檔案 (如 csv) 傳輸資料。hadoop 可以生成乙個資料檔案, 然後可以將其匯入到 cognos 中。

然而, 為什麼要使用 hadoop 來連線cognos呢?舉個例子,我使用 hadoop 的兩個應用程式是庫存**和現金流量/預算,如果您正在嘗試執行對數十萬 sku 的常規**, 則 hadoop 是乙個非常好的工具。另外,如果您試圖執行蒙特卡洛模擬超過1000預算專案, hadoop 也是非常棒的選擇。只需從資料倉儲匯入資料, 執行您的 hadoop 作業, 然後將生成的 csv 檔案匯入 cognos,一切就完成了。

另外,ibm infosphere biginsights為ibm官方的hadoop產品,本文將用該產品作為hadoop的鏈結物件,並且,將通過cognos最新的hadoop鏈結能力說明,來為cognos的大資料使用作指導。

ibm cognos 11新特性

首先,cognos公升級到cognos 11版本有很多重大的變化,名稱也由cognos business intelligence變更為cognos analytics,從而更加強調分析能力,比如時下流行的敏捷bi,大資料視覺化,協同等能力。即很好的保持了cognos以往穩健的資料工程學體系,來保證使用者對於資料的信任,另一方面也提供了簡潔的介面來增強使用者的使用體驗,並且支援雲部署。特別是引入的協同能力能使得組織能夠輕鬆地在成百上千的使用者和他們的生態系統中共享知識,並為驅動業務結果的決策和操作提供動力。新的cognos analytics提供了以下功能:

(1)提供使用者端分析

可定製的使用者介面,為桌面、平板電腦和智慧型手機提供一致的體驗

綜合搜尋功能,幫助您導航和快速訪問已知內容和發現新內容

自動選擇基於資料型別的最佳預設視覺化

易於訪問參考模板和樣式以建立一致的和專業的報告

能夠通過引導選單個性化您的分析環境,並更容易地導航內容,包括收藏夾、通知和我的內容

共享報告和資料模型,為建立新的、擴充套件的報告和資料模型提供了基礎

(2)

提供分析和內容的創作

更快速的格式和風格的選擇,在需要的地方。

更快地構建互動式報告和預覽內容(演練、排序或篩選)。該解決方案還允許使用者在web上啟動或移動,反之亦然。

更容易將資料拖放到乙個可以自動顯示資料的環境中。

(3)

提供建模能力

使用搜尋啟用完全基於web和基於意圖的建模。

支援快速建立新模型或修改現有模型的能力,更改模型屬性,並提交給每個人使用,並報告多個模型。

提供在相同環境中測試和驗證模型的能力。

ibm cognos 11對hadoop的支援

在cognos11最新的功能裡,也強化了對於hadoop的支援,首先,hive是乙個駐留在hadoop之上的資料倉儲系統,hive提供了資料提取,轉換和匯入(etl)工具,它可以新增結構到甚至是基於文字的資料來源中,並且能夠嵌入大量資料分析到hadoop的分布式檔案系統hadoop distributed file system(hdfs)中。

cognos商業智慧型系統能生成hiveql去呼叫查詢biginsights檔案系統,cognos商業智慧型伺服器通過biginsights配置hive jdbc驅動程式鏈結到biginsights。hive目錄的元資料可以匯入進cognos framework manager,並作為商業智慧型的元資料建模發布包含biginsights內容包到cognos的商業智慧型伺服器中。這些包可以用於建立cognos報表(包括cognos互動報表),儀錶盤,以及workspaces,同時驅動big insights的裡的map/reduce的能力。

cognos與hadoop的連線架構圖

總結

通過hadoop的鏈結,有許多新的資訊**現在可以在cognos 商業智慧型上進行分析,而這些重要的資料**以前卻因技術限制而被放棄。這使使用者可以利用cognos 的優勢, 在諸如儀錶盤, 報表分發,和資料視覺化, 和 對biginsights 的大規模並行處理能力支援。本文中描述的互操作性僅僅是ibm cognos 商業智慧型和hadoop之間的整合的乙個未來重要的里程碑。

常用IBM技術和產品資源鏈結

常用ibm技術和產品資源鏈結 1.developerworks中文 websphere,db2,rational,tivoli,lotus,linux,soa等 2.developerworks英文 3.ibm alphaworks新興技術 4.ibm紅寶書 redbooks 6.webspere知...

RFID將成IBM重要業務 11億美元收購補短板

計世 ibm日前同意以11億美元現金收購ascential software corp.希望通過收購此資料整合軟體公司,以適應隨無線射頻辨識 rfid技術在零售業普遍採用下而產生的大量資料整 合需要。ibm在此之前已經收購3家麻州軟體公司,包括cambridge的lotus development ...

11 CSS3簡單入門 鏈結

這一次簡單介紹下css3鏈結的使用 a link 普通的 未被訪問過鏈結時 a visited 使用者已經訪問過鏈結時 a hover 滑鼠指標位於鏈結的上方時 a active 鏈結被點選時 text decoration屬性大多用於去掉鏈結種的下劃線 直接上 1 doctype html 2 h...