Hadoop峰會 南航航空大資料技術應用

2021-09-23 01:31:21 字數 1158 閱讀 1042

文章講的是hadoop峰會:南航航空大資料技術應用

2023年11月22-23日,作為國內唯一專注於hadoop技術與應用分享的大規模行業盛會,2013 hadoop中國技術峰會(china hadoop summit 2013)於北京福朋喜來登集團酒店隆重舉行。來自國內外各行業領域的近千名cio、cto、架構師、it經理、諮詢顧問、工程師、hadoop技術愛好者,以及從事hadoop研究與推廣的it廠商和技術專家將共襄盛舉。

hadoop中國技術峰會由china hadoop summit專家委員會主辦,由it168、itpub、chinaunix協辦,渠達傳媒負責承辦。本屆大會將秉承「效能、應用、創新」為主題,旨在通過開放、廣泛的分享和交流,著力於促進中國企業使用者提高應用hadoop的能力和水平,降低hadoop技術應用門檻和投資預算門檻,推廣大資料的應用價值。

▲南航天合高階架構師於英

在第二天下午的企業大資料實踐主題論壇中,南航天合高階架構師於英帶來《南航航空大資料技術應用》的演講,分享了南航大資料的發展,以及大資料服務平台和大資料處理平台的架構設計。

於英表示,傳統的關聯式資料庫在支援非結構化資料分析挖掘上存在技術上的瓶頸,受到關係正規化的影響,擴充套件性和併發性比較差,成本較高,無法支援海量資料。但是大資料的環境下需要乙個海量、高效的資料庫,滿足高擴充套件性、高可用性和低成本的需求。

談到南航為什麼做大資料專案,他表示,南航目前擁有亞洲第

一、世界第三的旅客量,基於原來ioc、ioe的模式支撐資料存在很大的瓶頸,所以南航才開始逐步基於開源做大資料應用支撐。航空業會產生大資料,例如波音787每飛乙個來回都會產生幾tb的資料。除此之外,南航還會對客戶資訊做大量分析,用於精準營銷和產品設計。

▲南航大資料總體架構

nosql作為大資料開源產品的代表,有以下優點:大資料量、高效能和高可用、彈性擴充套件能力、靈活的資料模型和低成本。但是又存在很多不足,例如產品成熟度不足:不能支援事務、多表查詢、聚合查詢等;支援力度不足:大多為開源專案,沒有能力提高全球服務支援,需要使用者自行解決;管理功能缺陷:使用門檻較高,需要大量的技能來支援安裝、使用、維護和調優。

雲計算大資料峰會小記

1 openstack ionetwork 1g 儲存12 塊盤 130mb s 12 1500mb s server hash mfs glass?好像不對沒聽清 raid hardward raid 10 soferaid glass.question 網路閃斷,虛擬機器可讀不可寫 問題重現和解...

雲計算大資料峰會小記

1 openstack ionetwork 1g 儲存12 塊盤 130mb s 12 1500mb s server hash mfs glass?好像不對沒聽清 raid hardward raid 10 soferaid glass.question 網路閃斷,虛擬機器可讀不可寫 問題重現和解...

大資料 Hadoop簡述

摘要 1個人 doug cutting 2個公司 google cloudera 命名由來 doug cutting 起先給他孩子的1個棕色的大象的玩具的名字 簡短 容易發音 易於拼寫 最初的模組 hdfs 與 mapreduce 後期不斷加入hbase hive等子模組專案,直至最終hadoop泛...