轉馮春培 與資料相關的職業路徑

2021-08-30 18:12:16 字數 1287 閱讀 9304

與資料相關的職業路徑

1:管理資料

2:處理資料

3: 資料產出

當然,不管是管理資料還是處理資料,裡面都有很多的方向和空間,在不同的環境下去發揮。但如果自己身處的環境比較成熟了,就應該向下乙個目標 走,或者換個環境。

管理資料,以dba為主,也有一些非資料庫裡面的資料,對於dba裡面比如分 開發dba、應用dba、產品dba等,逐漸由 db架構、資料架構這樣一些角色出來,涉及到的事情涵蓋主機、儲存、資料庫,垂直、水平 擴充套件方向的資料層開發,讀寫分離的實現,同步容災;

處 理資料,資料庫資料只是一部分**,還有**日誌、使用者行為取樣的海量資料,一般以資料倉儲類的多,但這裡面實際上涉及到的東西很多。比如以阿里的例子來 看,**oracle rac 20個節點也遠遠提供不了服務,大家都部署了一部分greenplum ,支付寶有120個greenplum的節點(每個節點24塊 1t sata盤),阿里巴巴和**也有greenplum集群(處理能力遠超ncr了)。但是這東西也是乙個過渡產品。 **有近千個節點的以 hadoop+mapreduce為基礎的資料分析處理平台,很快將不堪重負。

目前阿里巴巴集團自行在研發新一代的大規模並行處理的資料庫,大 規模分布式並行儲存和計算都在裡面,我們也在協作開發  sql engine 以通過  sql 的形式暴露給上層應用使用。 在這一層面臨的困難和挑戰是巨大的。這個領域未來起碼還有3-5年摸索和發展。

當然常規的 etl 過程也有很多事情需要處理,但這都比較傳統。

數 據產出,bi的概念超前,但資料的產出不僅僅是bi,而是可以直接支援一些產品,如何將資料互聯互通,形成應用,體現價值,是未來更長時間的乙個趨勢。淘 寶最近發布的資料魔方是這方面的乙個嘗試。資料產出不僅需要系統能力(儲存和計算)作為支撐,還需要由真正懂業務的有前瞻性的產品經理來具體開拓業務,而 不是領導決策的附庸! 如果只為領導提供點資料支援決策,開發些報表完事,那沒什麼前途。 但在這個領域,比如阿里如果要將消費者、商家、生產者以及物流的資料結合起來,輔以金融領域的創新,讓整個社會效率提高,那才是我們真正到達我們目前所能 看到的頂峰。 但阿里這路最終成不成我不知道,也許再用10年才見分曉。

當然,比如在金融領域和電信領域, 這些企業早就利用資料了,只是這些產品相對來講大家看的明白一些。

回過來看,跟資料有關的人的價值鏈是從下到上的,因為處於初級階段的時 候連管好大規模系統的人才都稀缺。 等到管理資料這塊成熟了之後,能處理大規模資料的人才需求量就上來了。能處理好資料了之後,能讓這些資料發揮價值推動業務的人才需求量也上來了。 因為現在我們對於處理大規模資料和如何將資料發揮價值沒有成為氣候,所以bi大多成為忽悠也正常,因為落不了地。 但這事情總是要到合適的時機才能做實的。

文獻學習 張良培教授 遙感資料融合的進展與前瞻

針對同一場景並具有互補資訊的多幅遙感資料或其它觀測資料,通過對它們的綜合處理 分析與決策,獲取更高質量資料 更優化特徵 更可靠知識的技術和框架系統。資料融合的三個層級 資料級 資料級融合主要是對感測器原始觀測資料或經過預處理的資料進行融合,生成新資料,其主要目的就是為了提公升資料的質量,如解析度 對...

XML與資料集相關的操作

一 xml 1 含義 extensible markup language 可擴充套件標記語言 a 標記語言 計算機所能理解的資訊符號 2 用途 傳送及攜帶資料資訊,不用來表現或展示資料。用途的焦點是 它說明資料時什麼。具體展示就表現由使用它的應用程式來決定。而html則用來表現資料。3 例子 ve...

資料探勘與機器學習的相關理解

加州理工學院公開課 機器學習與資料探勘 機器學習 那些具體的演算法,得到精確模型,統行學家又稱為統計學習 資料探勘 資料庫,資料清洗,資料視覺化 深度學習 在影象,語音,富 取得較好表現,是機器學習的乙個分支,伴隨著大量的計算 學習方法 參考 1 監督式學習 輸入資料被稱為 訓練資料 每組訓練資料有...