資料風雲 十年變遷(DTCC會議總結)

2021-09-22 16:44:29 字數 2458 閱讀 7902

近日參加2023年dtcc大會,感觸頗多,從2023年到2023年連續7年都默默的關注這這個具有風向標的資料庫盛會。每年都有不同的感受。尤其今年感動更多。由內自外的想感慨總結一下。

先說說自己的總體感受,以前有技術原理專場,有原始碼研讀的專場,有具體優化實現的專場,每一場都能看到技術的火花四濺,令人耳目一新。但是今年看到了其他不一樣的地方,同時也深深的反思了未來發展的方向。

1.

技術原理專場縮水嚴重。

從演講主題看技術原理的專場還是滿滿的,但是聽完後,發現文不對題的很多。最後都變成了大家講我的產品是什麼,功能是什麼,平台是什麼?與2023年技術專家講原始碼,講實現原理,從技術角度講感覺差距甚遠。我想這也是作為純技術的視覺問題。想想技術發展到今天,越來越多的技術朝著封裝,簡單,易用的方向發展

,誰還在乎核心是什麼,實現原理是什麼。能用,方便,易用就好。所以總體下來有點失落。

2.

銀行金融領域專場出現

2023年之前幾乎沒有金融專場。今年出現金融行業的專場。為什麼?從今年資料庫發展趨勢看,雲資料庫大勢所趨已成必然,只有在傳統金融行業還留存一席dba的天地。所以才有一些拿出來可將的東西。如果都上雲資料庫了,所有的架構,操作,運維都在頁面上點點都能完成。還有什麼自己能做的,什麼能拿出來講的?

3.

分布式資料庫日漸成熟

最近在研究分布式oltp資料庫。發現真是百花齊放百家爭鳴,並且在金融領域已經開始慢慢的嶄露頭角。引用韓老師分析的「

如果說幾年前,分布式還是實驗室裡的"玩具",那麼近幾年來其已悄然成熟。在眾多領

域已經開始推廣,甚至在金融等高階領域也有所涉及。其技術細節上,各家實現上也各有差異。這類不談所謂"真假"分布式的問題,因為目前還缺乏統一的認識。去年國家信通院搞的分布式資料庫標準的制定,正在試圖從國家層面規範這一領域的標準。從應用角度來看,分布式資料庫無疑是乙個"銀彈",其針對三個核心問題:效能、容量、高可用均有不錯的解決。對於過度依賴傳統大型商業資料庫的企業來講,無疑是乙個新的選擇。但我們也要清醒地看到,現有分布式資料庫還無法與傳統單機資料庫,達到同樣的使用感受。在應用架構、結構設計等諸多領域,還需要多多關注。

4.

雲原生資料庫大勢所趨

5.

資料多型,成為必然

關係模型,從70年代誕生到現在火了40多年。在描述資料方面,關係模型無疑是不錯的一種選擇。但近些年來,隨著場景的不斷多元化,非關係類資料越來越多,如何處理這樣資料,成為各家必須面臨的問題。於是,我們看到兩種處理方法:

6.

混合場景,尚待發展

作為資料處理,tp類和ap類需求之前是嚴格區分的。舊的做法是通過etl方式,抽取資料到大資料平台進行處理。這種方式的弊端在於資料延時。即使輔助以流式處理等手段,其時效性仍無法滿足某些場景。面對這種情況,混合處理(htap)應允而生,其特點是資料儲存乙份(可能為多型),通過不同的計算引擎,分別進行處理。一些大廠和新興資料庫廠商均做此方面的努力。但從目前來看,尚達不到成熟使用狀態,例如資源隔離等技術難點還需攻克。

7.

資料庫,大資料,ai,資料融合平台建設趨熱

資料,作為企業的核心資產,在未來將愈發重要。如何將企業內資料融合、集中、發揮出資料更大的價值,成為企業面臨的共性問題。隨著前些年阿里的「中臺」戰略的提出,為解決這一問題提出一種新的解決模式,各大公司紛紛仿效。從本次大會上看,從前端的資料匯聚、到中端的資料處理、再到後端分析乃至整體的資料治理,多個方向均有相關主題。特別是資料治理專場,人員爆滿,可見對此話題的關注。

從今年主題來看,純自動化平台類分享已經較少,雲化主題較多。一方面,隨著前些年的建設,很多公司運維平台已初具規模,分享意義不大;另一方面,不少公司已考慮建設私有雲或上公有雲,建設重點發生變化。雲化的主題,相較過去有所增加。特別是ai與平台建設結合方向,受人矚目。

8.

傳統dba發展方向令人深思

我理解的傳統的dba作為創造價值(資料庫公司),使用價值(各應用公司)之間的傳播者。創造價值的公司為資料庫產品開發者。在完成了資料庫產品的創造後,在向各個公司傳遞價值的時候,需要這麼一批人來幫助其完成實現,這就是dba存在的價值。從現在雲資料庫的產生來看,創造價值的公司直接面向了客戶,便捷的操作,方便的管理,幾乎0運維的服務,讓客戶不需要高技能的dba即可達到目的。那麼這個時候還要dba幹什麼?此時想問一下公司有自建資料庫遷移到雲資料庫上後原來的dba的同學都做什麼去了?

當大勢所趨不可扭轉時,只有2條路,要麼迎頭一躍跳上浪頭,那麼改其道。第一條路,去雲資料庫公司,騎在巨人背上,最大化自己的價值。第二條路,那就放飛自我吧,做自己感興趣的一切的一切。

作為乙個dba此時有一點失落,但是更多的是時代的進步,資料庫的發展如此的昂揚噴薄,日新月異也有一種欣慰吧。謹以此祭奠我的傳統dba生涯。

未來十年,機器學習工程師會消失嗎?

以下為譯文 我 很快!這只是我的個人片面的論點,所以大家可以盡情的說出自己的想法,這樣這個領域就可以朝著正確的方向發展了。機器學習技術未來將會封裝到軟體工程師日常使用的工具包裡面。其實,我們在每個領域一開始都會扮演著專業的角色,但隨著時間的推移,就變得普通起來,換一句話說,就是說的多了大家也就見怪不...

雷軍十年演講直播入口 小公尺十週年發布會直播

8 月 11 日晚上,雷軍十年演講發布會,小公尺十週年發布會在今晚上演,這次發布會除了要介紹小公尺 10 周年以來的發展之外,還會推出小公尺 10 至尊紀念版 紅公尺k30 至尊紀念版等多款產品,以下是本次直播的時間以及直播位址介紹。1 雷軍小公尺十週年演講時間 8 月 11 日晚19 30,主講人...

一年工作經驗,重複用十年,3D建模師竟然也會這樣!

3dmax的變化快是眾人皆知的,需要持續去學習新的知識內容。但是,往往我們工作之後,經常發現學習的東西很少了,學習效率非常低,感覺自己到了乙個瓶頸期,久而久之,就演變成 一年工作經驗,重複去用十年 的怪圈。1.喜歡自己研究 學習3dmax專業知識,不是都靠自己頑強的意志,更多的是需要跟別人交流,重要...