資料服務系統的定位

2021-09-04 09:09:33 字數 1804 閱讀 3988

版本:

v1.0

最後更新日期:

2013/2/17

資料服務領域的工作是計算密集型的,相對於其他it

系統,資料服務系統的計算往往更具複雜性。例如,資料服務系統內的作業較少在

1分鐘以內結束,有時候甚至要花費超過一周的時間完成。

在提供資料或分析時,

我們常說資料質量是第一重要的

:結果不可信,無論表達方式有多麼花哨都是徒勞,獲得

高質量的資料往往是

要付出大量計算代價的

。舉乙個相對簡單但實際上並不簡單的例子,不妨考慮一下如何驗證身份證號碼是否合理?不難發現,多一些計算,少一些問題。

乙個值得思考的問題是機器究竟能在多大程度上代替人類。

2023年情人節那天,第三次人機大戰上演,

watson

在智力問答節目中與兩位人類選手相遇,並最終獲勝

。watson

作為一台耗資

300萬美元的機器,能耗是

85kw

;而人類選手能耗是

20w。

watson

是否代替人類的問題可以簡化為用

85,000w

戰勝20w

是否值得的問題。

在考慮資料服務系統的定位時,不能忽視人腦相對於計算機而言,也是有重大優勢的,例如--低能耗。低能耗(省電)正是

arm在手機晶元領域戰勝

intel

的關鍵因素之一。因此,我們在構建系統時不必以機器完全代替人類為目標。

在進一步明確資料服務系統的定位之前,我們需要抽象出描述系統特徵的關鍵字--「計算」。這可能與現有的理論有所不同。回憶一下「資料倉儲之父」inmon

對資料倉儲的定義:「乙個面向主題的、整合的、隨時間變化的、非易變的用於支援管理的決策過程的資料集合」。在實際構建企業資料倉儲時會發現另外乙個人

kimball

,他與inmon

相比,走的是另外一條道路。與其關注

kimball

和inmon

之間的分歧,不如關注資料倉儲專案的成功率。應當承認,完成乙個資料倉儲的建設,理論和技術都是成熟的。以某公司為例,yyyy

年投資$.$$

億,實現了基於a

系統的資料倉儲部署

。a系統在

gartner-dw

魔力象限中長期居於領導者地位,的確是幫助某公司「完成」了資料倉儲的「部署」,但是之後長達

n年的時間裡,這個「資料倉儲」口碑不佳、收益為負。這正是通常資料倉儲專案所面臨窘境的真實寫照。用「計算」的觀點可以很好解釋這一切。出於計算的觀點,我們將交易系統和資料倉儲系統或者別的什麼系統都視為同乙個平台的不同組成部分,這些系統作為「計算環境」而言並無本質不同。一般資料倉儲專案面臨窘境的真正原因是過於關注資料的剝離,而忽視了計算環境的構建。繼續以某公司為例,yyyy

年購買了

a系統,我們有理由相信那個時候的確是解決了許多問題,但是人與機器的乙個重要的區別就是人有創新意識而機器沒有,接下去不難推測原有系統很快便跟不上使用者分析思路變化的形勢了。

在最初構建a

系統技術體系和組織結構時,並沒有為方便系統重建而設計,從而開發人員只能在原有系統上不停的增加冗餘,接下去某公司面對的應該就是計算資源枯竭的難題了,而擴充乙個節點的成本又是驚人的。zzzz

年某公司引入了

b系統,大大降低了擴充節點的成本,也就是降低了計算的成本,這是朝著正確的方向邁進了一步,但是不便於重建的計算環境問題依然存在,m

個節點擴充一倍是容易的,10*m

個節點擴充一倍相對就困難了,我們有理由擔心

b系統也難逃被多變的需求擊敗的命運。

現在可以提出資料服務系統的定位了。

mysql資料伺服器 手動配置資料伺服器mysql

1.mysql檔案和資料夾 linux 配置檔案檔案字尾為cnf bin 放可執行性檔案 include 存放標頭檔案 lib 存放庫檔案 share 存放字符集,語言等資訊 my.ini mysql軟體正在使用的配置檔案 my huge.ini 當mysql軟體為超大型資料庫時使用的配置檔案 my...

資料服務的本質是計算

資料服務的本質是計算 張頲 2012 11 26 大概是2010 年,我形成了乙個觀點 資料服務的本質是計算 隨著時間的推移更是清醒,遂產生寫出來的念頭。在得出這一觀點之前,我常常在想,電腦與人腦相比,優勢是什麼?終於我想到了最初那幾台計算機都幹了些什麼。在物理世界中許許多多的問題都會轉化為數學問題...

AI資料服務,尋求合作

提供ai資料服務,語音 影象等相關資料的審核 標註 採集等相關服務,並提供相關多場景資料定製 工具和平台開發 人員駐場 相關業務外包,分公司或部門建立等,一切以客戶需求為出發點,設計方案,可多種形式合作,歡迎有需求的聯絡,直接合作有優惠 以下相關行業,有業務需求可合作 1.做人工智慧相關產品 語音互...