前段時間有個專案，在資料彙總這一步每天都要處理大量資料，為了考慮擴充套件，上了hadoop，雖然花了不少時間做預研，內部也測試了好久，但因為是初次使用，在上線使用後還是碰到了非常多的問題，系統問題，效能問題，hive bug......
我們馬不停蹄的救火解決問題，在救火的過程中逐漸應用了另一套更輕量級的處理架構，並且在資料暫時沒有進一步增長的情況下，替代了hadoop的處理方式。而原定的hadoop變為了備用。雖然現在用的擴充套件性沒有hadoop好，但在一定資料量的情況下，處理能力還是非常高的，並且由於邏輯簡單，維護方便，成本反而更低。
很多時候我們想架構做的很完美，特別是要擴充套件性通用性要做到很好，但在快速發展的市場上卻往往一開始表現還不如稍差一點的架構。雖然在持久戰中好的架構會有優勢，但如果你一開始就被滅了，那就根本沒有機會等到以後展現優勢了。最好的產品不一定笑到最後，這點已經被無數次證明了。首先我們要做乙個不錯的產品搶占市場，等站穩腳跟有了穩定的收入後，再不斷完善優化。
理想是美好的，現實是殘酷的。產品做出來是為市場服務的，最終目的是轉化為公司的收入。所以要做好架構，不能只考慮技術，還要綜合考慮團隊、市場、競爭對手等多方面的因素。否則叫好不叫座就只能哭了。
如何把握好這個度，就要靠經驗，特別是失敗經驗的積累了。
salesforce 架構設計 從架構設計到架構師
因為碎片化的時間多了，所以開始刷起某乎了，關注了架構相關的板塊，也順手回答了一些問題。發現有很多同道中人正在經歷著我前兩年經歷的階段，對於做架構沒有相對具象的一些理解，更沒有系統化的認識。所以把最近回答的一些內容整理一下，權當記錄，留給3年後的自己 按慣例，容許我裝x開頭 一 架構的定義 在軟體開發...
mysql架構設計 初識mysql架構設計
一 應用系統如何與mysql進行一次互動？最開始接觸jdbc的時候，我們系統如何完成一次sql操作呢？第一步，建立資料庫連線 第二步，操作sql 第三步，釋放連線。但是每次建立與資料庫的連線非常耗時和資源，所以我們加入了連線池的概念。第一步的獲取連線是從連線池中獲取乙個可用的連線，第三步的釋放連線不...
架構設計開篇 架構設計的目標與衡量
程式設計即設計，即架構。架構，這個詞比較神秘，以致於很多程式設計師望而卻步，以為要什麼了不得的本事。確實的，架構設計是一種高遠的目標，但千里之行，始於足下。架構的目標是什麼呢？實現所需服務 架構，致力於以更低成本 更高效率 更高質量地實現所需服務。架構，是兼顧質量 效率與成本的魔法。但架構並不研究如...