思考Hadoop權威指南的一段話

2021-08-20 05:14:08 字數 677 閱讀 9184

《hadoop權威指南》這本書的第一章開頭有這樣一句話:

「在古時候,人們用牛來拉重物。當一頭牛拉不動一根原木時,人們從來沒有考慮過要想方設法培育出一種更強壯的牛。同理,我們也不該想方設法打造什麼超級計算機,而應該千方百計綜合利用更多計算機來解決問題。」

——grace hopper

我覺得這句話是有些許問題的!在古時候,人們確實沒有想方設法培育出一種更強壯的牛,但是人們想方設法去解決拉不動原木的問題。為什麼沒有培育出一種更強壯的牛呢?那是因為以當時的技術是無法培育出來的,那麼人們便用其他方法解決原木的問題,比如用車拉,用槓桿原理等等方式,所以說人們並不是沒有考慮,而是技術的限制導致無法實現更強壯的牛!

計算機行業一般解決問題存在兩個維度的方案,縱向和橫向,至於選擇哪種方式,那取決於方案的實現成本。如果一台超級計算機可以代替成百上千的計算機來解決問題,那麼我們為什麼不用呢?應該只有乙個原因:成本!成本確實是企業該考慮的問題,但是對於技術研究,新興技術的面世是肯定昂貴的,像第一代計算機,現在的石墨烯,以及晶元等等,但是隨著技術的不斷優化和成熟,成本的問題是能夠解決的。

因此利用更多便宜的計算機解決問題只是權宜之計,技術的縱向發展是非常值得重視的,技術的橫向只是為了解決當下問題的讓步策略。我覺得這段話是有誤導的,所以寫下自己的觀點!

hadoop權威指南閱讀 一

1.任務 查詢所有年份最高氣溫 map的目的是吐出點對,年份 氣溫 output.collect new text year new intwritable airtemperature key可以重複,例如可以是 1950 23 1950 22 1950 28 2 maxtemperaturere...

《hadoop權威指南》筆記一 走進hdfs

基於 hadoop權威指南 第四版 hadoop分布式檔案系統 hdfs 被設計成適合執行在通用硬體 commodity hardware 上的分布式檔案系統。hdfs是apache hadoop core專案的一部分。hdfs本身為高吞吐而優化 思考 為何基於hdfs實現的hbase可以滿足低延遲...

Hadoop權威指南(第4版)筆記一

hadoop盡量在計算節點上存資料,以實現資料的快速訪問,即資料本地化 data locatily 1 為只需要短短幾分鐘或數小時就能完成的任務設計。2 執行於同乙個內部有高速網路連線的資料中心。3 資料中心的計算機都是可靠的,專門的硬體。a,本地資料,本地執行 即在儲存有輸入資料 hdfs中的資料...