之前我們提到大資料的時候就會提到hadoop，hadoop是大資料的基礎框架，是大資料技術的代表。提到hdfs、mapreduce、yarn，提到hbase、hive、tez等hadoop生態圈中的乙個又乙個開源元件。但是最近好像有點不一樣了。
曾經的三巨頭之一mapr向加州就業發展局提交檔案，稱如果找不到新的投資人，公司將裁員 122 人，並關閉位於矽谷的總部公司。這曾經可是估值10億美元的hadoop發行版廠商啊，說跪就要跪了，而另外兩巨頭則是抱團取暖，當然這也不能完全說明hadoop面臨著一些問題。
2023年，依據google發表的三篇**將google的三駕馬車從幕後搬到台前，奠定了後面十幾年大資料的框架基礎，形成了hadoop生態圈的第一圈：分布式檔案系統hdfs、分布式計算mapreduce、hbasenosql資料庫（bigtable）和yarn資源排程服務。一時之間如日中天，hadoop生態蓬勃發展，hortonworks、cloudera和mapr一直在進行技術更新，開發了一款又一款的基於hadoop的工具。hive的出現實現了類sql的支援，迅速占領了市場，後面基於sql on hadoop的元件更是層出不窮，presto、impala、drill、spark、tez、sqoop等等。hadoop的生態圈越來越大，後面興起的新型計算框架和查詢框架都圍繞著hadoop進行相容，如presto相容hive、spark相容hdfs儲存和yarn排程，一切看起來都是美好的樣子。
但是，從之前的hadoop是大資料的基礎框架到現在hadoop已經不能完全代表大資料了，hadoop只是大資料技術領域的乙個分支，而其他分支正在努力的演化為新的大資料實現方式。
大資料的技術棧我們通常認為分為：資源排程層、分布式儲存層、統一計算引擎層和統一介面層。
上面說了這麼多也不是在唱衰hadoop，只是hadoop目前看來確實好像遇到了瓶頸。但是hadoop3也增加了大量的功能，yarn支援docker容器、支援tensorflow的gpu排程，提供了對s3的支援。hive的llap（低延時分析處理）、聯邦資料查詢和完全支援acid事務也讓hive朝著更好的方向發展。不得不說現在所有的技術都在朝著雲原生的方向前進，如果不能成功上雲，可能終將被遺忘。
yunikorn[『ju:nikɔ:n]是乙個虛構的詞，「y」代表yarn，「k」代表k8s，「uni」代表統一，其發音與「unicorn」相同。建立它是為了最初支援這兩個系統，但最終目的是建立乙個可以支援任何容器協調器系統的統一排程程式。一方面在大規模，多租戶環境中有效地實現各種工作負載的細粒度資源共享，另一方面可以動態地建立雲原生環境。yunikorn為混合工作負載提供統一的跨平台排程體驗，包括無狀態批處理工作負載和狀態服務，支援但不限於yarn和kubernetes。
yunikorn -scheduler-inte***ce：排程程式介面是資源管理平台（如yarn / k8s）將通過諸如grpc/ 程式語言繫結之類的api與之交談的抽象層。
yunikorn core：yunikorn core封裝了所有排程演算法，它從資源管理平台（如yarn / k8s）下面收集資源，並負責資源分配請求。它決定每個請求的最佳部署位置，然後將響應分配傳送到資源管理平台。排程程式核心與下層平台無關，所有通訊都通過排程程式介面。
scheduler shim layers：排程程式shim在主機系統內執行（如yarn / k8s），它負責通過排程程式介面轉換主機系統資源和資源請求，並將它們傳送到排程程式核心。在做出排程程式決策時，它負責實際的 pod / 容器繫結。
scheduler ui：排程程式 ui 為已託管的節點，計算資源，應用程式和佇列提供簡單檢視。
我們不止一次聽說過xx不是銀彈，沒有一種技術可以解決所有的問題，技術一直在發展。哪怕是在hadoop生態圈內，隨著實時資料的處理能力提高，構建實時數倉，打造實時資料處理與計算平台已經比離線任務模式要吃香了。上雲總歸來說是乙個大的趨勢，對於大小公司都是如此，畢竟可以節省非常多的成本。但是也不排除雲+本地的混合模式，畢竟資料現在可是金子~。不管怎麼說，一直受hortonworks和cloudera的影響推動著hadoop相關元件的進步，基於他們的技術棧學到了很多招式，希望他們可以更好的走下去。
滿幣交易所現在怎麼樣？分享一下經驗
滿幣交易所怎麼樣 隨著合約交易越來越火，以合約為主的交易平台開始嶄露頭角，得合約者的 幣圈 在第三方資料 中，有這麼一家數字貨幣合約交易所。合約日活躍使用者數平均每月增長200 日活躍峰值1.5萬人次，合約版本迭代平均3次 月，不僅擁有三大的深度，厚度，流動性，還有著三大沒有的諸多創新性功能，如一鍵...
那些算頻率的演算法，現在都怎麼樣了？
面試題 陣列中有乙個數字出現的次數超過陣列長度的一半，請找出這個數字並輸出。比如 中 2 的次數是 4，陣列長度為 7，所以輸出 2。要求不能修改輸入的陣列。這道題能思考到的測試用例比較簡單。輸入符合條件的陣列，檢視列印是否滿足情況 輸入不符合條件的陣列，檢視列印 輸入只有乙個元素的陣列，檢視列印 ...
現在學習web前端就業怎麼樣？
一 關於web前端目前就業前景幾點分析 1，市場 在中國web前端的市場永遠都是巨大的，但是隨著資訊的普及，人人都知道web前端開發做的時間久了，工資高，所以必然會增加競爭程度。但這是好事，有競爭才有更多人才出現。web前端的生態系統幾乎涵蓋了目前市面上所有的軟硬體，web前端在中國的地位20年都是...