90後的奮鬥宣言!

2021-07-02 21:01:54 字數 2280 閱讀 5381

csdn圈子裡大牛太多,

作為一名90後,

我只是想在這裡留下自己每乙個成長的腳印。也許當我老了,抑或n年以後再回過頭來看看自己年輕時的足跡,一定別有一番感觸!此篇謹獻給一直都在拼命努力的自己!

一直在學習os的相關知識,但學的一直都是理論,讀了幾遍《modren operating systems》,以及《作業系統之哲學原理》和《深入理解linux核心》,對os算是很有感情吧。再加之老師建議讓我自己去寫乙個os,所以我就萌生了自己寫乙個os的念頭,當然只是乙個輕量級的小 os,只能實現最基本的功能,像多工這種貌似比較高階的東西也可以寫出一些。由於最近比較忙,一時沒辦法一一寫出具體的步驟,今後想通過csdn blog 把自己的開發歷程記錄下來。主要是借鑑《30天自製作業系統》一書,但是也會加一些自己的思考在裡面,以及相關知識的介紹。如果想跟我一起學習的小夥伴可以關注下我的動態。而該os的開發主要是由彙編和c來實現。

再說說自己的興趣吧。我大概花了一年多的時間去學習了雲計算與大資料方面的東西,每天都會讀幾篇三大學報上的相關**,堅持下來真的收穫頗豐。現在自我感覺對雲計算已經有乙個相對準確的定位,而對於paas層中所面臨的大資料儲存與處理問題,自己也做一些研究。特別是利用hadoop對大資料進行儲存和處理。而如何有效的儲存和處理海量資料這也是當下雲計算所面臨的主要問題之一。我認為開發效能卓越的分布式集群框架,和資料安全性研究是當下較為緊迫的問題。而如今已有的分布式計算框架只能有效應用某些領域,這使得大資料儲存和處理受到限制。而我個人覺得以後的分布式計算的發展方向應該是定製化,不同的領域中需要特定的框架來解決,只有這樣才能成倍提公升處理的效率。雖然雲計算現在只是在初級發展階段,但已經凸顯出其旺盛的生命力。所以,有效的去完善已有的框架也是很有意義的!

再來進一步談談hadoop吧。hadoop是海量資料處理的平台,裡面包含了很多個子專案,其中hdfs(hadoop distributed file system),mapreduce,hbase為主要成員。先說hdfs,它是google file system的開源實現,區別於一般的fs,它可以有效的實現海量資料的儲存與管理,而無需借助dbms這樣的工具。hdfs具有高可靠性(多副本機制)和高擴充套件性等特點。集群中有乙個節點作為namenode管理著整個集群中所有節點的元資料。而集群中其他剩餘的節點就成了datanode,用於資料儲存。其中資料都是按塊儲存,預設的塊大小的為64mb。現如今hdfs主要面臨的效能問題是單節點效能瓶頸,由於namenode伺服器的儲存和計算資源都是有限的,所以導致了這個瓶頸。一般解決的思路都是增加namenode節點的個數來實現,但是這樣必然造成namenode之間複雜的通訊和同步機制。hadoop為處理大資料而生,對於小檔案就沒有那麼好的效能,雖然它有自帶的小檔案處理策略,通過將小檔案合併成大檔案來實現,但是整體來看還是不容樂觀。所以本人提出了一種基於索引機制的小檔案處理策略,通過將namenode節點部分功能下放來減緩單節點瓶頸,但是很多審稿專家不認可,說沒有這樣的說法,功能下放會使得datanode節點出現錯誤。我覺得需要權衡增加namenode節點和namenode節點部分功能下放之間的實現代價,而不是沒有就否定。mapreduce就是一種分布式平行計算框架,主要由map函式和reduce函式組成,map將若乙個完整的job切分成若干個task。其中負責任務分配的節點叫做jobtracker, 而用於計算每乙個task的節點叫做tasktracker。在mapreduce中主要面臨的問題是工作級排程和任務級排程,工作級排程主要是面向客戶機提交的多個job,hadoop預設的是基於低階佇列的先進先出的排程演算法。而最主要的問題是jobtracker實現的任務級排程,由於每乙個任務都需要jobtracker通知tasktracker來取任務,這需要耽誤一定的時間。而且它們用心跳機制來實現通訊,控制資訊也包含其中,所以時延較長等等。對於mapreduce有很多種優化策略,我在《計算機學報》上看的一位南大博士寫的一篇**,感覺比較好。他是用修改**來實現,第一將jobtracker分配任務改為tasktracker自動取任務,第二將控制資訊從心跳機制中剝離出來。此外,由於各個資料節點處理任務的時候會出現掉隊的現象,所以haodoop自帶有推測執行演算法,用落後同類節點20%來判斷掉隊者,隨後啟動乙個備份節點同時進行處理,哪乙個先結束就殺死另乙個。但是在異構環境下,由於計算機點之間的差異性較大,hadoop固有的推測執行效率低下,所以本人也提出了一種異構環境下hadoop推測執行演算法,可以有效提高異構環境下推測執行的效能。最後提一下hbase,它是google bigtable的開源實現,主要是基於列的儲存結構化和非結構化資料的分布式資料庫。(由於時間緊迫,沒有好好梳理,基本上是來啥寫啥,小夥伴們莫怪)

最後談談我的規劃吧,以後一直想做體系結構方面。我時常在想能否在正真意義上去突破馮諾依曼體系,也許這個想法就是我選擇的目的吧!我會努力去做,至於結果只要自己勇敢去追求了,也就該看淡了!希望自己每一天都能離夢想更近一步。

70後 80後 90後的區別

工作狂基本上都是70後的。80後拒絕加班!90後拒絕上班!2 70後喜歡穿七匹狼或者猛龍牌子的衣服。80後喜歡g star之類的。90後乞丐服,越花越好,越破越好。乙個洞時尚,兩個洞潮流,三個洞個性。3 70後唱k的時候只會 例如2002年的第一場雪,然後就拼命拉著你喝酒,不讓你唱。mic霸一般是8...

70後 80後 90後的離奇區別

1 70後 工作狂基本上都是70後的。80後 而我們,拒絕加班!90後 拒絕上班!2 70後 他們喜歡穿七匹狼或者猛龍牌子的衣服。80後 我們喜歡g star之類的。90後 乞丐服,越花越好,越破越好.乙個洞時尚,兩個洞潮流,三個洞個性.3 70後 他們唱k的時候只會亂吼 例如2002年的第一場雪,...

70後 80後 90後的離奇區別

1 70後 工作狂基本上都是70後的。80後 而我們,拒絕加班!90後 拒絕上班!2 70後 他們喜歡穿七匹狼或者猛龍牌子的衣服。80後 我們喜歡g star之類的。90後 乞丐服,越花越好,越破越好.乙個洞時尚,兩個洞潮流,三個洞個性 3 廣告 70後 他們唱k的時候只會亂吼 例如2002年的第一...