假期Hadoop專案完畢

2021-09-01 10:16:08 字數 636 閱讀 1829

臨近放假之前,本來打算把乙個軟體著作權完成的,然後再利用假期準備一下找工作的東西,可是突然冒出乙個hadoop專案來,只能順著導師的意思,完成這個專案了,一眨眼功夫,乙個多月過去了,專案馬馬虎虎算是湊合著過去了。

現在想想,其實也是挺鬧眼子的,hadoop專案看起來挺牛挺神奇的東西,被我們這麼一用也不見得有啥的,搞幾台電腦主機,而且還不是伺服器,通過hadoop環境部署連線起來,分布式的處理任務,總體用起來不見得有多快,甚至有些地方還沒有之前的好~

大致了解了hadoop的單機環境配置,執行原理,知道了mapreduce的乙個執行方式,了解了hbase的儲存方法,優缺點,真正用的最多的 是hbase的過濾機制,通過過濾對資訊進行篩選,通過get方法對資訊進行提取。還有hdfs的一些遠端命令,檔案操作命令等的使用,實戰經驗還是掌握 的不多,只能說是乙個大致的了解而已,使得這個東西對我來說不再是那麼神秘了。

整個專案由於專案管理者沒能很好的發揮作用,使得各個小組在進行功能組合的時候發生了很多的不一致,在調節不一致這個點上又浪費了好多時間,同時也 由於需求是不明確,不精確,整個專案是想改就改,實在是很糾結人,這時想想,乙個專案的需求分析實在是太重要了,文件的細緻更是重要至極啊!

不管怎麼樣,算是跟各位同學一同經歷了一段共同努力的日子,一起進步,一起學習,每天都有收穫的感覺還是非常好的!

hadoop安裝集群完畢

今天經過一天的努力 終於將hadoop集群搭建完畢 一共三颱機器 一台namenode 兩台datanode 其中一台datanode 是jobtracker和tasktracker 另一台datanode是tasktracker 和hadoop官方文件和同事搭建的例子 安裝過程中也遇到很多問題 1...

apache開源專案 hadoop

hadoop 是乙個分布式系統基礎架構,由apache 會開發。使用者可以在不了解分布式底層細節的情況下,開發分布式程式。充分利用集群的威力高速運算和儲存。hadoop實現了乙個分布式檔案系統 hadoop distributed file system 簡稱hdfs。hdfs有著高容錯性的特點,並...

學術休假期 專案3 (1 應用列舉

問題及 閱讀教材7.3節,了解列舉型別的一般用法。閱讀下面輸出he先生買車方案的程式,理解使用列舉型別的意義。檔名稱 he先生買車方案.cpp 作 者 冷基棟 完成日期 2015年2月26日 版 本 號 v1.0 include using namespace std enum color enum...