六年程式設計師,三十而立,轉行資料分析師

2021-09-05 09:14:08 字數 763 閱讀 7822

六年程式設計師,擅長.net開發,開發過c/s、b/s、大資料專案,研究過影象識別、機器學習技術,也做過硬體運維。三十而立之年,轉行資料分析師,重拾激情,再踏征程。此為第一篇博文,下述為自己近期實踐中的一些淺顯的認識,望拍磚討論。

資料分析師本質上是資料的探索者。廣義上的資料分析包括提出問題、資料獲取與儲存、資料清洗、資料探勘、結果呈現等過程,將雜亂的或未加工的資料來源轉換成有用的資訊。資料分析思維,就是引領資料分析專案整個生命週期的指導思路和經驗素質。

比如尋找資料來源,並判斷其價值:這些資料集的資料質量有多好?它們與你的目標是否相關?能否找到更好的資料來源?

比如權衡資料儲存格式:資料可以儲存成許多不同的格式和檔案型別,某些格式儲存的資料很容易被機器處理,微軟的 word 文件屬於後者,而 csv、 json和 xml 檔案則屬於前者。再進一步,資料是否有必要存入資料庫?選擇關係型資料庫還是非關係型資料庫?

作為資料分析師,不僅要鍛鍊思維,還要苦修技能,要學會綜合運用各種技術和工具,個人能想到的都列在下方:

爬蟲技術、資料庫技術(mysql、mongodb等)、etl工具(如spoon,支援各種格式檔案之間的資料抽取和轉化)

資料格式化、剔除不良資料、資料歸一化和標準化、正規表示式、指令碼技術(個人覺得python在資料清洗方面比較好用)

統計分析、機器學習技術,工具有spass、tableau等(個人只用過上面兩個工具),更多工具參考19款最好用的免費資料探勘工具大彙總

tableau、finebi、echarts等

乙個程式設計師的自白(三十而立)

今天是他的三十歲生日,首先想到的不是去 慶祝,怎麼慶祝以及跟誰慶祝,而是對 而立 的思考,古語 立 即 成就 成就 更多只是一種外界視角,有一種 點到為止 之錯覺。內在角度看,他更願意理解為 主動性思考 的轉折點,是乙個持續向上永無止境過程的起點 作為丈夫乙個 耐人尋味 的稱謂,之所以 耐人 因為這...

乙個程式設計師三十而立前的迷茫

快到而立之年的時候,突然之間感覺很迷茫,不知道今後的定位到底應該怎樣,不知道現在該為將來做些什麼準備。這段時間跟同學朋友一交流,發現自己的收入相比之下要少很多,待遇也不行,特別是做得並不開心,有點心力交瘁的感覺。從來沒有感覺這麼累過。我這個年齡段的同學和朋友基本上都已經結婚生子並且也買房了,父母也漸...

即將三十而立的程式設計師的一點思考

以下都是自己的一點思考,最近情緒比較低估,希望回頭看的時候一切都會更好。1.程式設計師普遍都是高智商人群,但是這種高智商並不一定就能在工作中發揮出來,絕大多數人只是淪為碼農,或者是在成為碼農的路上。更可悲的一點是,高智商的程式設計師往往搞不定真實的生活,三十而立,大部分人都有家有口了,怎麼更好的與家...