工作第二年(2014)小結

2022-09-17 10:33:12 字數 2723 閱讀 5641

2013,給自己的評分是不及格;2014,總算是步入正軌。

1月,感謝老嚴

向老大提了不想做產品而想專心做資料的想法,非常幸運地被批准了。真的非常非常感謝老嚴,從此我得以開始拼命地學習。當然,一開始的時候是十分盲目的,比如這個月我從關聯分析和聚類演算法切入,開始研究資料探勘。同時學習了一款叫orange的資料探勘軟體,就開始吭哧吭哧地結合業務資料想做出些成就了。結果當然挖掘出沒什麼意義的資訊。

2月,嚐到甜頭

1月算是把資料探勘中兩個很難產出漂亮結果的兩個坑給填了,2月開始研究了分類相關的演算法。硬著頭皮,半知半解地看完了決策樹、樸素貝葉斯、人工神經網路、svm和一些組合分類器(如:隨機森林)給看了個遍。然後用了最簡單的決策樹做了乙個遊戲大戶**模型:利用使用者進入遊戲後前一周/前二周/前三周的表現,**兩個月後他的充值能否達到我們的大戶標準。最終和業務人員深入溝通和自己仔細觀察了資料特點後算了幾個比較特別的feature,在測試集上用交叉驗證準確率和召回率都能達到70%以上。對於乙個自己鼓搗的菜鳥來說真是感覺美滋滋的,當然,我們公司的業務人員以及高層對資料和模型的認知不足,最後沒能馬上應用到遊戲聯運部門的日常工作中去。 對了,2月的前半個月我去了趟美帝,和金門大橋合影、逛了矽谷、在三藩市參加了一場hackthon、沿著1號公路從三藩市自駕到la、在la看了人生第一場nba現場比賽(快船vs開拓者)。

3月,惡補統計學

雖然2月的研究小有成就,但很明顯地感覺到自己欠債很多,半知半解地去用機器學習太危險了。再加上步子邁大了容易扯著蛋,業務人員比較容易接受的是「可解釋」的研究成果。於是我開始惡補最基礎的統計學,從最簡單的描述性統計開始複習,一遍一遍地去理解區間估計和假設檢驗,接著看了著名的回歸以及方差分析。同時,順便也把spss給學習了一下,於是開始通過假設檢驗來更合理地對比我們電商部門的不同商品發布策略。

4月,躲不過的sql

其實,之前用於研究的很多資料都是由同事幫我整理好,我通過mysql做一些簡單的加工,就把他們放進統計/資料探勘軟體中進行研究。這樣確實效率低下(沒法一條龍服務就是會不舒服),於是終於狠下心來好好彌補了一下sql的知識,這裡也非常感謝身邊小夥伴sql大神們的幫助,能夠自如運用hive ql從hadoop中把使用者日誌取出加工再計算後才感覺自己真的是幹「大資料」的了。另外,這個月配合公司最重要的乙個業務部門完成了乙份長篇研究報告,雖然沒有用到什麼高階的模型,但是得出的結論得到了業務方的認可並且看到業務方在借鑑報告中提到的建議進行運營上的優化確實令人欣慰。對了,也是從這個月開始意識到乙個問題:「統計學上告訴你兩個樣本代表的總體是顯著差異的,但是兩個樣本的平均值只差1個百分點不到,那麼是不是即使優化了對業務的提公升也只是乙個百分點不到呢?」這是老闆的原話……

5月,r語言

前幾個的學習中,在微博與豆瓣上關注了不少學習統計或者機器學習的前輩,發現大家不約而同地反覆提到r語言的使用。因此,下定決心開始學習r語言。在這個月的25~26號,還去了趟北京,參加第七屆r語言大會。帶著滿滿的問題,混進了r語言大會的晚宴,向統計之都的元老們請教了工作上遇到的問題,收穫頗豐。——印象最深的一句話是:如何說服運營人員?直接pk演算法產出的方案與運營人員人為決定的方案,哪個效果好一目了然。

6月,知識補全計畫

之前列了乙個知識補全計畫,發現統計學相關的知識還剩下一塊:隨機過程/時間序列沒有了解過。於是任性了一把,自學了時間序列最基礎的arima模型,然後對我們電商業務每週的**客收益進行了建模,並分析**客收益下降的因素。然而,最終幾乎沒有結論……

7月,shiny

8月,電商報告

上個月順利完成了商品分類,於是緊接著利用分類結果進行了各項統計分析,最終定位了出問題的類目,完成了乙份十分詳細的報告。6月挖的坑8月才得以搞定,以後真不該這麼任性……另外,從這個月開始我也被要求做運營人員提出的資料查詢需求了(就是在hive裡寫job,每天跑一次,感覺十分浪費生命)。

9月,基於r的推薦系統

5月參加r語言大會時與統計之都的前輩交流的話依然印象深刻,很不希望自己作為資料團隊的一員成為產品業務團隊的附屬,大部分時間花在資料查詢,或者撰寫業務人員不太採納的資料報告上。於是,開啟了製作推薦系統的計畫,由於當時團隊裡沒有空閒的開發人員,而自認為已經熟練掌握r語言了,於是決定用r語言自己開發乙個推薦系統。準備好了理論知識(項亮的《推薦系統實踐》),就開始動工了。然後……被r語言的記憶體問題虐得體無完膚,利用這個機會熟悉了mapreduce,但是rmr包也是乙個沒怎麼被維護的大坑。

10月,q4專項合作

由於之前我的好幾個專題研究都是圍繞電商部門展開的,所以領導們就決定派我做代表入駐電商部門進行專項合作,而之前基於r的推薦系統計畫也擱淺了。專項計畫剛開始,業務部門的老大拉上我一起商量,我也得到了明確的訊號:最體現工作成績的事是通過資料直觀地體現到收益的提公升上。話雖這麼說,可我不斷地接到業務上的查詢需求,儼然被當成了高階智慧型計算機來使用。前半個月在協助進行使用者調研,後半月開始為即將開展的雙十一備戰。

11月,雙十一和新的希望

12月,修成正果

延續著上個月的研究,最終將優化方案鎖定在了落地頁優化上,開發人員花了3分鐘完成了乙個流量切分的ab test工具,而我督促廣告排期人員按照我制定的對比方案進行了廣告投放。最終優化後的方案比原來常用的方案能夠多貢獻50%的購買點選,算是順利完成了q4專項合作制定的目標,也受到了老大們的表揚。 無論如何,14年是飛速進步的成功的一年。

工作回憶總結(第二年)

上接工作第一年 回憶總結,時間來到了工作第二年,我在pm的幫助下拿到了令自己滿意的工資,又開始加入公司正常的工作。上文說到有乙個外省市 以下稱為a市 的專案在做,那個時候其實我在我pm的帶領下已經逐漸的開始做設計和專案管理的工作。這就是小公司的好處 讓你很快得到你想要的發展機會。我 還記得那個時候需...

部落格第二年,雜談

我在正好寫了兩年的部落格。今年的寫作,集中在以下系列的文章 白天忙於課業,晚上忙於開發,週末寫寫博,日子過得忙忙碌碌,很充實。只是腦子中偶爾蹦出的想法,我也只能草草記在紙上,無法深究。今天,我就把這些幼稚的想法寫出來,作為寫博兩年的紀念。本科快畢業時,我才真正開始程式設計。程式設計時,我可以直接看到...

工作回憶錄 第二年 純情少年

兄弟四人齊幫忙 晚飯總是能吃上 南北常議菜差異 項公做菜不抬槓 週末總想好菜嘗 銘科商服二樓湯 每選必有新品種 金剛只圖口舒暢 也學無聊網聊忙 半夜花筒也不放 一線兩端互傾訴 數月話費上高崗 圖形算量老朱扛 造價預算小易擋 專案管理鄭斐闖 數字建築歐陽忙 研究所裡四小將 四川小花遼寧王 貴州小祝蘿蔔...