科研心態那些事 不積跬步無以至千里

2021-08-20 00:05:56 字數 2145 閱讀 9216

首先祝朋友們中秋節快樂!

因為過去三個月的實習工作很繁忙,這麼已經很長時間沒有更新了。這個夏天參加了兩次會議(cvpr和eccv),在微軟完成了乙個新的project,這些經歷都給了我新的啟發。

不積跬步無以至千里

很多在這個領域做research的朋友抱怨,這個領域在過去相當長的時間沒有「突破性」的進展了。在過去,我也一直抱有這樣的看法。不過,如果比較最近兩年的*****,以及20年前的*****,其實,還是可以看到,在很多具體的方向上,我們都已經取得了長足的進展。很多在當年只是處於雛型階段的演算法和模型,經過整個community這麼多年的努力,現在的效能已經接近或者到達實用的水平。

雖然,在每年的各大會議中,非常激動人心的*****很少,可是,如果我們把某個方向過去10年的文章串在一起,我們會發現,這個方向的前沿已經推進了不少。這個過程有點類似於進化。在每年發表的成百上千的*****中,真正有價值的貢獻只佔很小的比例。但是這小部分的貢獻能經歷時間的考驗,被積澱下來,並且被逐步被廣泛地接受。當這樣的進展積累到一定程度,整個方向就已是今非昔比。

在這個過程中,不同型別的*****其實發揮著不同的作用。舉乙個簡單的例子,在很多問題的傳統模型中,因為建模和計算的方便,都喜歡使用l2 norm來測量與觀察資料的匹配程度。而近年來,越來越多的模型開始改用l1 norm來取代l2 norm,並且在效能上獲得很大的提高。這樣的變化起碼經歷了10年時間才逐步受到廣泛的注意。在較為早期的工作裡,部分的researcher在實踐中發現似乎用l1 norm效能更好,但是大家並不是一開始就深入了解這背後的原理的。於是,這樣的觀察也許只散見於不同*****的experiment section或者implementation details裡面。隨著這種觀察被反覆驗證,就會有人進行系統性的實驗比較,使得這些觀察形成更為可靠的結論。另一方面,理論分析也隨之展開,希望能從更深的層次上來剖析其背後的原理,甚至建立嚴格的數學模型——於是乙個本來只是實驗中的heuristic的方法終於具有了穩固的理論根基。這些理論將啟發人們提出新的方法和模型。

也許在很多人看來,從l2 norm到l1 norm的變化,只是一字之差,不值一提。但是,這種變化對於全領域的影響非常深遠,不僅僅在很多具體的topic上帶來效能提高,而且引導了學科的發展趨勢——robust fitting, sparse coding / compressed sensing受到熱情關注,和這種變化是密切相關的。

我在和一些同學交流的時候,發現有些人特別熱衷於解決「根本問題」。壯志固然可嘉,但是,我始終認為,根本問題的解決離不開在具體問題上的積累和深刻理解。這種積累,既包括理論的,也包括實驗的。至少,對於像我這樣的普通人,我覺得,獲得這種積累的

唯一途徑就是大量的實踐,包括閱讀*****,建立數學模型,推導求解演算法,自己親手把程式寫出來,在實際資料中執行並觀察結果。

新的idea是思考出來的

,但是,

這種思考是需要建立在對問題的深刻理解上的。

從石頭縫裡蹦出有價值的idea的概率,和彩票中獎沒有什麼區別。

什麼是有價值的?

每個人對於乙個工作的價值會有不同的判斷。我在這裡只是想說說我個人的看法。research 和 engineer 不太一樣的地方在於,後者強調work,而且傾向於使用已經proven的方法;而前者更強調novelty——創新是research的生命。

一直以來,一些*****有這樣的傾向,為了顯示這個工作的「技術含量」,會在上面列出大段的數學推導,或者複雜的模型圖。很多的推導只是把一些眾所周知的線性代數結論重新推一遍,或者重新推一下kernel trick,又或者optimization裡面的primal dual的變換。可是這些東西再多,在有經驗的reviewer看來,只是在做標準作業,對於novelty加分為零。

真正的創新,在於你提出了別人沒有提出過的東西。創新的內涵可以是多方面的:

創新可以體現在從理論,建模,求解和實驗的各個環節之中。判斷創新與否的關鍵不在於有多高深的數學,不在於使用了多時髦的方法,

不在於做乙個多熱門的topic,而在於是否make a difference

。另外,我覺得,創新的大小不能絕對而論。有一些在實驗中用於

improve performance的小trick

,也許能被有理論基礎的researcher開拓成全新的方**,甚至建立嚴密的數學基礎。很多*****中都埋藏著這樣的金子,等待trained eyes的發掘(可能連*****的作者自己都沒有意識到~~)

不積跬步無以至千里

1.開始閱讀此流程,如果你還沒開始的話。嚴格地按照步驟執行。2.讀一下習題指南,在xv xvii頁。3.令n 1。4.開始閱讀第n章。不要閱讀該章開始的引言。5.你對該章的話題有無興趣?如果有,跳到第7步,否則,跳到第6步。6.是否n 2?如果不是,跳到第16步。如果是,無論如何請將此章過一遍。第1...

不積跬步,無以至千里

其實不論你求學求到什麼程度,作為普通大眾的我們,不論是懷揣著多麼偉大的夢想,大概率下一開始的我們都是要為別人打工。重要的不是為誰打工 在 打工,而是你想打什麼樣的工,我覺得這應該是我們所要考慮的重點。想打什麼樣的工,就要要求我們本身具備怎麼樣的品質 什麼樣的能力,而這正是我們應該不懈努力前進的方向。...

不積跬步無以至千里014

11.28工作筆記 修改執行的基礎路徑 可以改變瀏覽器位址列的啟動引數 可以改變埠號 單位px rpx 在被設定時頁面會滾動到固定位置 解決了乙個bug 原 購物車內的加減操作 cartnum type,index ctlist index num else else this cartlist c...