很多企業的it工作都存在外包現象，其中乙個工種是比較特殊的，bi分析或大資料分析，按照性質又可分為四種，功能型的支撐、事務性的支撐、倉庫模型支撐和資料探勘的支撐，功能性的支撐就是建設乙個bi系統或工具，事務性支撐泛指報表、取數、運維等例行性的工作，倉庫模型支撐是指資料的歸集和整合，資料探勘則更多體現為資料分析和知識發現，但這四者經常混為一談，統稱資料分析支撐。
有的些企業將這類工作全部外包，自身的人員只做管理，有的企業則全部自己做，比如很多網際網路公司，有的則處於中間狀態，部分外包部分自己建，那麼，外包和非外包的邊界在**？在大資料時代，是否情況又發生了新的變化？
在表達看法之前，筆者先講乙個理論，再講幾個故事：
我們來理解下交易成本這個概念：交易成本就是你從自由市場上尋找、溝通、購買一項服務，為這個購買能夠達成，所付出的時間和貨幣成本。通常來說，交易成本包括搜尋成本、資訊成本、議價成本、決策成本、監督交易進行的成本等等，交易成本的概念，由科斯提出，由威廉森系統化，這兩個人獲得過諾貝爾經濟學獎。
科斯的交易成本理論，回答了經濟學家一直爭論的乙個問題：企業的邊界在**？企業應該做大還是做小？
科斯說，是交易成本與管理成本的對比，確定了企業的邊界，交易成本越低的事情，越應該外部化，管理成本越低的事情，越應該內部化。
比如為什麼亞馬遜用fedex作為物流支撐，而京東要花巨大成本構建自己的物流體系？
因為美國的物流體系已經非常發達，可靠度也非常高，亞馬遜可以很放心地用相對低的**，購買到高品質的物流服務。因為成熟，交易成本，比如搜尋成本、決策成本等，都很低，自己做呢，第一，不一定做的比fedex好，第二，自己組織團隊來做的管理成本，可能比從外部購買的交易成本更高，所以，亞馬遜用公共物流體系，而不是自建。
而京東對物流的速度、品質要求非常高，它想在中國市場上搜尋到符合條件的公眾物流公司，非常難。議價成本、決策成本，尤其是監督交易進行的成本，都會非常高，雖然管理很麻煩，但是自己組織團隊來做的管理成本，還是比從外部購買的交易成本更便宜。所以京東選擇自己來做。
又比如共享單車這個事情，到底是自己買輛自行車方便還是租用共享單車方便？
也可以用這個理論解釋下，自己買自行車除了買車的成本，還包括了維護成本，安全成本，攜帶成本，停放成本等等，這個管理成本太高了，而每次租用共享單車其實交易成本不高，因此現在越來越多的人習慣於租自行車而不是自己買了，比如我家買的山地車已經幾年沒騎了，因為被盜的成本很高。
好了，如果你理解了這一點，讓我們言歸正傳說說大資料建模自主和外包的問題。
一項建模工作能外包，最好是交易成本足夠低。
交易成本怎麼才能低呢？
比如雙方的人員工作介面比較清楚，交付物沒有歧義，結算也比較簡單，最好不要留有尾巴，能夠計件薪酬的最好，根據以上的原則，交付乙個bi系統，完成乙個報表取數，買人頭做維護比較容易外包，因為交易成本比較低。
但倉庫模型和資料探勘則比較難，為什麼？
因為這類工作交易成本是很高的。
首先，資料倉儲和資料探勘的行業垂直特性非常明顯，其建設的好壞跟企業現有的的業務和資料相關性太大，決定了其在特定行業的稀缺性，你在市場上很難找到能理解你企業的業務、資料的人員，當然有部分外包人員對於行業的理解甚至超過了本行業的大多人，但這不具有統計學意義，一般來說，凡是打上了深刻的行業烙印的工作都是不適合外包的，也許保安能外包、食堂能外包、外呼能外包、甚至產品能外包，但絕對不可能外包營銷策劃工作。
有這麼乙個生動的故事：
一天，乙個農民趕著一群羊在草原上走。迎面碰到乙個人對他說：「我可以告訴你，你的羊群有幾隻羊。」他用衛星定位技術和新的網路技術將資訊發到總部的資料庫……片刻後，他告訴農民共有1460隻羊。農民點頭稱對。隨後，他要求農民給他乙隻羊作為報酬，農民答應了。不過農民說：「如果我能說出你是哪家公司的，您能否把羊還給我？」那人點頭。農民說：「你是麥肯錫公司的。」那人很驚訝地問農民是怎麼知道的。農民說：「有三個理由足以讓我知道你是麥肯錫公司 的：1、我沒有請你，你就自己找上門來；2、你告訴了我乙個早已知道的東西，還要向我收費；3、一看就知道你一點都不懂我們這一行，你剛剛抱走的那只根本不是羊，而是只牧羊犬。」
現在人工智慧很火熱，但是很多垂直行業的人工智慧工作其實也是不適合外包的，網際網路公司大力推進的人機互動技術，很多程度上是要讓自己在流量入口搶奪上佔據先機，但大多數企業其實沒有這類特定的使用場景，他們需要的是針對這個行業的專用的人工智慧，解決這個行業專業的問題，我們有時候甚至會陷入為人工智慧演算法找場景的困境，這是有深層次原因的。
其次，由於資料倉儲模型和資料探勘對於迭代的要求很高，外包的「你付錢，我工作」的交易模式顯然有點不划算，即使當初做出了很好的模型，比如通過乙個專案，但鐵打的營盤流水的外包，意味著模型的優化很難得到長期高質量的維護，傳統bi時代資料探勘專案效果很多不理想，倉庫模型幾年推倒一次，這種交易成本的確有點大。
再次，資料探勘等工作非常強調主動性和創新性，但一般企業不會為外包人員的創新性額外買單，大多會認為創新是支撐工作理所當然的，但創新實際就意味著風險，企業一般無法容忍外包去做可能沒成果的事情，因此外包會傾向於保守，不求有功但求無過，但資料探勘一旦缺失了創新基因就很難有大的突破，原來的交易成本相對就顯得過大了。
最後，由於外包人員受企業和外包企業雙重管理，一方是以為自己的業務創造更高的價值為導向，一方是以最小的代價獲得最高的利潤為評估標準，這兩者要達到共贏挑戰很大，很多探索性，創新性的免費專案往往由於外包企業的資金壓力不了了之。
由於以上一些原因，在資料倉儲和資料探勘對外交易成本相對變高的情況下，也許企業可以考慮自己做，企業傳統業務的最好的資料探勘師一般也在內部，筆者所在企業組織了很多次建模大賽，最適合的模型往往是具有豐富業務和資料經驗的企業內部人員創造的，其實資料倉儲建模一樣，誰最有可能設計出一張好的寬表呢？大多是企業內部的經營分析人員。
雖然企業自己培養人才、自己建模增加了管理成本，但從長遠來看可能是合算的，當前管理的陣痛換來的是乙個光明的未來，特別是在大資料這個講究快速，個性化的時代背景下。
但是外包和自建這個平衡點不好找，比如大多傳統企業不大可能培養或擁有這麼多的建模師，一定程度上還是需要依靠外力，這裡筆者就給出一些原則建議，當然仁者見仁，智者見智。
對於擁有一定資料規模的企業，資料倉儲模型不能外包：資料倉儲模型屬於企業的核心資料資產，是資料中颱的核心，企業再沒有人，只要你有資料倉儲，就必須騰挪出資源來構建自己的模型團隊，家當必須掌握在自己手裡，曾經看到做資料模型的外包企業以核心機密為由不對其他合作夥伴開放資料字典，這對於企業也是巨大的諷刺，就好比你家的資料資產賬本放在別人家裡，但這種現象確實存在。
傳統業務的資料探勘不值得外包：針對企業傳統業務的資料探勘盡量不要外包，因為外包了大多也做不好，如果的確人手不夠需要外包，就要有這個心理準備，不會比企業自己的人做得更好，價效比最高的就是讓企業內部人員來，比如企業自身的資料人員對於乙個資料的異動會想到也許是某個**造成，但外部的建模師可能以為找到了乙個天大的資料規律。
創新型業務則鼓勵多方唱戲合作共贏：針對新型業務的資料探勘可以外包，因為對於這些業務，沒有存量的包袱，企業內和企業外都處於同一起跑線，為了促進創新業務的快速發展，需要依靠多方外部力量，現在很多網際網路企業在大資料領域開疆擴土，對於大資料建模人員求才若渴，很多是新增業務的驅動所致，而不是去搞老的業務。
資料的培訓和運營可以外包：很多企業的人員對於資料和業務熟悉，但往往不理解演算法，不會使用工具，不會操作大資料平台，不懂好的運營手段，而這些能力往往比較通用，因此可以充分利用外部的力量來補足自己的短板，所謂「搭台唱戲」，這個臺可以讓外部人員來一起搭，讓外包人員成為企業的使能者。
外包團隊選擇至關重要：資料探勘要產生價值是個長流程，外包企業合作需要是戰略性、長期性的，而不是打一槍換乙個地方，外包人員必須自己直面客戶並為結果負責，而不是為過程負責，外包團隊需要有更為開放的文化，能夠充分理解客戶的訴求，因此外包團隊的選擇重要性要遠遠大於進來後搞一堆的外包管理制度，在當下低價中標越演越烈、主動性和創新性又難以有效量化的情況下，要引入一家價效比高的資料服務企業很難。
當然，企業也要處理好自身人員與外包人員的關係，人家是來幫助企業開疆擴土的，不是來頂替自己的建模師的工作的，很多時候，企業的外包人員能力成長很快，而自身人員卻停滯不前，這會讓企業在技術上喪失主動權，交易成本實際上很大。
在這個大資料時代，無論是企業還是個人，必須找到那些你自己做，比市場更高效的事情，建築你的核心競爭力，而把那些你做的其實一般的事情，盡快扔回給市場，要有所為而有所不為。
**文章：大資料建模的自主和外包，邊界到底在**？
關於資料分析崗位的工作思考
2020年來了，到了展望全年工作，提出思路的時候了。資料分析工作是根據業務部門的需求，對企業經營資料進行分析，在分析過程中，除了分析企業內部資料，還經常需要企業外部的資料補充或者驗證分析結果，充分有效的資料 對資料分析工作非常重要。面對海量的企業經營資料，採用合適的資料分析演算法及技術，才能快速有效...
探索資料分析行業的日常工作
最近 資料分析師 這個職位非常得火熱，使用資料和技術的工作方式也激起了很多人的好奇心，那麼乙個資料分析師整天都在做什麼呢？想象是一回事，每天做這些工作又是另一回事。我們深入挖掘了資料分析師一整天都在做什麼。繼續往下看，你會發現這些日常的工作職責可能都是我們未來職業生涯的一部分。資料分析師生活中的一天...
工作總結 基於R的資料分析
終於有那麼一丟丟時間，可以來把關於r語言程式設計的工作梳理一下。總體來說，工作內容主要是將公司已有的excel模板的資料分析內容轉為r語言形式，目前寫了四個產品的資料清洗和分析 在這中間，學習到了很多新知識。對接下來，程式設計之路的走向有了初步的規劃。對資料分析這塊也增加了認識吧。關於新知識 1 較...