商業領域的資料科學家和偵探類似:去探索未知的事物。不過,當他們在這個旅程中冒險的時候，他們很容易落入陷阱。所以要明白,這些錯誤是如何造成的,以及如何避免。
「錯誤是發現的入口。」——james joyce (著名的愛爾蘭**家)。
這在大多數情況下是正確的,但是對於資料科學家而言,犯錯誤能夠幫助他們發現新的資料發展趨勢和找到資料的更多模式。說到這兒,有一點很重要:要明白資料科學家有乙個非常邊緣的錯誤。資料科學家是經過大量考察後才被錄用的，錄用成本很高。組織是不能承受和忽視資料科學家不好的資料實踐和重複錯誤的成本的。資料科學的錯誤和不好的資料實踐會浪費資料科學家的職業生涯。資料科學家追蹤所有實驗資料是至關重要的,從錯誤中吸取教訓,避免在未來資料科學專案中犯錯。
福爾摩斯有一句名言是如何定義偵探的,而資料科學家在商業中的角色就類似偵探。
「我是福爾摩斯，我的工作就是發現別人不知道的。」
企業要想保持競爭力,它必須比大資料分析做的更多。不去評估他們手中的資料質量，他們想要的結果,他們預計從這種資料分析中獲得多少利潤， 這將很難正確地找出哪些資料科學專案能夠盈利,哪些不能。當發生資料科學錯誤時——一次是可以接受的——考慮到有乙個學習曲線,但是如果這些錯誤發生在兩次以上,這會增加企業成本。
在python中學習資料科學，成為企業資料科學家。
避免常見的資料科學錯誤：
1、相關關係和因果關係之間的混亂
對於每個資料科學家來說，相關性和因果關係的錯誤會導致成本事件，最好的例子是《魔鬼經濟學》的分析,關於因果關係的相關性錯誤，導致伊利諾斯州給本州的學生發書，因為根據分析顯示家裡有書的學生在學校能直接考的更高分。進一步分析顯示,在家裡有幾本書的學生在學業上能表現的更好,即使他們從來沒有讀過這些書。
這改變了之前的假設和洞察：父母通常買書的家庭，能營造愉快的學習環境。
大部分的資料科學家在處理大資料時假設相關關係直接影響因果關係。使用大資料來理解兩個變數之間的相關性通常是乙個很好的實踐方法,但是,總是使用 「因果」模擬可能導致虛假的**和無效的決定。要想實現利用大資料的最好效果,資料科學家必須理解相關關係和根源的區別。關聯往往是指同時觀察x和y的變化，而因果關係意味著x導致y。在資料科學，這是兩個完全不同的事情,但是許多資料科學家往往忽視了它們的區別。基於相關性的決定可能足以採取行動,我們不需要知道原因,但這還是完全依賴於資料的型別和要解決的問題。
每位資料科學家都必須懂得——「資料科學中相關關係不是因果關係」。如果兩個關係出現彼此相關的情況,也不意味著是乙個導致了另乙個的產生。
2、沒有選擇合適的視覺化工具
大部分的資料科學家專心學習於分析的技術方面。他們不能通過使用不同的視覺化技術理解資料，即那些可以令他們更快獲得洞察力的技術。如果資料科學家不能選擇合適的視覺化發展模型，監控探索性資料分析和表示結果，那麼即使是最好的機器學習模型，它的價值也會被稀釋。事實上,許多資料科學家根據他們的審美選擇圖表型別,而不是考慮資料集的特徵。這個可以通過定義視覺化的目標避免。
即使資料科學家開發了乙個最優秀和最好的機器學習模型，它也不會大叫說「尤里卡」——所有這些所需要的是結果的有效視覺化，可以理解資料模式的不同，和意識到它的存在可以被利用來獲得商業成果。常言道「一張勝過1000個單詞。」——資料科學家不僅要熟悉自己常用的資料視覺化工具,也要理解資料有效視覺化的原理，用令人信服的方式獲得結果。
解決任何資料科學問題的至關重要一步,就是要獲得該資料是關於什麼的洞察力,通過豐富的視覺化表達，可以形成分析基礎和建立相應模型。
3、沒有選擇適當的模型-驗證週期
科學家認為，建立了乙個成功的機器學習模型，就是獲得了最大程度的成功。但是，這只是成功了一半，它必須要確保模型的**發揮作用。許多資料科學家經常忘記或者傾向性的忽視這樣的事實，就是他們的資料必須在指定的時間間隔進行反覆驗證。一些資料科學家經常犯的乙個普遍性錯誤：如果和觀察到的資料吻合，就認為**模型是理想的。已建立的模型的**效果可以因為模型的關係在不斷變化而瞬間消失。為了避免這種情況,資料科學家最好的解決方式就是每個小時都對含有新資料的資料模型進行評分，或者基於模型的關係變化快慢逐日逐月評分。
由於幾個因素，模型的**能力往往會變弱,因此資料科學家需要確定乙個常數，用以確保模型的**能力不能低於可接受的水平。有例項即資料科學家可以重建資料模型。能建立幾個模型和解釋變數的分布總是更好的，而不是考慮單個模型是最好的。
為了保留已建模型的**效果和有效性，選擇迭代週期是非常重要的，如果做不到，可能會導致錯誤的結果。
4、無問題/計畫的分析
資料科學協會主席michael walker說： 「資料科學的最高端用途就是設計實驗,提出正確的問題和收集正確的資料集,一切工作都要根據科學的標準。然後你將獲得結果，並解釋它。」
資料科學是乙個結構化的過程,以明確的目標開始，隨後出現一些假設的問題,最終實現我們的目標。資料科學家往往站在資料之上而不考慮那些需要分析回答的問題。資料科學專案必須要有專案目標和完美的建模目標。資料科學家們如果不知道他們想要什麼——最終得到的分析結果將會是他們不想要的。
大多數資料科學專案最終是回答「是什麼」的問題,這是因為資料科學家通過手頭的問題作分析而不遵循做分析的理想路徑。資料科學是使用大資料回答所有關於「為什麼」的問題。資料科學家應該通過整合以前未被整合的資料集，主動分析給與的資料集，回答以前沒人解答的問題。
為了避免這種情況,資料科學家應該集中精力獲得正確的分析結果，這可以通過明確實驗，變數和資料準確性和清晰明白他們想要從資料中獲得什麼實現。這將簡化以往通過滿足假設的統計方法來回答商業問題的過程。引用伏爾泰的一句話——「判斷乙個人，是通過他的問題而不是他的答案。」——先確定明確的問題是及其重要的，能夠實現任何企業的資料科學目標。
5、僅關心資料
資料科學家常常因為得到來自多個資料來源的資料而興奮,並開始建立圖表和視覺化來做分析報告，忽視發展所需的商業智慧型。這對任何組織來說都是危險的事情。資料科學家經常給與資料太多決策制定的權力。他們不夠重視發展自身商業智慧型，不明白分析如何令企業獲益。資料科學家應該不僅僅讓資料說話，而且善於運用自身的智慧型。資料應該是影響決策的因素而不是資料科學專案決策制定的最終聲音。企業僱傭的資料科學家應該是可以將領域知識和技術特長結合起來的，這是避免錯誤的理想情況。
6、忽視可能性
資料科學家經常傾向性忘記方案的可能性，這將導致作出更多的錯誤決策。資料科學家經常犯錯，因為他們經常說，如果企業採取了x操作一定會實現y目標。對於特定的問題這沒有唯一的答案，因此要確認資料科學家從不同可能性中所做的選擇。對指定問題存在不止乙個可能性，它們在某種程度是不確定的。情景規劃和可能性理論是資料科學的兩個基本核心，不應該被忽視，應該用以確認決策制定的準確性頻率。
7、建立乙個錯誤人口數量的模型
如果乙個資料專案的目的是建立乙個客戶影響力模式的模型，但是他們僅僅考慮那些具有高度影響力的客戶的行為資料，這不是對的做法。建立該模型不僅要考慮那些具有高度影響力的客戶的行為資料，也要考慮那些不怎麼有影響力但是具有潛在影響力的客戶的行為資料。低估任何一邊人口的**力量都可能導致模型的傾斜或者一些重要變數的重要性下降。
常見的七種排序
排序演算法大體可分為兩類 非線性時間比較類排序 交換類排序 快速排序和氣泡排序 插入類排序 簡單插入排序和希爾排序 選擇類排序 簡單選擇排序和堆排序 歸併排序 二路歸併排序和多路歸併排序 線性時間非比較類排序 計數排序，桶排序，和基數排序 氣泡排序 重複地走訪過要排序的元素列，依次比較兩個相鄰的元素...
常見的七種回歸技術
根據受歡迎程度，線性回歸和邏輯回歸經常是我們做 模型時，且第乙個學習的演算法。但是如果認為回歸就兩個演算法，就大錯特錯了。事實上我們有許多態別的回歸方法可以去建模。每乙個演算法都有其重要性和特殊性。什麼是回歸分析？我們為什麼要使用回歸分析？回歸有哪些型別 如何去選擇回歸模型？回歸分析是研究自變數和因...
常見的七種回歸技術
根據受歡迎程度，線性回歸和邏輯回歸經常是我們做 模型時，且第乙個學習的演算法。但是如果認為回歸就兩個演算法，就大錯特錯了。事實上我們有許多態別的回歸方法可以去建模。每乙個演算法都有其重要性和特殊性。1.什麼是回歸分析？2.我們為什麼要使用回歸分析？3.回歸有哪些型別 4.線性回歸 5.邏輯回歸 6....