大資料時代,統計學方法有多大的效果?

2022-02-25 21:43:38 字數 579 閱讀 4676

統計學習是一種方法,方法的好壞取決於人的使用。

資料探勘是眾多學科與統計學交叉產生的一門新興學科。

共同的目標。兩者都包含了大量的數學模型,都試圖通過對資料的描述,建立模型找出資料之間的關係,從而解決商業問題。

共用模型。包括線性回歸、logistic回歸、聚類、時間序列、主成分分析等。

思想不一樣。資料探勘偏向計算機學科,所關注的某些領域和統計學家所關注的有很大不同。不一定要有精確的理論支撐,只要是有用的,能夠解決問題的方式,都可以用來處理資料。而統計學是一門比較保守的學科,所沿用的模型一定要強調有理論依據(數學原理或經濟學理論)。

處理資料量不一樣。統計學通常使用樣本資料,通過對樣本資料的估計來估算總體變數。資料探勘使用的往往是總體資料,這也在過去的年代生產力和技術限制所致。資料探勘由於採用了資料庫原理和計算機技術,它可以處理海量資料。

發現的知識方式不一樣。資料探勘的本質是很偶然的發現非預期但很有價值的知識和資訊。這說明資料探勘過程本質上是實驗性的。而統計學強調確定性分析。確定性分析著眼於尋找乙個最適合的模型——建立乙個推薦模型,這個模型也許不能很好的解釋觀測到的資料。

統計學 資料的誤差

資料的誤差分為兩類 是一種隨機性誤差 引起 抽樣的隨機性 只出現在概率抽樣中 只要採用概率抽樣,抽樣誤差就是不可避免的 抽樣誤差是可計算的 抽樣誤差是可控制的,主要通過改變樣本量來控制 出現在概率抽樣 非概率抽樣 全面調查中 可控制,但不可計算 非抽樣誤差可分為 抽樣框誤差 只出現在概率抽樣中 因為...

統計學 資料的分類

統計學上,按照計量尺度的不同,可以將資料分為分類資料,順序資料和數值型資料 分類資料,這類資料提供分類方面的資訊。例如性別中的男,女,統計上為了便於分析,可以用 1 表示 男性 用 0 表示 女性 這裡 0 和 1 直接僅僅是起到表示作用沒有大小之分。也可以用 0 表示 男性 用 1 表示 女性 順...

統計學(3) 資料抽樣方法的細節

全面調查與抽樣調查是資料收集過程中最常用的2種方法。1.全面調查 就是對調查物件逐個排查。優點 得到的資料全面,可靠 缺點 耗費人力物力財力 調查時間長 適用範圍 範圍比較小 容易掌控 不具有破壞性 可操作性強 2.抽樣調查 是從總體中,抽取若干個體 即樣本 進行調查 優點 耗費的人力物力財力少 大...