《Hadoop金融大資料分析》讀書筆記

2021-09-07 11:55:13 字數 432 閱讀 1899

《hadoop金融大資料分析》 hadoop for finance essentials

使用hadoop,是因為資料量大

資料量如此之多,以至於無法用傳統的資料處理工具和應用來處理的資料稱主大資料

3v定義:即「大量volume,多樣variety,高速velocity是與大資料相關的三個屬性或維度。

大量指的是資料的量很大,

多樣指的是資料的型別很多,

高速指的是資料處理的速度很快

對於一家處理gb級資料的小公司來說,tb級的資料可能被認為是大資料,

對於處理tb級資料的大公司來說,pb級的資料,則被認為是大資料

就常規而言,大資料至少是tb級的

除了想要儲存無盡的資料,企業也需要分析它們

資料以不同的形式儲存,其中大量的交易資料被稱為結構化資料,影象和音訊等資料被稱為非結構化資料

Python金融大資料分析 回歸分析

回歸分析是金融中乙個繞不過的話題,其實最好的工具應該是r語言,但是pandas其實也是能夠勝任絕大部分工作的。這裡我們就簡單介紹一下。import pandas as pd import numpy as np import matplotlib.pyplot as plt noise np.ran...

《Python 金融大資料分析 python簡介》

1.風格 編輯python在設計上堅持了清晰劃一的風格,這使得python成為一門易讀 易維護,並且被大量使用者所歡迎的 用途廣泛的 語言。設計者開發時總的指導思想是,對於乙個特定的問題,只要有一種最好的方法來解決就好了。這在由tim peters寫的python格言 稱為the zen of py...

大資料分析平台Hadoop與Spark之爭

zd至頂網軟體頻道訊息 原創文章 文 鄧曉蕾 有人把大資料稱為資訊資產 有人稱為金礦 甚至社會財富。而大資料,即,無法在可承受的時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合。gartne認為 大資料 是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力的海量 高增長率和多樣化的資...