大資料技術 ，就是從各種型別的資料中快速獲得有價值資訊的技術。 大資料 領域已經湧現出了大量新的技術，它們成為大資料採集、儲存、處理和呈現的有力**。大資料處理關鍵技術一般包括：大資料採集、大資料預處理、大資料儲存及管理、大資料分析及挖掘、大資料展現和應用（大資料檢索、大資料視覺化、大資料應用、大資料安全等）。
一、大資料採集技術
資料採集是指通過rfid射頻資料、感測器資料、社交網路互動資料及移動網際網路資料等方式獲得的各種型別的結構化、半結構化（或稱之為弱結構化）及非結構化的海量資料，是大資料知識服務模型的根本。重點要突破分布式高速高可靠資料爬取或採集、高速資料全映像等大資料收集技術；突破高速資料解析、轉換與裝載等大資料整合技術；設計質量評估模型，開發資料質量技術。
大資料採集一般分為大資料智慧型感知層：主要包括資料感測體系、網路通訊體系、感測適配體系、智慧型識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量資料的智慧型化識別、定位、跟蹤、接入、傳輸、訊號轉換、監控、初步處理和管理等。必須著重攻克針對大資料來源的智慧型識別、感知、適配、傳輸、接入等技術。基礎支撐層：提供大資料服務平台所需的虛擬伺服器，結構化、半結構化及非結構化資料的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬儲存技術，大資料獲取、儲存、組織、分析和決策操作的視覺化接**術，大資料的網路傳輸與壓縮技術，大資料隱私保護技術等。
二、大資料預處理技術
主要完成對已接收資料的辨析、抽取、清洗等操作。
1、抽取：因獲取的資料可能具有多種結構和型別，資料抽取過程可以幫助我們將這些複雜的資料轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。
2、清洗：對於大資料，並不全是有價值的，有些資料並不是我們所關心的內容，而另一些資料則是完全錯誤的干擾項，因此要對資料通過過濾「去噪」從而提取出有效資料。
三、大資料儲存及管理技術
大資料儲存與管理要用儲存器把採集到的資料儲存起來，建立相應的資料庫，並進行管理和呼叫。重點解決複雜結構化、半結構化和非結構化大資料管理與處理技術。主要解決大資料的可儲存、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式檔案系統（dfs）、能效優化的儲存、計算融入儲存、大資料的去冗餘及高效低成本的大資料儲存技術；突破分布式非關係型大資料管理與處理技術，異構資料的資料融合技術，資料組織技術，研究大資料建模技術；突破大資料索引技術；突破大資料移動、備份、複製等技術；開發大資料視覺化技術。
開發新型資料庫技術，資料庫分為關係型資料庫、非關係型資料庫以及資料庫快取系統。其中，非關係型資料庫主要指的是nosql資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文件資料庫等型別。關係型資料庫包含了傳統關係資料庫系統以及newsql資料庫。
開發大資料安全技術。改進資料銷毀、透明加解密、分布式訪問控制、資料審計等技術；突破隱私保護和推理控制、資料真偽識別和取證、資料持有完整性驗證等技術。
四、大資料分析及挖掘技術
大資料分析技術。改進已有資料探勘和機器學習技術；開發資料網路挖掘、特異群組挖掘、圖挖掘等新型資料探勘技術；突破基於物件的資料連線、相似性連線等大資料融合技術；突破使用者興趣分析、網路行為分析、情感語義分析等面向領域的大資料探勘技術。
資料探勘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用資料中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的資訊和知識的過程。資料探勘涉及的技術方法很多，有多種分類法。
根據挖掘任務可分為分類或**模型發現、資料總結、聚類、關聯規則發現、序列模式發現、依賴關係或依賴模型發現、異常和趨勢發現等等；
根據挖掘物件可分為關聯式資料庫、物件導向資料庫、空間資料庫、時態資料庫、文字資料來源、多**資料庫、異質資料庫、遺產資料庫以及環球網web；
根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。機器學習中，可細分為:歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非引數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(bp演算法等)、自組織神經網路(自組織特徵對映、競爭學習等)等。資料庫方法主要是多維資料分析或olap方法，另外還有面向屬性的歸納方法。
從挖掘任務和挖掘方法的角度，著重突破：
1、視覺化分析。資料視覺化無論對於普通使用者或是資料分析專家，都是最基本的功能。資料影象化可以讓資料自己說話，讓使用者直觀的感受到結果。
2、資料探勘演算法。影象化是將機器語言翻譯給人看，而資料探勘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉資料，挖掘價值。這些演算法一定要能夠應付大資料的量，同時還具有很高的處理速度。
3、**性分析。**性分析可以讓分析師根據影象化分析和資料探勘的結果做出一些前瞻性判斷。
4、語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從資料中主動地提取資訊。語言處理技術包括機器翻譯、情感分析、輿情分析、智慧型輸入、問答系統等。
5、資料質量和資料管理。資料質量與管理是管理的最佳實踐，透過標準化流程和機器對資料進行處理可以確保獲得乙個預設質量的分析結果。
五、大資料展現與應用技術
大資料技術能夠將隱藏於海量資料中的資訊和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的執行效率，大大提高整個社會經濟的集約化程度。
沒有基礎想學大資料難嗎？
大資料入門學習，你要掌握這些技能
大資料領域三個大的技術方向
自學大資料從哪入手
大資料專業未來就業前景如何？
教你大資料必修三大技能 ，快快記錄下來
外行人看大資料 大資料處理的關鍵技術
大資料技術，從本質上講是從型別各異 內容龐大的資料中快速獲得有價值資訊的技術。目前，隨著大資料領域被廣泛關注，大量新的技術已經開始湧現出來，而這些技術將成為大資料採集 儲存 分析 表現的重要工具。大資料處理的關鍵技術主要包括 資料採集 資料預處理 資料清理 資料整合 資料變換等 大資料儲存 資料分析...
大資料 大資料關鍵技術
大資料關鍵技術 大資料環境下資料 非常豐富且資料型別多樣，儲存和分析挖掘的資料量龐大，對資料展現的要求較高，並且很看重資料處理的高效性和可用性。傳統資料處理方法的不足 傳統的資料採集 單一，且儲存 管理和分析資料量也相對較小，大多採用關係型資料庫和並行資料倉儲即可處理。對依靠平行計算提公升資料處理速...
大資料與傳統的資料技術，主要有什麼差別？
大資料與傳統的資料技術的差別 1 資料規模大 傳統資料技術主要是利用現有存在關係性資料庫中的資料，對這些資料進行分析 處理，找到一些關聯，並利用資料關聯性創造價值。這些資料的規模相對較小，可以利用資料庫的分析工具處理。而大資料的資料量非常大，不可能利用資料庫分析工具分析。2 非結構化資料 傳統資料主...