一丶 一般情況下，資料探勘經過如下階段
1,資料記錄到資料來源中，如（文字檔案，傳統的業務資料系統，和其他各種資料來源）
2.這些資料經過etl（extract,transform,load）過程儲存到資料倉儲中，如hive(這些資料倉儲並不儲存資料，只是在檔案系統上的儲存倉庫引擎，資料儲存到檔案系統中，如hdfs）
3，在這些資料倉儲上進行隨機查詢等，結果存入如hbase等，hbase是類似於非關係型資料庫
4.利用這些資料進行分析等，屬於資料應用(前端展示)
二。olap（online analytical processing）與oltp(on-line transaction processing)
聯機分析處理與聯機事務處理
1.olap重點用於資料分析，所以幾乎只用查詢操作，但是聯機事務處理則增刪改查都有，事務處理，複雜的查詢等
2.olap如hive，olap常用於資料分析，人工智慧等 領域，,oltp如mysql，oracle，常見的關係型資料庫。
3.olap大多是資料倉儲引擎，例如hive，它可以將sql轉化為mapreduce作業,處理速度很快，實時響應
4.試用場景，olap用於經常頻繁性的操作，oltp的基本特徵是前台接收的使用者資料可以立即傳送到計算中心進行處理，並在很短的時間內給出處理結果，是對使用者操作快速響應的方式之一
大資料處理過程的通俗理解
大資料分析 這麼高大上，怎麼講才能最通俗呢，做飯和大資料有什麼關係呢?請聽下面分析 菜地裡的毛菜 原始系統的資料，有錯誤，不精準，毛菜有泥巴，有黃葉子 相當於erp，pdm系統裡面的原始資料。從菜地裡採集到家，分門別類的堆在一起 初步去掉泥巴，黃葉子，分類堆放 相當於從原系統到ods。ods的意思是...
mysql大資料處理過程的注意事項
最近在做10w以上的excel和txt的匯出，業務邏輯本身的複雜性和表結構的不合理性就不提了，這裡就說下在使用mysql中希望明顯提高效能的要點 1.如果你使用了儲存過程或其他方式建立了臨時表 temporary table 來充當中間表，記得一定要為臨時表加主鍵 單獨主鍵或是聯合主鍵 特別是通過c...
資料庫大資料處理 複製（SQLServer
複製起初並不是用於作為高可用性功能而設計的，實際上覆制的概念就像其名稱一樣，用於複製資料。比如將某個庫中的資料 複製 到另乙個庫，到另乙個例項中，由oltp複製到olap環境中，由某資料中心複製到位於地球另一側的另外乙個資料中心中。因此，由於複製所提供的功能，複製可用被用來剝離負載，用於做資料冗餘，...