資料探勘研究方向 熱點以及對大資料研究的認識

2021-08-11 07:22:20 字數 1363 閱讀 4893

[日期:2015-07-07]

[字型:大中小]

通過上網查詢以及看同行對會議的公共認識,資料探勘領域的頂級會議是kdd(acm sigkdd conference on knowledge discovery and data mining),公認的、排名前幾位的會議是kdd、icde、cikm、icdm、sdm,期刊是acm tkdd、ieee tkde、acm tods、acm tois、dmkd、vldb journal等。會議及期刊的全稱如下:

會議acm sigkdd conference on knowledge discovery and data mining (kdd)

international conference on data engineering (icde)

international conference on information and knowledge management (cikm)

ieee international conference on data mining (icdm)

siam international conference on data mining (sdm)

期刊acm transactions on knowledge discovery from data (tkdd)

ieee transactions on knowledge and data engineering (tkde)

acm transactions on database systems (tods)

acm transactions on information systems (tois)

data mining and knowledge discovery (dmkd)

通過最近幾天對最新的(14年、15年)會議**閱讀,首先說一下資料探勘領域在做什麼、熱點研究在**。

資料探勘領域主要包括以下方面:基礎理論研究(規則和模式挖掘、分類、聚類、話題學習、時間空間資料探勘、機器學習方法,監督、非監督、半監督等)、社交網路分析和大規模圖挖掘(圖模式挖掘、社群發現、網路聚類係數估計、網路關係挖掘、網路使用者行為分析、網路資訊傳播、社交網路應用,社交推薦(資訊、好友等))、大資料探勘(演算法的並行、分布式擴充套件、多源異構資料融合挖掘等)。資料探勘應用(醫療、教育、金融等)。研究熱點是大資料探勘、社交網路和大規模圖挖掘。

總結:在大資料研究中,更多的是偏理論演算法的研究。可以這樣說,資料探勘本身就是跟資料打交道,在特定情況下(資料集較大時或不斷增加時),資料探勘的任何乙個研究點都可能會遇到「大資料」問題。所以,真正需要做的是找準乙個問題,利用傳統方法進行挖掘,並測試在大規模資料集下傳統演算法是否可行,如果不可行,提出演算法的改進版或者自己動手實現乙個新的、具有可擴充套件性的演算法,這就是大資料研究的過程(也包括異構資料融合分析)

大資料計算模式以及對應的典型系統

大資料查詢與分析計算 hbase,hive,cassandra,premel,impala,shark,hana,redis 批處理計算 mapreduce,spark 流式計算 scribe flume,storm,s4,sparkstreaming 迭代計算 haloop imapreduce,...

大資料測試方法 最近的研究熱點之一

一.功能性測試 大資料功能主要涉及系統實現面向大資料分析應用的posix api,包括檔案讀取與訪問控制,元資料操作,鎖操作等功能 大資料分析系統的posix語義不同,實現的檔案系統api也不同,功能測試要覆蓋到大資料系統涉及實現的api和功能點 功能測試工作量大,應該重點考慮應用自動化測試方法進行...

面向調控大資料的資料分析挖掘方法研究

1 電壓等級。同類裝置電壓等級越高,裝置在電力系統中就越重要 2 裝置造價。裝置造價是從經濟角度衡量裝置重要度的指標之一 3 供電區域屬性。裝置所在的供電區域不同,裝置的重要性也不同,裝置所處的供電區域越重要,其裝置本身也就越重要 4 相關聯的裝置規模。裝置發生故障或者異常時可能會引起與其相關聯的裝...