比賽官方對資料的說明是資料報含兩個檔案：train_set.csv和test_set.csv
一.初識資料
train_set.csv:此資料集用於訓練模型，每一行對應一篇文章。文章分別在「字」和「詞」的級別上做了脫敏處理。共有四列：
第一列是文章的索引(id)
第二列是文章正文在「字」級別上的表示，即字元相隔正文(article)
第三列是在「詞」級別上的表示, 即詞語相隔正文(word_seg)
第四列是這篇文章的標註(class)。
test_set.csv:此資料用於測試。資料格式同train_set.csv，但不包含class。
看一下標籤值的分布情況：
可以看到訓練集有102277條資料，文字分類共19類，沒有嚴重的類別不均。
看一下訓練集有沒有缺失值：
可以看到沒有任何一列存在缺失值
看一下訓練集有沒有缺失值：
也沒有缺失值
可以看到其實資料集中的字和詞都是脫敏後的,不需要分詞,直接對訓練集切分
本來想只取word_seg列的，但是考慮到後面做模型融合或者提取構造特徵時可能會用到，就先留下來了，到後面再看吧。
達觀杯文字智慧型處理挑戰賽
筆者嘗試了一下達觀杯的比賽，如下圖所示 import pandas as pd import imp from sklearn.linear model import logisticregression from sklearn.feature extraction.text import cou...
達觀杯 文字智慧型處理挑戰賽 02
原理 將每篇文章看成一袋子詞，並忽略每個詞出現的順序。即將整段文字以詞為單位切分開，然後每篇文章可以表示成乙個長向量，向量中的每一維代表乙個單詞，而該維對應的權重則反映了這個詞在原文章中的重要程度。權重與詞在文字 現的頻率有關，而其中不考慮詞與詞之間的上下文關係。詞袋模型的三步驟 分詞 統計修訂詞特...
達觀杯文字智慧型挑戰賽任務二（TF IDF）
簡介 tf idf term frequency inverse document frequency 是一種用於資訊檢索與資料探勘的常用加權技術。tf意思是詞頻 term frequency idf意思是逆文字頻率指數 inverse document frequency 原理 tfidf的主要思...