阿里天池新人賽 之街景字元識別(1)

2021-10-06 08:04:49 字數 3253 閱讀 4684

正式賽時間:2020.5.14-2020.6.24

比賽**

所有的資料(訓練集、驗證集和測試集)的標註使用json格式,並使用檔名進行索引。如果乙個檔案中包括多個字元,則使用列表將字段進行組合。

賽題思路分析:賽題本質是分類問題,需要對的字元進行識別。但賽題給定的資料中不同中包含的字元數量不等,如下圖所示。有的的字元個數為2,有的字元個數為3,有的字元個數為4。

1.簡單入門思路:定長字元識別

2.專業字元識別思路:不定長字元識別

3.專業分類思路:檢測再識別

import pandas as pd

import os

import requests

import zipfile

import shutil

# 檢視基本資訊

links = pd.read_csv(

'data/mchar_data_list_0515.csv'

)print

(links.head())

for i, link in

enumerate

(links[

'link'])

: file_name = links[

'file'

][i]

print

(file_name,

'\t'

, link)

file_name =

'data/'

+ file_name

ifnot os.path.exists(file_name)

: response = requests.get(link, stream=

true

)with

open

(file_name,

'wb'

)as f:

for chunk in response.iter_content(chunk_size=

1024):

if chunk:

f.write(chunk)

zip_list =

['mchar_train'

,'mchar_test_a'

,'mchar_val'

]# 解壓檔案

for little_zip in zip_list:

ifnot os.path.exists(

'data/'

+ little_zip)

: zip_file = zipfile.zipfile(

'data/'

+ little_zip +

'.zip'

,'r'

) zip_file.extractall(path=

'data/'

)# 解壓後的_macosx資料夾裡邊的內容不可讀,這是上傳者的mac壓縮檔案時自動生成的,無用,刪去即可

# 資料標註處理

defparse_json

(d):

arr = np.array(

[d['top'

], d[

'height'

], d[

'left'

], d[

'width'

], d[

'label']]

) arr = arr.astype(

int)

return arr

# 讀取影象

天池街景字元識別個人看法

個人對賽題的理解,以及對實現的思路的一些看法,小白看法,也不知道對不對 對賽題的理解 由於以前個人對cnn有一點基礎,我覺得本次賽題即街景字元編碼識別可以用cnn來實現,convolutional是對影象特徵提取比較好的方式。傳統方式沒有運用卷積操作,直接把個個類別的影象對應的畫素直接flatten...

天池 街景字元識別 Task5 模型整合

結果後處理 小節在機器學習中的整合學習可以在一定程度上提高 精度,常見的整合學習方法有stacking bagging和boosting,同時這些整合學習方法與具體驗證集劃分聯絡緊密。由於深度學習模型一般需要較長的訓練週期,如果硬體裝置不允許建議選取留出法,如果需要追求精度可以使用交叉驗證的方法。下...

天池 街景字元編碼識別 賽題理解

評測指標 結果提交 賽題思路分析 資料集介紹 賽題資料 自google街景影象中的門牌號資料集 the street view house numbers dataset,svhn 並根據一定方式取樣得到比賽資料集。訓練集資料報括3w張 驗證集資料報括1w張 每張 包括顏色影象和對應的編碼類別和具體...