洗資料的那些坑

2022-07-17 08:57:08 字數 915 閱讀 8351

最近爬蟲爬來好多資料,清洗入庫過程中遇到一些小磕磕絆絆,現總結一下。

1.首先解析json字串,並提取出相應字段,但每個json文字的字段不一定全都有,提取字段值時會出現因找不到key值而報錯,此時可以用python的三元表示式,解析提取**如下:

2.將解析提取字段插入資料庫,發現資料庫的資料是亂碼,解析資料和資料庫編碼不同導致,因此需要在入庫時用mysqldb.escape_string()函式進行強制編碼:

3.插入資料時報錯:valueerror: invalid \escape: line 1 column 35442 (char 371),這是因為解析欄位中含有單引號,反斜槓等不用轉義的特殊符號,解決辦法有(1)刪除特殊符號;(2)用其它符號進行替換,入庫後再替換回來;(3)待發現。。。。

如果進行刪除或是替換,需要現在資料庫中查詢出來,查詢反斜槓需要加2條反斜槓進行轉義;但是替換時只需要加一根反斜槓;單引號查詢和替換一樣,加一根反斜槓;直接將單引號替換為空或是中文的單引號。

(1)select  content from tem_company where content like '%\\\%'; 

(2)update tem_company set content = replace(content,'\\','/');

(3)update  tem_company set content = replace(content,'\'','') ;

UITextView的那些坑

坑1 ios7及以上的版本上,uitextview出現這樣的問題 彈出鍵盤時,沒輸入任何文字,但是游標位置不是在最上方。解決方案 ios7以後新增了乙個屬性automaticallyadjustsscrollviewinsets,將其置為no即可。別忘了加版本判斷。if ios7 and later...

string的那些坑

坑一 typedef struct st st st test st malloc sizeof st st m1 hello 除錯這段 你會發現最後一句報段錯誤。為什麼呢?string本質是個類,而malloc不知道要呼叫string的建構函式去例項化m1,結果導致m1這個物件實際不存在,去用它當...

Flask SQLALCHEMY 的那些坑!!!

if request.method get 接收前段傳遞過來的使用者id uid request.args id 根據id將對應的使用者資訊讀取出來 user db.session.query users filter by id uid first print user user user1 db...