nyc taxi data處理手記

2021-07-08 15:15:14 字數 1651 閱讀 2139

20151202收到郵件任務,要根據report處理資料。 

day1 根據  上的教程,在win8上嘗試進行了postgresql 的安裝。具體步驟見官網,比較簡單,主要是要主要版本是64還是32,也安裝了postgis,雖然在後來也並不清楚postgis 的具體用途是什麼。

注1: win8系統不同於win7,安裝完postgresql 後應該開始列表中出現包括pgadmin3的多個應用的,但是卻沒有,在win8的搜尋功能下才找到了,並將其新增到了開始列表中。

發現github中有.sh的檔案,資料的處理是用.sh的檔案寫的(這是一種linux的指令碼檔案,windows下不能執行。)

day2 由於需要用到linux,所以決定安裝ubuntu雙系統。wubi安裝失敗後,又試圖u盤安裝,仍不可行,在王解幫助下折騰許久,但是還是沒有成功。

收穫:winpe系統可以用來進行磁碟管理

發現自己的電腦硬碟是兩塊動態盤,且分割槽時跨盤的(eg:總容量為100g的e盤分別在第一塊兒盤和第二塊盤上各有50g)。當時沒有注意,雖然不理解動態盤是什麼意思,也沒有去管。

day3 換用easybcd 進行硬碟安裝 雙系統的嘗試仍舊失敗之後,開始思考原因。查詢過程中,發現網上說動態盤是不可以安裝雙系統的。動態盤有一些普通磁碟沒有的特性,例如可以建立帶區卷提高訪問速度啊之類的。但是它的很多操作:分割槽之類的是被限制的。

且在windows系統下,普通磁碟可以很容易地變為動態盤,但是動態盤很難恢復回普通磁碟。網上還說出現動態盤可能是某塊盤的分割槽超過了4個(普通盤不允許)。一般的思路是把各區刪除、格式化重新分配整個磁碟,但是由於不想重灌系統且會有資料丟失,因此沒有選擇。

找了一些工具,分割槽助手和 磁碟精靈。 提供不刪除資料的轉換操作,但是由於我的是跨區的所以需要先行轉殖映象,手邊沒有可用的其他盤(插了1t的行動硬碟卻無法使用…無解….)且仍有資料丟失風險…遂,放棄。

決定在windows8上安裝虛擬機器,再安裝ubuntu。

虛擬機器及系統安裝完成,增加了輸入法chinese(pinyin) 打字出來的卻是混亂的字母排列,按照網上說的進行了

找到解決方法了

1、重灌後更新源(個人一直用163源)

sudo apt-get update

sudo apt-get upgrade

2、language support新增chinese(******) 同時將預設語言修改為chinese(中國)並確定。

另附網上找到的乙個方法

終端下執行ibus-daemon –drx

如果ibus拼音出現雙拼的情況的話,在終端輸入這個命令,輸入法就成全拼了。

第乙個方法就正常了。 還順便了解了 ibus是ubuntu最新開發的基於python的乙個輸入法框架。

day4 按照官網說明在ubuntu下安裝了postgresql,試圖執行.sh檔案時卻遭遇了問題。網上說的雙擊執行,我雙擊是直接開啟了文字,網上說的chmod –x 檔名的執行方式,我這裡也沒有反應。

目前最大的問題是虛擬機器的空間不夠,資料太多的話應該需要重新指定儲存位置,不知道用行動硬碟可不可以。如何為postgresql 指定儲存位置以及 是否可以用官網上所說的雲端待嘗試!

(要去寫作業了,還有好多作業沒寫。那篇ec**要看!)

python一些字元編碼處理的手記

幾個和字元編碼相關的函式。sys.getdefaultencoding 可以獲取python預設的編碼。另外還有乙個locale.getpreferredencoding 系統使用的預設字元編碼。暫時搞不太清這兩個函式不知道有什麼區別,只能按這樣來理解。還有兩個編碼轉換的函式,decode和enco...

Oracle開發手記

由於開發中經常遇到一些問題,想必大家也經常遇到,寫下來做乙個備忘錄.1.oracle問題,採用iis訪問oracle時,一定要注意客戶端的oracle資料夾的訪問許可權,這個是一定要注意設定的.2.oracle的字符集問題.由於很多情況下,需要不同的oracle資料庫資料交換,但是可能出現資料庫之間...

Cygwin安裝手記

對linux開發一直頗感興趣,但是vmware卻麻煩的要死,所以安裝個cygwin玩玩。然後就是安裝 因為windows當前使用者許可權是users,所以我安裝cygwin的時候選擇的是 just me,dos test,然後選擇安裝全部 安裝完成後,首先就是用用emacs,很順手,就是consol...