《Python和HDF 5大資料應用》 導讀

2021-09-23 16:15:07 字數 1147 閱讀 4119

過去的幾年裡,python已經和idl或matlab一樣,成為科學分析領域值得信賴的選擇。它擁有穩健的核心模組,可用於處理數值陣列(numpy)、分析 scipy)以及繪圖(matplotlib),同時還擁有十分豐富的專用模組。它能幫助人們減少編寫科學**的工作量,同時還能提高計算結果的質量。

本書向所有有python資料分析基本背景的人介紹如何在python下使用hdf5。本書假定讀者只熟悉python和numpy。本書將側重於hdf5的本地功能集,而不是python的高層抽象,以盡力確保在本書建議下建立的hdf檔案可移植。

最後,本書將盡力同時支援python 2和python 3的使用者。本書所有的示例都以python 2寫就,任何有可能導致誤會的區別都將在文字中特別註明。

[第1章 簡介

1.1 python和hdf5](

1.1.1 資料和元資料的組織

1.1.2 大資料複製

1.2 hdf5到底是什麼

1.2.1 hdf5檔案規格

1.2.2 hdf5標準庫

1.2.3 hdf5生態系統

[第2章 開始使用

2.1 hdf基本原理](

2.2 設定

2.2.1 python2還是python3

2.2.2 **示例

2.2.3 numpy

2.2.4 hdf5和h5py

2.2.5 ipython

2.2.6 時間和優化

2.3 hdf5工具

2.3.1 hdfview

2.3.2 vitables

2.3.3 命令列工具

2.4 你的第乙個hdf5檔案

2.4.1 使用環境管理器

2.4.2 檔案驅動

2.4.3 使用者塊

第3章 使用資料集

第4章 讓分塊和壓縮來幫忙

第5章 組、鏈結和迭代:hdf5的層次性

第6章 用特徵儲存元資料

第7章 更多關於型別

第8章 通過引用、型別和維度標尺來組織資料

第9章 hdf5併發性:多執行緒和多程序

第10章 下一步

索引

Python 讀取HDF5檔案

使用hdf5依賴於python的工具包 h5py 使用pandas讀取 hdf的優點 hdf的優點有 自述性 對於乙個hdf檔案裡的每乙個資料物件,有關於該資料的綜合資訊 元資料 在沒有任何外部資訊的情況下,hdf允許應用程式解釋hdf檔案的結構和內容。通用性 許多資料型別都可以被嵌入在乙個hdf檔...

Matlab建立HDF5資料集 壓縮

建立hdf5資料集必須先後使用h5create h5write命令 h5create官方鏈結 h5write官方鏈結 我創造的資料集大小是256x256x3x50000 每個256x256x3是rgb樣本。如果在matlab裡將rgb三維矩陣存成jpg,大小只有6kb 但是我把三維矩陣存入到hdf5...

Python系列之入門篇 HDF5

hdf5 層次性資料格式 作用於大資料儲存,其高效的壓縮方式節約了不少硬碟空間,同時也給查詢效率帶來了一定的影響,壓縮效率越高,查詢效率越低。pandas v0.20.2 含 之後的版本預設選用blosc壓縮,跟bzip2相比,其間做了乙個小測試,10000條資料,bzip2的壓縮率是blosc的3...