parquet資料：列式儲存結構，由twitter和cloudera合作開發，相比於行式儲存，其特點是：
可以跳過不符合條件的資料，只讀取需要的資料，降低io資料量；壓縮編碼可以降低磁碟儲存空間，使用更高效的壓縮編碼節約儲存空間；只讀取需要的列，支援向量運算，能夠獲取更好的掃瞄效能。
那麼我們怎麼在pyspark中讀取和使用parquet資料呢？我以local模式，linux下的pycharm執行作說明。
首先，導入庫檔案和配置環境：
import www.cppcns.comos
fropjkimwfztm pyspark import sparkcontext, sparkconf
from pyspark.sql.session import sparksession
os.environ["pyspark_python"]="/usr/bin/python3" #多個python版本時需要指定
conf = sparkconf().setappname('test_parquet')
sc = sparkcontext('local', 'test', conf=conf)
spark = sparksession(sc)
然後，使用spark進行讀取，得到dataframe格式的資料：host:port 屬於主機和埠號
parquetfile = r"hdfs://host:port/felix_test/test_data.parquet"
df = spark.read.parwww.cppcns.comquet(parquetfile)
而，dataframe格式資料有一些方法可以使用，例如：
1.df.first() ：顯示第一條資料，row格式
print(df.first())
2.df.columns：列名
3.df.count()：資料量，資料條數
4.df.topandas()：從spark的dataframe格式資料轉到pandas資料結構
5.df.show()：直接顯示表資料；其中df.show(n) 表示只顯示前n行資訊
6.type(df)：顯資料示格式
本文標題: pyspark讀取parquet資料過程解析
本文位址: /jiaoben/python/304177.html
python讀取hdfs上的parquet檔案方式
在使用python做大資料和機器學習處理過程中，首先需要讀取hdfs資料，對於常用格式資料一般比較容易讀取，parquet略微特殊。從hdfs上使用python獲取parquet格式資料的方法 當然也可以先把檔案拉到本地再讀取也可以 1 安裝anaconda環境。2 安裝hdfs3。conda in...
pyspark讀取csv檔案建立DataFrame
mark一下，感謝作者分享！方法一 用pandas輔助 from pyspark import sparkcontext from pyspark.sql import sqlcontext import pandas as pd sc sparkcontext sqlcontext sqlcont...
pyspark讀取hive資料寫入到redis
1 首先把redis包引入工程，這樣就不需要在集群裡每台機器上安裝redis客戶端。pip install redis cd usr local lib python3.6 dist packages 找到自己環境的路徑 zip r redis.zip redis hdfs dfs put redi...