Python之fastparquet:fastparquet的简介、安装、使用方法之详细攻略

Python之fastparquet:fastparquet的简介、安装、使用方法之详细攻略

 

 

 

 

 

目录

fastparquet的简介

fastparquet的安装

fastparquet的使用方法

1、读取

2、写入


 

 

 

 


fastparquet的简介

    fastparquet是parquet格式的python实现,旨在集成到基于python的大数据工作流中。并非拼花地板格式的所有部分都已实现或测试,例如,请参阅下面链接的TODO。也就是说,fastparquet能够读取parquet compatibility项目中的所有数据文件。

 

 

 

fastparquet的安装

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fastparquet

 

 

fastparquet的使用方法

1、读取

您可以指定要加载哪些列,哪些列作为类别保留(如果数据使用字典编码)。文件路径可以是单个文件、指向其他数据文件的元数据文件或包含数据文件的目录(树)。后者通常由hive/spark输出。

from fastparquet import ParquetFile
pf = ParquetFile('myfile.parq')
df = pf.to_pandas()
df2 = pf.to_pandas(['col1', 'col2'], categories=['col1'])

 

2、写入

默认情况下,生成一个具有单个行组(即逻辑段)且不压缩的单个输出文件。目前,只支持简单的数据类型和普通编码,因此期望性能与numpy.savez公司.

from fastparquet import write
write('outfile.parq', df)
write('outfile2.parq', df, row_group_offsets=[0, 10000, 20000],
      compression='GZIP', file_scheme='hive')

 

 

 

 

 

 

 

 

 

 

一个处女座的程序猿 CSDN认证博客专家 华为杯研电赛一等 华为研数模一等奖 国内外AI竞十
人工智能硕博生,目前兼职国内外多家头部人工智能公司的AI技术顾问。拥有十多项发明专利(6项)和软件著作权(9项),多个国家级证书(2个国三级、3个国四级),先后获得国内外“人工智能算法”竞赛(包括国家级、省市级等,一等奖5项、二等奖4项、三等奖2项)相关证书十多个,以上均以第一作者身份,并拥有省市校级个人荣誉证书十多项。正在撰写《人工智算法最新实战》一书,目前已37万字。
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 代码科技 设计师:Amelia_0503 返回首页
实付 29.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值