成功解决RuntimeError: Decompression ‘SNAPPY‘ not available. Options: [‘GZIP‘, ‘UNCOMPRESSED‘]

简介: 成功解决RuntimeError: Decompression ‘SNAPPY‘ not available. Options: [‘GZIP‘, ‘UNCOMPRESSED‘]

搜索

网络异常,图片无法展示
|

网络异常,图片无法展示
|

足迹

动态

消息

网络异常,图片无法展示
|

 

目录

解决问题

解决思路

解决方法


 

 

 

 

解决问题

D:\ProgramData\Anaconda3\python.exe E:/Python_Program/0925KBQNodel/抗辩期模型_v01_1105.py

Traceback (most recent call last):

 File "E:/Python_Program/0925KBQNodel/抗辩期模型_v01_1105.py", line 31, in <module>

   df = pd.read_parquet('./data_contest_20201022_sample.parquet')

 File "D:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parquet.py", line 317, in read_parquet

   return impl.read(path, columns=columns, **kwargs)

 File "D:\ProgramData\Anaconda3\lib\site-packages\pandas\io\parquet.py", line 212, in read

   return parquet_file.to_pandas(columns=columns, **kwargs)

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\api.py", line 399, in to_pandas

   index=index, assign=parts)

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\api.py", line 228, in read_row_group

   scheme=self.file_scheme)

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\core.py", line 355, in read_row_group

   cats, selfmade, assign=assign)

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\core.py", line 332, in read_row_group_arrays

   catdef=out.get(name+'-catdef', None))

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\core.py", line 199, in read_col

   dic = read_dictionary_page(infile, schema_helper, ph, cmd)

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\core.py", line 157, in read_dictionary_page

   raw_bytes = _read_page(file_obj, page_header, column_metadata)

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\core.py", line 25, in _read_page

   column_metadata.codec,

 File "D:\ProgramData\Anaconda3\lib\site-packages\fastparquet\compression.py", line 128, in decompress_data

   (algorithm.upper(), sorted(decompressions)))

RuntimeError: Decompression 'SNAPPY' not available.  Options: ['GZIP', 'UNCOMPRESSED']

 

 

解决思路

运行时错误:解压“SNAPPY”不可用。选择:(GZIP,“压缩”)

 

 

 

 

解决方法

pip install python-snappy

pip install pyarrow

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple python-snappy

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyarrow

 

哈哈,大功告成!


相关文章
|
8月前
|
Unix Linux
gzip/gunzip命令
`gzip` 和 `gunzip` 是 Linux/Unix 的压缩工具,用于压缩(`.gz`)和解压缩文件。`gzip` 使用 LZ77 和 Huffman 编码,支持递归压缩目录、设置压缩级别及保留源文件等选项。例如:`gzip file` 压缩文件,`gzip -d` 或 `gunzip` 解压缩。用户常通过调整选项完成所需操作,如`gzip -k`压缩后保留原文件。
96 4
|
3月前
|
Ubuntu Linux iOS开发
问题./configure: error: the HTTP gzip module requires the zlib library.处理
问题./configure: error: the HTTP gzip module requires the zlib library.处理
815 6
|
存储 算法
路径压缩 (Path Compression)
路径压缩 (Path Compression) 是一种用于求解最短路径问题的算法,通常用于 Dijkstra 算法中,可以加速求解最短路径问题。 路径压缩通过将已经确定的最短路径信息传递给未确定最短路径的节点,来加速最短路径的计算。具体来说,当一个节点的最短路径已经确定时,它会将这个信息传递给所有它的邻居节点,这样邻居节点就可以跳过一些不必要的计算,直接使用已经确定的最短路径信息,从而加速整个最短路径的计算过程。
381 3
|
算法 Python
路径紧缩(Path Compression
路径紧缩(Path Compression)是用于优化Dijkstra算法的一种算法技巧,目的是减少搜索树中的路径数量,从而提高算法效率。在加权有向图中,路径紧缩可以有效地减少最短路径树的节点数量,使算法更快地找到最短路径。 路径紧缩的基本思想是:当发现一条路径比已有的最短路径更短时,将这条路径与原有路径进行合并,而不是将原有路径替换。这样,在搜索过程中,可以有效地减少树的节点数量,从而提高搜索速度。
82 3
tar解压出错:gzip: stdin: unexpected end of file的解决
tar解压出错:gzip: stdin: unexpected end of file的解决
程序解码错误:Accept-Encoding“: “gzip, deflate, br
程序解码错误:Accept-Encoding“: “gzip, deflate, br
284 0
|
应用服务中间件 nginx
nginx安装报错/configure: error: the HTTP gzip module requires the zlib library.
反向代理服务器的工作原理 反向代理服务器通常有两种模型,它可以作为内容服务器的替身,也可以作为内容服务器集群的负载均衡器。 1,作内容服务器的替身 如果您的内容服务器具有必须保持安全的敏感信息,如信用卡号数据库,可在防火墙外部设置一个代理服务器作为内容服务器的替身。
3934 0
|
Apache 索引
Compression压缩
压缩所带来的好处,磁盘、IO,都来带来很多好处,同时也有很多的弊端。 生产环境经常用的集中压缩  gzip  、 bzip2 、LZO、Snappy Bzip2 压缩比30%   ---支持分割 gzip 压缩比40% LZO Snappy 压缩比50%  --LZO支持分割,前提是有索引 hadoop中压缩的配置使用 core-site.
1748 0