Py之h5py:Python库之h5py库的简介、安装、使用方法详细攻略-阿里云开发者社区

开发者社区> 一个处女座的程序猿> 正文

Py之h5py:Python库之h5py库的简介、安装、使用方法详细攻略

简介: Py之h5py:Python库之h5py库的简介、安装、使用方法详细攻略
+关注继续查看

h5py的简介


     使用h5py库读写超过内存的大数据 。在简单数据的读操作中,我们通常一次性把数据全部读入到内存中。读写超过内存的大数据时,有别于简单数据的读写操作,受限于内存大小,通常需要指定位置、指定区域读写操作,避免无关数据的读写。  h5py库刚好可以实现这一功能。

     h5py的优势:速度快、压缩效率高,总之,numpy.savez和cPickle存储work或不work的都可以试一试h5py!h5py文件是存放两类对象的容器,数据集(dataset)和组(group),dataset类似数组类的数据集合,和numpy的数组差不多。group是像文件夹一样的容器,它好比python中的字典,有键(key)和值(value)。group中可以存放dataset或者其他的group。”键”就是组成员的名称,”值”就是组成员对象本身(组或者数据集),下面来看下如何创建组和数据集。


相关文章:HDF5 for Python



     h5py is a thin, pythonic wrapper around the HDF5, which runs on Python 3 (3.6+).


Websites


Main website: https://www.h5py.org

Source code: https://github.com/h5py/h5py

Mailing list: https://groups.google.com/d/forum/h5py

Installation


Pre-build h5py can either be installed via your Python Distribution (e.g. Continuum Anaconda, Enthought Canopy) or from PyPI via pip. h5py is also distributed in many Linux Distributions (e.g. Ubuntu, Fedora), and in the MacOS package managers Homebrew, Macports, or Fink.


More detailed installation instructions, including how to install h5py with MPI support, can be found at: https://docs.h5py.org/en/latest/build.html.


Reporting bugs


Open a bug at https://github.com/h5py/h5py/issues. For general questions, ask on the list (https://groups.google.com/d/forum/h5py).



h5py的安装

pip install h5py

image.png



安装成功!哈哈,继续学习去啦!



h5py的使用方法



1、写入数据


import h5py

"""

   create_dataset : 新建 dataset

   create_group : 新建 group

"""

x = np.arange(100)

with h5py.File('test.h5','w') as f:

   f.create_dataset('test_numpy',data=x)

   subgroup = f.create_group('subgroup')

   subgroup.create_dataset('test_numpy',data=x)

   subsub = subgroup.create_group('subsub')

   subsub.create_dataset('test_numpy',data=x)


2、读取数据


"""

   keys() : 获取本文件夹下所有的文件及文件夹的名字

   f['key_name'] : 获取对应的对象    

"""

def read_data(filename):

   with h5py.File(filename,'r') as f:

       def print_name(name):

           print(name)

       f.visit(print_name)

       print('---------------------------------------')

       subgroup = f['subgroup']  

       print(subgroup.keys())

       print('---------------------------------------')

       dset = f['test_numpy']

       print(dset)

       print(dset.name)

       print(dset.shape)

       print(dset.dtype)

       print(dset[:])

       print('---------------------------------------')

read_data('test.h5')


 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Py之turicreate:turicreate的简介、安装、使用方法之详细攻略
Py之turicreate:turicreate的简介、安装、使用方法之详细攻略
15 0
【Django】CentOS7安装Django笔记
前言 目前的网站八成都是 PHP,但是 python 自己有着强大的数学计算库,为数据挖掘和分析做保证。 安装 Python 找东西一定要去官网,对于国内的网络环境来讲,百度出来的文章更多的都是两三年前的,没有什么参考价值,还会耽误时间。
1092 0
Py之gensim:gensim的简介、安装、使用方法之详细攻略
Py之gensim:gensim的简介、安装、使用方法之详细攻略
26 0
Python数据分析之anaconda安装和使用
今天开始学习Python数据分析了,说到Python数据分析,大家都会推荐使用anaconda,但作为一个初学者,总是很多疑虑,但在实践中解决了一部分,先和大家分享分享。
941 0
Py之terminaltables:terminaltables的简介、安装、使用方法之详细攻略
Py之terminaltables:terminaltables的简介、安装、使用方法之详细攻略
17 0
使用 PyCharm 添加 Django 项目
一、前置准备(PyCharm与Python的下载,已有的跳过)   1.首先下载PyCharm 地址:http://www.jetbrains.com/pycharm/   2.然后下载Python 地址:https://www.
1106 0
Py之mpld3:mpld3的简介、安装、使用方法之详细攻略
Py之mpld3:mpld3的简介、安装、使用方法之详细攻略
26 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
8268 0
python环境安装和在eclipse中插件的使用
目录 安装Python python for eclipse插件安装 配置PyDev插件 测试 python环境安装和python for eclipse插件安装1、下载python环境和python for eclipsepython环境和python for eclipse插件下载地址 在Windows命令行中使用Python 如果你想要从Windows命
1479 0
+关注
一个处女座的程序猿
国内互联网圈知名博主、人工智能领域优秀创作者,全球最大中文IT社区博客专家、CSDN开发者联盟生态成员、中国开源社区专家、华为云社区专家、51CTO社区专家、Python社区专家等,曾受邀采访和评审十多次。仅在国内的CSDN平台,博客文章浏览量超过2500万,拥有超过57万的粉丝。
1701
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载