Python 读取 JSON 数据的骚操作

简介: Python 读取 JSON 数据的骚操作

读写 JSON 数据


问题

你想读写 JSON(JavaScript Object Notation) 编码格式的数据。

解决方案

json 模块提供了一种很简单的方式来编码和解码 JSON 数据。其中两个主要的函 数是 json.dumps() 和 json.loads()

下面演示如何将一个 Python 数据结构转换为 JSON


import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
json_str = json.dumps(data)

下面演示如何将一个 JSON 编码的字符串转换回一个 Python 数据结构


data = json.loads(json_str)


如果你要处理的是文件而不是字符串,你可以使用 json.dump()json.load()来编码和解码 JSON 数据。

例如:

    # 写入一个json数据
    with open('data.json', 'w') as f:
    json.dump(data, f)
    with open('data.json', 'r') as f:
    data = json.load(f)
    


    讨论

    JSON 编码支持的基本数据类型为 None ,bool ,int ,float 和 str ,以及包含 这些类型数据的 lists,tuples 和 dictionaries。对于 dictionaries,keys 需要是字符串类 型 (字典中任何非字符串类型的 key 在编码时会先转换为字符串)。为了遵循 JSON 规 范,你应该只编码 Python 的 lists 和 dictionaries。而且,在 web 应用程序中,顶层对 象被编码为一个字典是一个标准做法。JSON 编码的格式对于 Python 语法而已几乎是完全一样的,除了一些小的差异之 外。比如,True 会被映射为 true,False 被映射为 false,而 None 会被映射为 null。下 面是一个例子,演示了编码后的字符串效果:

      >>> json.dumps(False)
      'false'
      >>> d = {'a': True,
      ... 'b': 'Hello',
      ... 'c': None}
      >>> json.dumps(d)
      '{"b": "Hello", "c": null, "a": true}'
      >>>

      如果你试着去检查 JSON 解码后的数据,你通常很难通过简单的打印来确定它 的结构,特别是当数据的嵌套结构层次很深或者包含大量的字段时。为了解决这个问 题,可以考虑使用 pprint 模块的 pprint() 函数来代替普通的 print() 函数。它会按 照 key 的字母顺序并以一种更加美观的方式输出。

      下面是一个演示如何漂亮的打印输出 的例子:

        >>> from urllib.request import urlopen
        >>> import json
        >>> u = urlopen('http://search.twitter.com/search.json?q=python&rpp=5')
        >>> resp = json.loads(u.read().decode('utf-8'))
        >>> from pprint import pprint
        >>> pprint(resp)
        {'completed_in': 0.074,
        'max_id': 264043230692245504,
        'max_id_str': '264043230692245504',
        'next_page': '?page=2&max_id=264043230692245504&q=python&rpp=5',
        'page': 1,
        'query': 'python',
        'refresh_url': '?since_id=264043230692245504&q=python',
        'results': [{'created_at': 'Thu, 01 Nov 2012 16:36:26 +0000',
        'from_user': ...
        },
        {'created_at': 'Thu, 01 Nov 2012 16:36:14 +0000',
        'from_user': ...
        },
        {'created_at': 'Thu, 01 Nov 2012 16:36:13 +0000',
        'from_user': ...
        },
        {'created_at': 'Thu, 01 Nov 2012 16:36:07 +0000',
        'from_user': ...
        }
        {'created_at': 'Thu, 01 Nov 2012 16:36:04 +0000',
        'from_user': ...
        }],
        'results_per_page': 5,
        'since_id': 0,
        'since_id_str': '0'}
        >>>

        一般来讲,JSON 解码会根据提供的数据创建 dicts 或 lists。如果你想要创建其他 类型的对象,可以给 json.loads() 传递 object_pairs_hook 或 object_hook 参数。例 如,下面是演示如何解码 JSON 数据并在一个 OrderedDict 中保留其顺序的例子

          >>> s = '{"name": "ACME", "shares": 50, "price": 490.1}'
          >>> from collections import OrderedDict
          >>> data = json.loads(s, object_pairs_hook=OrderedDict)
          >>> data
          OrderedDict([('name', 'ACME'), ('shares', 50), ('price', 490.1)])
          >>>


          下面是如何将一个 JSON 字典转换为一个 Python 对象例子

            >>> class JSONObject:
            ... def __init__(self, d):
            ... self.__dict__ = d
            ...
            >>>
            >>> data = json.loads(s, object_hook=JSONObject)
            >>> data.name
            'ACME'
            >>> data.shares
            50
            >>> data.price
            490.1
            >>>

            最后一个例子中,JSON 解码后的字典作为一个单个参数传递给 __init__() 。然 后,你就可以随心所欲的使用它了,比如作为一个实例字典来直接使用它。在编码 JSON 的时候,还有一些选项很有用。如果你想获得漂亮的格式化字符串 后输出,可以使用 json.dumps() 的 indent 参数。它会使得输出和 pprint() 函数效果 类似。

            比如:

              >>> print(json.dumps(data))
              {"price": 542.23, "name": "ACME", "shares": 100}
              >>> print(json.dumps(data, indent=4))
              {
              "price": 542.23,
              "name": "ACME",
              "shares": 100
              }
              >>>


              对象实例通常并不是 JSON 可序列化的。例如:

                >>> class Point:
                ... def __init__(self, x, y):
                ... self.x = x
                ... self.y = y
                ...
                >>> p = Point(2, 3)
                >>> json.dumps(p)
                Traceback (most recent call last):
                File "", line 1, inFile "/usr/local/lib/python3.3/json/__init__.py", line 226, in dumps
                return _default_encoder.encode(obj)
                File "/usr/local/lib/python3.3/json/encoder.py", line 187, in encode
                chunks = self.iterencode(o, _one_shot=True)
                File "/usr/local/lib/python3.3/json/encoder.py", line 245, in iterencode
                return _iterencode(o, 0)
                File "/usr/local/lib/python3.3/json/encoder.py", line 169, in default
                raise TypeError(repr(o) + " is not JSON serializable")
                TypeError: <__main__.Point object at 0x1006f2650> is not JSON serializable
                >>>
                如果你想序列化对象实例,你可以提供一个函数,它的输入是一个实例,返回一个
                可序列化的字典。例如:def serialize_instance(obj):
                d = { '__classname__' : type(obj).__name__ }
                d.update(vars(obj))
                return d


                如果你想反过来获取这个实例,可以这样做:

                  # Dictionary mapping names to known classes
                  classes = {
                  'Point' : Point
                  }
                  def unserialize_object(d):
                  clsname = d.pop('__classname__', None)
                  if clsname:
                  cls = classes[clsname]
                  obj = cls.__new__(cls) # Make instance without calling __init__
                  for key, value in d.items():
                  setattr(obj, key, value)
                  return obj
                  else:
                  return d


                  下面是如何使用这些函数的例子:

                    >>> p = Point(2,3)
                    >>> s = json.dumps(p, default=serialize_instance)
                    >>> s
                    '{"__classname__": "Point", "y": 3, "x": 2}'
                    >>> a = json.loads(s, object_hook=unserialize_object)
                    >>> a
                    <__main__.Point object at 0x1017577d0>
                    >>> a.x
                    2
                    >>> a.y
                    3
                    >>>
                    json

                    模块还有很多其他选项来控制更低级别的数字、特殊值如 NaN 等的解析。可 以参考官方文档获取更多细节。

                    相关文章
                    |
                    24天前
                    |
                    数据采集 JSON 数据处理
                    抓取和分析JSON数据:使用Python构建数据处理管道
                    在大数据时代,电商网站如亚马逊、京东等成为数据采集的重要来源。本文介绍如何使用Python结合代理IP、多线程等技术,高效、隐秘地抓取并处理电商网站的JSON数据。通过爬虫代理服务,模拟真实用户行为,提升抓取效率和稳定性。示例代码展示了如何抓取亚马逊商品信息并进行解析。
                    抓取和分析JSON数据:使用Python构建数据处理管道
                    |
                    9天前
                    |
                    图形学 Python
                    SciPy 空间数据2
                    凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
                    18 1
                    |
                    10天前
                    |
                    JSON 数据格式 索引
                    Python中序列化/反序列化JSON格式的数据
                    【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
                    |
                    10天前
                    |
                    数据采集 Web App开发 iOS开发
                    如何使用 Python 语言的正则表达式进行网页数据的爬取?
                    使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
                    |
                    14天前
                    |
                    JSON 缓存 前端开发
                    PHP如何高效地处理JSON数据:从编码到解码
                    在现代Web开发中,JSON已成为数据交换的标准格式。本文探讨了PHP如何高效处理JSON数据,包括编码和解码的过程。通过简化数据结构、使用优化选项、缓存机制及合理设置解码参数等方法,可以显著提升JSON处理的性能,确保系统快速稳定运行。
                    |
                    22天前
                    |
                    数据可视化 算法 JavaScript
                    基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
                    本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。
                    50 0
                    基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
                    |
                    7天前
                    |
                    JSON API 数据安全/隐私保护
                    拍立淘按图搜索API接口返回数据的JSON格式示例
                    拍立淘按图搜索API接口允许用户通过上传图片来搜索相似的商品,该接口返回的通常是一个JSON格式的响应,其中包含了与上传图片相似的商品信息。以下是一个基于淘宝平台的拍立淘按图搜索API接口返回数据的JSON格式示例,同时提供对其关键字段的解释
                    |
                    29天前
                    |
                    JSON JavaScript Java
                    在Java中处理JSON数据:Jackson与Gson库比较
                    本文介绍了JSON数据交换格式及其在Java中的应用,重点探讨了两个强大的JSON处理库——Jackson和Gson。文章详细讲解了Jackson库的核心功能,包括数据绑定、流式API和树模型,并通过示例演示了如何使用Jackson进行JSON解析和生成。最后,作者分享了一些实用的代码片段和使用技巧,帮助读者更好地理解和应用这些工具。
                    在Java中处理JSON数据:Jackson与Gson库比较
                    |
                    9天前
                    |
                    索引 Python
                    SciPy 空间数据1
                    SciPy 通过 `scipy.spatial` 模块处理空间数据,如判断点是否在边界内、计算最近点等。三角测量是通过测量角度来确定目标距离的方法。多边形的三角测量可将其分解为多个三角形,用于计算面积。Delaunay 三角剖分是一种常用方法,可以对一系列点进行三角剖分。示例代码展示了如何使用 `Delaunay()` 函数创建三角形并绘制。
                    18 0
                    |
                    1月前
                    |
                    JSON 数据格式 Python
                    Python编程:利用JSON模块编程验证用户
                    Python编程:利用JSON模块编程验证用户