1.4读取json文件
掌握read_json()函数的用法，可以熟练地使用该方法从JSON文件中获取数据JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它以简洁和清晰的层次结构来组织数据，易于被人们阅读和编写。JSON采用独立于编程语言的文本格式来存储数据，其文件的后缀名为.json，可通过文本编辑工具查看。Pandas中使用read_json()函数读取JSON文件的数据，并将数据转换成一个DataFrame类对象。
pandas.read_json(path_or_buf=None, orient=None, typ='frame', dtype=None, convert_axes=None, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False, date_unit=None, encoding=None, lines=False, chunksize=None, compression='infer')
path_or_buf:接收格式为[a valid JSON string or file-like, default: None] 选择JSON文件或者是指定可以是URL。有效的URL形式包括http、ftp、s3和文件。对于URL文件，需要指定本地文件目录。例如，本地文件可以是file://localhost/path/to/table.json。 orient:接收格式为[string]，指示预期的JSON字符串格式。兼容的JSON字符串可以由to_json生成并且具有具体的orient。其中设定的orient取决于JSON文件的形式以及你想要转为dataframe的形式。 'split'：将行索引index，列索引columns，值数据data分开来。dict like {‘index’ -> [index], ‘columns’ -> [columns], ‘data’ -> [values]}。json文件的每一行都类似如下，而且json文件的key的名字只能为index,cloumns,data这三个，另外多一个key都不行，少一个也不行。'{"index":[1,2,3],"columns":["a","b"],"data":[[1,3],[2,8],[3,9]]}'否则报bug ：SyntaxError: EOL while scanning string literal ‘records':将列表list格式，以[{列名->值}，..]形式输出。list like [{column -> value}, … , {column -> value}]。‘[{“col 1”:“a”,“col 2”:“b”},{“col 1”:“c”,“col 2”:“d”}]’ 'index'：将字典以｛行索引:{列索引:值}}以这种形式输出dict like {index -> {column -> value}}。‘{“row 1”:{“col 1”:“a”,“col 2”:“b”},“row 2”:{“col 1”:“c”,“col 2”:“d”}}’ 'columns':将字典以｛列索引:{行索引:值}}以这种形式输出 dict like {column -> {index -> value}}。'{"city":{"guangzhou":"20","zhuhai":"20"},"home":{"price":"5W","data":"10"}}' 'values'：就全部输出值就好了。允许值和默认值取决于type参数的值。v='[["a",1],["b",2]]' 当想要转化的格式为'series' 允许的orients为 {'split','records','index'} 默认为index 当orient为index时，Series的行索引index必须唯一 当想要转化的格式为‘frame’时 允许的orients为{'split','records','index'} 默认定义为columns，列索引 当指定的orien为index或是columns时，Dataframe的index必须唯一 当指定的orient为index、columns和records时，Dataframe的columns必须唯一 版本0.23.0中的新增内容：“table”作为orient参数的允许值 typ：指定将JSON文件转化的格式，(series or frame)，默认为frame dtype：如果为True，则推断数据类型，如果将列的dict转换为数据类型，则使用它们，如果为False，则根本不推断数据类型，仅适用于数据。 convert_axes:将轴转换为正确的数据类型。默认为True convert_dates：boolean类型，默认True。用于解析时间数据，如果为True，则将选定带有以下的datelike列名称标签： it ends with '_at',以_at结尾 it ends with '_time',以_time结尾 it begins with 'timestamp',以timestamp开始 it is 'modified', 以modified命名的label标签 it is 'date'以date命名的label标签 keep_default_dates:boolean类型，默认为True。如果分析日期，则分析默认的datelike列 numpy:默认为False，直接解码到numpy阵列。仅支持数字数据，但不支持非数字列和索引标签。还要注意，如果numpy=True，则每个术语的JSON顺序必须相同。 precise_float：boolean类型，默认False。设置为在将字符串解码为双倍值时启用更高精度（STROD）函数。默认（False）使用快速但不太精确的内置功能。 date_unit：string类型，默认None。用于检测是否转换日期的时间戳单元。默认行为是尝试并检测正确的精度，但如果不需要，则传递“s”、“ms”、“us”或“ns”中的一个，以分别强制解析秒、毫秒、微秒或纳秒。 lines：boolean类型，默认False。以每行json对象的形式读取文件。 encoding:str, default is ‘utf-8’。用于解码py3字节的编码。 chunksize:integer类型，默认为None。返回JsonReader对象进行迭代。有关chunksize的更多信息，请参阅line-delimted json docs文件。只有当lines=True时，才能传递此消息。如果该值为“无”，则文件将一次全部读入内存。 compression:{‘infer’, ‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None},默认为infer。用于实时解压缩磁盘数据。如果“推断”，则使用gzip、bz2、zip或xz，如果path\u或\u buf是以“”结尾的字符串。gz'，'。bz2’，”。zip”或“xz”，否则不进行解压缩。如果使用“zip”，zip文件必须只包含一个要读入的数据文件。设置为“无”表示无解压缩。
1.4.1 读取json字符串
strtext='[{"ttery":"min","issue":"20130801-3391","code":"8,4,5,2,9","code1":"297734529","code2":null,"time":1013395466000},\ {"ttery":"min","issue":"20130801-3390","code":"7,8,2,1,2","code1":"298058212","code2":null,"time":1013395406000},\ {"ttery":"min","issue":"20130801-3389","code":"5,9,1,2,9","code1":"298329129","code2":null,"time":1013395346000},\ {"ttery":"min","issue":"20130801-3388","code":"3,8,7,3,3","code1":"298588733","code2":null,"time":1013395286000},\ {"ttery":"min","issue":"20130801-3387","code":"0,8,5,2,7","code1":"298818527","code2":null,"time":1013395226000}]' df=pd.read_json(strtext,orient='records')
输出为：
1.4.2 读取json文件
json文件：
{"哺乳动物":["虎","猴子","狗","猫","鹿"], "鱼类动物":["龙鱼","鲶鱼","鳟鱼","章鱼","草鱼"], "飞禽类动物":["丹顶鹤","金雕","白鹭","鸽子","天鹅"], "昆虫类动物":["蝴蝶","金龟子","蜜蜂","蜻蜓","螳螂"]}
import pandas as pd json_data = pd.read_json('Animal_species.json', encoding='utf8') json_data
输出为：
1.5 读取HTML数据
从HTML表格获取数据
数据除了在文件中呈现，还可以在网页的HTML表格中呈现，为此Pandas提供了用于从HTML网页表格中读取数据的read_html()函数。
pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None,skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None,na_values=None, keep_default_na=True, displayed_only=True)
match：表示返回与指定的正则表达式或字符串匹配的文本。
flavor：表示使用的解析引擎。
index_col：表示将网页表格中的列标题作为DataFrame的行索引。
encoding：表示解析网页的编码方式。
需要注意的是，read_html()函数只能用于读取网页中的表格数据，该函数会返回一个包含网页中所有表格数据的列表。
我们可通过索引获取对应位置的表格数据。
import requests html_data = requests.get('https://www.tiobe.com/tiobe-index/') html_table_data = pd.read_html(html_data.content,encoding='utf-8') html_table_data[3].head(5)
输出为：
 read_sql_query() read_sql()
函数的用法，可以熟练地使用这些方法从数据库中获取数据
数据除了被保存在CSV、TXT、Excel等文件中，还可以被保存在数据库中。常见的数据库有MySQL、Oracle、SQLite、PostgreSQL等，其中MySQL是主流的关系型数据库，它主要以数据表的形式组织数据。
Pandas读取MySQL数据库时需要保证当前的环境中已经安装了SQLAlchemy和PyMySQL模块，其中SQLAlchemy模块提供了与不同数据库连接的功能，而PyMySQL模块提供了Python操作MySQL数据库的功能。
pip install SQLAlchemy # 安装SQLAlchemy模块 pip install PyMySQL # 安装PyMySQL模块
read_sql_table()、read_sql_query()和read_sql()这3个函数的使用方式基本相同，这里以read_sql()函数为例进行介绍。
pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)
sql：表示被执行的SQL查询语句或数据表名。
con：表示使用SQLAlchemy连接数据库。
index_col：表示将数据表中的列标题作为DataFrame的行索引。。
coerce_float：表示是否将非字符串、非数字对象的值转换为浮点值（可能会导致精度损失），默认为True。
1.6.1 读取sql数据
为了方便统一操作，请先执行下面的代码创建数据。
/* Navicat Premium Data Transfer Source Server : localhost Source Server Type : MySQL Source Server Version : 50723 Source Host : localhost:3306 Source Schema : jifenkaohe Target Server Type : MySQL Target Server Version : 50723 File Encoding : 65001 Date: 10/11/2021 08:58:53 */ SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for dep_info -- ---------------------------- CREATE DATABASE IF NOT EXISTS jifenkaohe; DROP TABLE IF EXISTS `dep_info`; CREATE TABLE `dep_info` ( `dep_id` int(11) NOT NULL, `dep_name` varchar(64) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL, PRIMARY KEY (`dep_id`) USING BTREE, INDEX `idx_dep_name`(`dep_name`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic; -- ---------------------------- -- Records of dep_info -- ---------------------------- INSERT INTO `dep_info` VALUES (8, '凯里学院'); INSERT INTO `dep_info` VALUES (1, '商丘师范学院'); INSERT INTO `dep_info` VALUES (5, '山东英才学院'); INSERT INTO `dep_info` VALUES (7, '山东财经大学东方学院'); INSERT INTO `dep_info` VALUES (11, '枣庄学院'); INSERT INTO `dep_info` VALUES (6, '池州学院'); INSERT INTO `dep_info` VALUES (9, '河北民族师范学院'); INSERT INTO `dep_info` VALUES (3, '河南城建学院'); INSERT INTO `dep_info` VALUES (4, '洛阳理工学院'); INSERT INTO `dep_info` VALUES (2, '许昌学院'); INSERT INTO `dep_info` VALUES (10, '辽宁科技学院'); SET FOREIGN_KEY_CHECKS = 1;
连接数据库
from sqlalchemy import create_engine import pandas as pd db_info = {'user':'root', 'pwd':'XXXX', # 修改为你的密码 'host':'localhost', 'database':'XXX' # 这里我们事先指定了数据库，后续操作只需要表即可 } #这里直接使用pymysql连接,echo=True，会显示在加载数据库所执行的SQL语句。 engine = create_engine('mysql+pymysql://%(user)s:%(pwd)s@%(host)s/%(database)s?charset=utf8' % db_info,encoding='utf-8')
执行sql查询
data = pd.read_sql('SELECT dep_id, dep_name FROM dep_info', con = engine) data
输出为：
