Python数据持久化-小测验

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 2018年7月13日考试1.Python读写csv文件现有如下图1所示的data.csv文件数据,请使用python读取该csv文件数据,并添加一条记录后输出如图2所示的output.

2018年7月13日考试

1.Python读写csv文件

现有如下图1所示的data.csv文件数据,请使用python读取该csv文件数据,并添加一条记录后输出如图2所示的output.csv文件(10分)

img_431aa9dc07a72baab1db665d6e0a15c6.png
题1.png

这一题需要用到的csv文件 data.csv下载链接: https://pan.baidu.com/s/1JCUCU4vXBQNwOx2xhAjDqA 密码: pbpx
第1题

import csv 

def printCsv(csvName):
    with open(csvName) as csvFile:
        reader = csv.reader(csvFile)
        for i in reader:
            print(i)

if __name__ == "__main__":
    inCsv = "data.csv"
    outCsv = "output.csv"
    with open(inCsv) as csvFile:
        reader = csv.reader(csvFile)
        data = list(reader)
    print("原csv文件data.csv的数据内容:")
    printCsv(inCsv)
    data.append(['Jack','104'])
    with open(outCsv,'w',\
        newline='') as csvFile:
        writer = csv.writer(csvFile)
        writer.writerows(data)
    print("新产生的csv文件output.csv的数据内容:")
    printCsv(outCsv)

上面一段代码的运行结果如下:

原csv文件data.csv的数据内容:
['name', ' stuNo']
['ZhangSan', ' 101']
['LiSi', ' 102']
['WangWu', ' 103']
新产生的csv文件output.csv的数据内容:
['name', ' stuNo']
['ZhangSan', ' 101']
['LiSi', ' 102']
['WangWu', ' 103']
['Jack', '104']

2.Python读写excel文件

如下所示的Excel表格数据,请编写python代码筛选出Points大于5的数据,并按Points进行排序后输出如图2所示的Excel文件结果

img_731cf796bc4c26743d6f081c16249c7e.png
题2.png

这一题需要用到的excel文件 rank.xlsx下载链接: https://pan.baidu.com/s/1reS7yjxUjU1iqZc0rCjljA 密码: uymy

import xlrd
import xlwt

if __name__ == "__main__":
    excel = xlrd.open_workbook("rank.xlsx")
    sheet = excel.sheet_by_index(0)
    #获取字段列表赋值给field_list,第2个字段大于5的数据列表赋值给data_list
    field_list = sheet.row_values(0)
    data_list = []
    for i in range(1,sheet.nrows):
        if int(sheet.row_values(i)[2]) > 5:
            data_list.append(sheet.row_values(i))
    #利用sorted内置函数排序
    data_list = sorted(data_list,key=lambda x:x[2],reverse=True)
    #将获得的信息存入新表,命名为output.xlsx
    excel_w = xlwt.Workbook()
    sheet_w = excel_w.add_sheet("sheet1")
    for i in range(len(field_list)):
        sheet_w.write(0,i,field_list[i])
    for i in range(len(data_list)):
        for j in range(len(data_list[i])):
            sheet_w.write(i+1,j,data_list[i][j])
    excel_w.save("output.xls")

3.mysql数据库的sql语句

(1) 使用sql创建出如下图所示的数据表,数据库名为movies,表名为movieRank,表中包含MovieName、boxOffice、percent、days、totalBoxOffice五个字段,字段的信息如下图所示:


img_1c36e22e476c66ae1b19369bde9a5767.png
题3-1.png

img_3f6ed55b432b9d7a17e2b43bf08a8b67.png
创建语句.png

(2)使用sql语句向movieRank表中添加若干条数据(材料中已提供movieData.txt)

insert into movierank values("21克拉", 1031.92, 15.18, 2, 2827.06);
insert into movierank values("狂暴巨兽", 2928.28, 43.07, 9, 57089.20);
insert into movierank values("起跑线", 161.03, 2.37, 18, 19873.43);
insert into movierank values("头号玩家", 1054.87, 15.52, 23, 127306.41);
insert into movierank values("红海行动", 45.49, 0.67, 65, 364107.74);

插入数据的结果如下图所示:


img_3088ba13f8830b9b42ae4f00e2cdaf52.png
插入结果图示.png

(3)使用sql语句查询movieRank表中的数据并按照totalBoxOffice字段进行排序

select * from movierank order by totalboxoffice;

(4)使用sql语句计算出字段totalBoxOffice字段的总和

select sum(totalboxoffice) from movierank;

4.Python操作mysql数据库

此题接第3题题干,在第三题的基础上完成以下需求:
(1)编写python代码连接mysql数据库,并向movieRank表中新添加两条数据(已提供second.txt)

import pymysql

def getConn(database ="pydb"):
    args = dict(
        host = 'localhost',
        user = 'root',
        passwd = 'Leimysql8',
        charset = 'utf8',
        db = database
    )
    return pymysql.connect(**args)

if __name__ == "__main__":
    conn = getConn("movies")
    cursor = conn.cursor()
    insert_sql = 'insert into movierank values'\
    '("犬之岛", 617.35, 9.08, 2, 1309.09),'\
    '("湮灭", 135.34, 1.99, 9 , 5556.77)'
    cursor.execute(insert_sql)
    conn.commit()
    conn.close()

(2)编写python代码,查询出所有的电影数据,并输出到一个Excel表movieRank.xlsx中,如下图所示


img_e1d5b47cfd2671853fce009d43f3785a.png
题4-2.png
import pymysql
import xlwt

def getConn(database ="pydb"):
    args = dict(
        host = 'localhost',
        user = 'root',
        passwd = 'Leimysql8',
        charset = 'utf8',
        db = database
    )
    return pymysql.connect(**args)

if __name__ == "__main__":
    #从mysql数据库中取出数据赋值给data_list,其数据类型为元组
    conn = getConn("movies")
    cursor = conn.cursor()
    select_sql = "select * from movierank "
    cursor.execute(select_sql)
    data_list = cursor.fetchall()
    field_list = [k[0] for k in cursor.description]
    #把data_list中的数据存入新的excel中,并命名为movieRank.xls
    excel = xlwt.Workbook()
    sheet = excel.add_sheet("sheet1")
    for i in range(len(field_list)):
        sheet.write(0,i,field_list[i])
    for i in range(len(data_list)):
        for j in range(len(data_list[i])):
            sheet.write(i+1,j,data_list[i][j])
    excel.save("movieRank.xls")

5.Python操作MongoDB数据库

(1)编写python代码连接MongoDB数据库,并新建一个building库,在building库下新建一个rooms表

from pymongo import MongoClient

if __name__ == "__main__":
    conn = MongoClient("localhost")
    db = conn.building
    rooms = db.create_collection("rooms")

(2)编写python代码读取rooms.csv文件的中的数据,并将数据插入到rooms表中,添加到rooms表中的数据结构如下图所示

img_8c388ae48604921240da0ce7a2db5055.png
image.png

这一题需要用到的csv文件rooms.csv下载链接: https://pan.baidu.com/s/10fyct-J3a0txtS-EZaaxAQ 密码: je33

from pymongo import MongoClient
import csv

if __name__ == "__main__":
    with open("rooms.csv") as csvFile:
        reader = list(csv.reader(csvFile))
        field_list = reader[0]
        data_list = reader[1:]
    conn = MongoClient("localhost")
    db = conn.building
    rooms = db.rooms
    insert_list = []
    for data in data_list:
        insert_list.append(
            {key:value for key,value in zip(field_list,data)})
    rooms.insert_many(insert_list)

使用csv.DictReader方法

from pymongo import MongoClient
import csv

if __name__ == "__main__":
    conn = MongoClient("localhost")
    db = conn.building
    rooms = db.rooms
    with open("rooms.csv") as csvFile:
        reader = csv.DictReader(csvFile)
        for row in reader:
            rooms.insert_one(dict(row))
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
305 10
|
6天前
|
数据采集 数据安全/隐私保护 Python
从零开始:用Python爬取网站的汽车品牌和价格数据
在现代化办公室中,工程师小李和产品经理小张讨论如何获取懂车帝网站的汽车品牌和价格数据。小李提出使用Python编写爬虫,并通过亿牛云爬虫代理避免被封禁。代码实现包括设置代理、请求头、解析网页内容、多线程爬取等步骤,确保高效且稳定地抓取数据。小张表示理解并准备按照指导操作。
从零开始:用Python爬取网站的汽车品牌和价格数据
|
1天前
|
算法 Serverless 数据处理
从集思录可转债数据探秘:Python与C++实现的移动平均算法应用
本文探讨了如何利用移动平均算法分析集思录提供的可转债数据,帮助投资者把握价格趋势。通过Python和C++两种编程语言实现简单移动平均(SMA),展示了数据处理的具体方法。Python代码借助`pandas`库轻松计算5日SMA,而C++代码则通过高效的数据处理展示了SMA的计算过程。集思录平台提供了详尽且及时的可转债数据,助力投资者结合算法与社区讨论,做出更明智的投资决策。掌握这些工具和技术,有助于在复杂多变的金融市场中挖掘更多价值。
22 12
|
1月前
|
数据采集 Web App开发 数据可视化
Python用代理IP获取抖音电商达人主播数据
在当今数字化时代,电商直播成为重要的销售模式,抖音电商汇聚了众多达人主播。了解这些主播的数据对于品牌和商家至关重要。然而,直接从平台获取数据并非易事。本文介绍如何使用Python和代理IP高效抓取抖音电商达人主播的关键数据,包括主播昵称、ID、直播间链接、观看人数、点赞数和商品列表等。通过环境准备、代码实战及数据处理与可视化,最终实现定时任务自动化抓取,为企业决策提供有力支持。
|
2月前
|
数据采集 Web App开发 监控
Python爬虫:爱奇艺榜单数据的实时监控
Python爬虫:爱奇艺榜单数据的实时监控
|
2月前
|
数据采集 分布式计算 大数据
构建高效的数据管道:使用Python进行ETL任务
在数据驱动的世界中,高效地处理和移动数据是至关重要的。本文将引导你通过一个实际的Python ETL(提取、转换、加载)项目,从概念到实现。我们将探索如何设计一个灵活且可扩展的数据管道,确保数据的准确性和完整性。无论你是数据工程师、分析师还是任何对数据处理感兴趣的人,这篇文章都将成为你工具箱中的宝贵资源。
|
2月前
|
数据采集 存储 XML
python实战——使用代理IP批量获取手机类电商数据
本文介绍了如何使用代理IP批量获取华为荣耀Magic7 Pro手机在电商网站的商品数据,包括名称、价格、销量和用户评价等。通过Python实现自动化采集,并存储到本地文件中。使用青果网络的代理IP服务,可以提高数据采集的安全性和效率,确保数据的多样性和准确性。文中详细描述了准备工作、API鉴权、代理授权及获取接口的过程,并提供了代码示例,帮助读者快速上手。手机数据来源为京东(item.jd.com),代理IP资源来自青果网络(qg.net)。
|
3月前
|
传感器 物联网 开发者
使用Python读取串行设备的温度数据
本文介绍了如何使用Python通过串行接口(如UART、RS-232或RS-485)读取温度传感器的数据。详细步骤包括硬件连接、安装`pyserial`库、配置串行端口、发送请求及解析响应等。适合嵌入式系统和物联网应用开发者参考。
92 3
|
4月前
|
数据采集 JSON 数据处理
抓取和分析JSON数据:使用Python构建数据处理管道
在大数据时代,电商网站如亚马逊、京东等成为数据采集的重要来源。本文介绍如何使用Python结合代理IP、多线程等技术,高效、隐秘地抓取并处理电商网站的JSON数据。通过爬虫代理服务,模拟真实用户行为,提升抓取效率和稳定性。示例代码展示了如何抓取亚马逊商品信息并进行解析。
抓取和分析JSON数据:使用Python构建数据处理管道
|
4月前
|
数据处理 Python
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
这篇文章介绍了如何使用Python读取Excel文件中的数据,处理后将其保存为txt、xlsx和csv格式的文件。
268 3
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档

热门文章

最新文章

推荐镜像

更多