python数据分析——如何用python连接远程数据库

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: Python数据分析

本文将以SQLite、MySQL,PostgreSQL为例讲解python怎样连接远程数据库并执行相关数据库操作。

SQLite
image.png

SQLite可能是与Python连接的最方便的数据库,因为我们不需要安装任何外部Python SQL模块即可使用。默认情况下,Python会自带一个名为sqlite3的Python SQL库,我们可以使用该库与SQLite数据库进行交互。而且,我们甚至不需要安装和运行SQLite服务器即可执行数据库操作!

下面是使用sqlite3连接到SQLite数据库的方法,看代码就行 ,关键位置都给了注释

导入相关模块import sqlite3from sqlite3 import Errordef create_connection(path): connection = None try: #使用.connect()连接,并将SQLite数据库路径作为参数。如果数据库位于指定位置,则建立与数据库的连接。否则,将在指定位置创建一个新数据库,并建立连接。 connection = sqlite3.connect(path) print("成功连接") except Error as e: print(f"错误 '{e}' 发生") return connection

connect(path)返回一个连接对象,该对象由create_connection()返回。此连接对象可用于在SQLite数据库上执行查询。接下来执行下面的命令就可以连接到数据库

connection = create_connection("填写你的路径\filename.sqlite")
执行完毕后会在目录下面看到多了一个以.sqlite结尾的文件。

MySQL
image.png

与SQLite不同,没有默认的Python SQL模块可用于连接到MySQL数据库。相反,我们需要安装mysql-connector-python以便从Python应用程序中与MySQL数据库进行交互。

pip install mysql-connector-python
但是需要注意,MySQL是基于服务器的数据库管理系统。一台MySQL服务器可以有多个数据库。与SQLite不同,在SQLite中创建连接等同于创建数据库,MySQL数据库两步来创建数据库:首先与MySQL服务器建立连接,然后执行一个单独的查询来创建数据库。

import mysql.connectorfrom mysql.connector import Errordef create_connection(host_name, user_name, user_password): connection = None try: #创建连接 connection = mysql.connector.connect( host=host_name, user=user_name, passwd=user_password ) print("连接成功") except Error as e: print(f"错误 '{e}' 发生") return connectionconnection = create_connection("localhost", "root", "")

但是到目前为止,我们仅仅连接成功到mysql,并没有创建database,因此我们定义另一个create_database()接受两个参数的函数:connection是connection要与之交互的数据库服务器的对象。query 是创建数据库的查询。

def create_database(connection, query): cursor = connection.cursor() try: cursor.execute(query) print("Database created successfully") except Error as e: print(f"The error '{e}' occurred")

要执行查询,我们可以使用cursor对象。将query要执行传递给cursor.execute()

create_database_query = "CREATE DATABASE zaoqi" #创建databasecreate_database(connection, create_database_query)

至此,我们就已经在数据库服务器上创建了一个数据库。

PostgreSQL
image.png

与MySQL一样,没有默认的Python SQL库可用于与PostgreSQL数据库进行交互。因此需要安装第三方Python SQL驱动程序才能与PostgreSQL交互。那么我们选择的驱动程序是psycopg2。

pip install psycopg2
与SQLite和MySQL数据库一样,我们定义create_connection()与PostgreSQL数据库建立连接:

import psycopg2from psycopg2 import OperationalErrordef create_connection(db_name, db_user, db_password, db_host, db_port): connection = None try: connection = psycopg2.connect( database=db_name, user=db_user, password=db_password, host=db_host, port=db_port, ) print("Connection to PostgreSQL DB successful") except OperationalError as e: print(f"The error '{e}' occurred") return connection

接下来使用和mysql一样的办法创建一个database

def create_database(connection, query): connection.autocommit = True cursor = connection.cursor() try: cursor.execute(query) print("Query executed successfully") except OperationalError as e: print(f"The error '{e}' occurred")create_database_query = "CREATE DATABASE zaoqi"create_database(connection, create_database_query)

至此我们已经学会如何用python连接数据库并创建database,而其他的操作比如增删改查就可以类比得到。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4天前
|
数据挖掘 计算机视觉 Python
Python数据分析13
Pillow 是 PIL(Python Imaging Library)的升级版本,适应 Python 3 的更新而诞生,带来了诸多新特性。它采用模块化结构,主要包括:图像功能模块(Image)、图像滤波功能模块(ImageFilter)、图像增强功能模块(ImageEnhance)和图像绘画功能模块(ImageDraw)。Pillow 支持从多种图像格式读取数据,进行处理,并能输出为常见格式,其官网提供了丰富的应用示例供学习参考。
16 4
|
1天前
|
SQL 数据采集 数据可视化
深入 Python 数据分析:高级技术与实战应用
本文系统地介绍了Python在高级数据分析中的应用,涵盖数据读取、预处理、探索及可视化等关键环节,并详细展示了聚类分析、PCA、时间序列分析等高级技术。通过实际案例,帮助读者掌握解决复杂问题的方法,提升数据分析技能。使用pandas、matplotlib、seaborn及sklearn等库,提供了丰富的代码示例,便于实践操作。
102 64
|
2天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
【9月更文挑战第33天】本文旨在为初学者提供一个关于使用Python进行数据分析的全面概述。我们将从基本的安装和设置开始,逐步介绍数据处理、数据可视化以及机器学习的基本概念和应用。文章将通过实际代码示例来展示如何使用Python及其相关库来解决常见的数据分析问题。
|
5天前
|
数据挖掘 Serverless 计算机视觉
Python数据分析 11
SciPy是一款专为数学、科学及工程应用设计的开源软件,它基于NumPy的n维数组构建,提供了丰富的数值例程,包括积分、优化、线性代数等,适用于各种操作系统,安装简易且免费。它还包含了如快速傅里叶变换、信号处理、图像处理、特殊函数计算等功能,满足了科学计算与工程需求。相较于NumPy的一般数组,SciPy提供了真正的矩阵及其相关运算支持。
24 7
|
5天前
|
机器学习/深度学习 数据挖掘 算法框架/工具
Python数据分析6
Keras是一个用Python编写的深度学习框架,支持TensorFlow等多种后端,以其高度模块化、用户友好性和易扩展性著称。它不仅适用于搭建普通神经网络,还能够构建自编码器、循环神经网络、卷积神经网络等多种模型,并且可以无缝切换CPU和GPU。相比Theano,Keras极大简化了神经网络模型的搭建过程,使普通用户也能轻松创建复杂的深度学习模型,仅需几十行代码即可完成。需要注意的是,Keras的预测函数采用`model.predict()`输出概率,`model.predict_classes()`输出分类结果。
16 6
|
5天前
|
自然语言处理 搜索推荐 数据挖掘
Python 数据分析10
除了常用的Python数据挖掘建模库外,还有许多其他库也非常实用,例如 jieba、SciPy、OpenCV 和 Pillow 等。其中,jieba 是一个广泛使用的中文分词库,支持多种编程语言,包括 Python、R 和 C++,并且提供了三种分词模式:精确模式、全模式和搜索引擎模式。此外,jieba 还具备词性标注、添加自定义词典及关键词提取等功能,在 GitHub 社区中有较高讨论度,并拥有丰富的实例资源。
18 5
|
6天前
|
数据可视化 数据挖掘 Unix
Python数据分析3
Matplotlib是由约翰·亨特在2008年发明的一款广泛应用于数据可视化的Python工具包,起初用于可视化癞痢病人的健康指标。它是一个功能强大的绘图库,主要擅长二维绘图,也支持简单的三维绘图。Matplotlib提供类似且更丰富的Matlab命令集,能够快速实现数据可视化,并支持高质量图像输出及多种格式。它适用于交互和非交互式绘图,兼容Linux、Windows、macOS和Solaris系统,并且便于嵌入GUI应用及Web框架如CGI、Flask、Django中,同时支持LaTeX公式插入,降低了从Matlab迁移的学习成本。
24 7
|
5天前
|
机器学习/深度学习 数据挖掘 PyTorch
Python数据分析7
PyTorch是由Facebook(现Meta)人工智能研究院于2017年开源的Python机器学习库,基于Torch构建,支持GPU加速和动态神经网络,适用于自然语言处理等领域。其灵活的API和简洁的语法使得构建和调试深度学习模型变得简单快捷,成为深度学习领域的热门工具之一。社区支持广泛,拥有丰富的应用领域库。
12 3
|
4天前
|
算法 数据挖掘 计算机视觉
Python数据分析12
OpenCV是由英特尔公司资助的开源计算机视觉库,集成了丰富的图像处理与计算机视觉算法,拥有超过500个函数,支持多种编程语言与操作系统。该库采用模块化设计,主要包括核心功能、图像处理、2D特征及GUI四个模块,广泛应用于产品检测、医学成像等多个领域。
11 1
|
5天前
|
机器学习/深度学习 并行计算 数据挖掘
Python数据分析8
飞桨(PaddlePaddle)是百度于2016年开源的一款学习框架,它以易用性、高效性、灵活性及可扩展性为特点,提供了涵盖核心深度学习框架、模型库、开发套件等在内的全面功能,并且支持大规模模型训练与多平台部署。此外,它不断优化性能,增强对各类硬件的支持,已在制造业、农业等多个领域广泛应用。
12 2
下一篇
无影云桌面