目录
前言
SQLAlchemy 的使用方法和相关基础内容也写过不少了, 有兴趣的小伙伴可以翻阅以往的博文, 本篇主要记录一下 SQLAlchemy 在 Openstack 中的使用规范.
更改数据库的方法
在开发 Openstack 项目的过程中, 对 models class 进行直接修改是不被允许的. 这不符合持续集成的规范, 也可能导致原始数据的丢失. 所以我们会使用一种类似打补丁的方式来对 Openstack 项目的数据库进行持续更新, 这也就是为什么在 /opt/stack/nova/nova/db/sqlalchemy/migrate_repo/versions 路径下存在这么多文件的原因.
为数据库添加一张或多张新表
当需要为 Openstack 项目新添一张表时, 我们会 /opt/stack/nova/nova/db/sqlalchemy/migrate_repo/versions 目录下新建一个文件, 并且需要为文件名指定一个有序的编号, EG. 016_add_new_table.py
from sqlalchemy import Boolean, Column, DateTime, BigInteger
from sqlalchemy import MetaData, String, Table
from oslo_log import log as logging
LOG = logging.getLogger(__name__)
def define_tables(meta):
# 定义一个 Table 对象
new_table_name = Table(
"new_table_name", meta,
Column("created_at", DateTime),
Column("updated_at", DateTime),
Column("deleted_at", DateTime),
Column("deleted", Boolean),
mysql_engine="InnoDB")
...
return [new_table_name, ...]
def upgrade(migrate_engine):
meta = MetaData()
meta.bind = migrate_engine
# create all tables
# Take care on create order for those with FK dependencies
tables = define_tables(meta)
# 循环创建表列表
for table in tables:
try:
table.create()
except Exception:
LOG.info(_LE('Exception while creating table.'))
raise
def downgrade(migrate_engine):
meta = MetaData()
meta.bind = migrate_engine
tables = define_tables(meta)
tables.reverse()
for table in tables:
table.drop()删除一张或多张表
from sqlalchemy import MetaData
from sqlalchemy import Table
def upgrade(migrate_engine):
meta = MetaData(migrate_engine)
meta.reflect(migrate_engine)
table_names = ['compute_node_stats', 'compute_nodes', 'instance_actions',
'instance_actions_events', 'instance_faults', 'migrations']
for table_name in table_names:
# 创建表对象, 然后在通过表对象来调用 drop() 方法实现删除.
table = Table('dump_' + table_name, meta)
table.drop(checkfirst=True)
为旧表添加一个字段
from sqlalchemy import Column, MetaData, String, Table
NEW_COLUMN_NAME = 'initiator_name'
def upgrade(migrate_engine):
meta = MetaData()
meta.bind = migrate_engine
# 定义一个表对象, 因为是更新操作, 所以表 exsi_hypervisors 需要已经存在于数据库中
exsi_hypervisors = Table('exsi_hypervisors', meta, autoload=True)
# 定义一个字段对象
initiator_protocol = Column(NEW_COLUMN_NAME, String(length=255))
# 如果表中还没有该字段, 则添加一个新的字段
if not hasattr(exsi_hypervisors.c, NEW_COLUMN_NAME):
# 表对象调用 create_column() 方法来将字段插入
exsi_hypervisors.create_column(initiator_protocol)
为旧表更新一个字段
from sqlalchemy import Column, MetaData, String, Table
NEW_COLUMN_NAME = 'initiator_name'
def upgrade(migrate_engine):
meta = MetaData()
meta.bind = migrate_engine
# 获取一个表对象
exsi_hypervisors = Table('exsi_hypervisors', meta, autoload=True)
# 如果表对象中已经存在了 metadata_reserve 属性(字段), 则 alter 该属性(字段)
if hasattr(exsi_hypervisors.c, 'metadata_reserve'):
# 获取 metadata_reserve 属性对象
exsi_hypervisors_metadate_reserve = getattr(exsi_hypervisors.c,
'metadata_reserve')
# 通过属性对象来调用 alter() 方法, 并且传入需要更新的字段名和类型作为实参
exsi_hypervisors_metadate_reserve.alter(name='initiator_protocol',
type=String(255))为旧表初始化一条新的记录
from datetime import datetime
from uuid import uuid4
from sqlalchemy import MetaData, Table
def upgrade(migrate_engine):
meta = MetaData()
meta.bind = migrate_engine
# 定义要插入的记录数据
values = [{'created_at': datetime.utcnow(),
'id': str(uuid4()),
'group': 'global',
'setting_option': 'cpu_over_allocate',
'setting_value': '6',
'description': 'Over allocate CPU'}]
# 创建一个 table 对象, 该表必须是已经存在于数据库内的表, 才能够被插入
system_settings = Table('system_settings', meta,
autoload=True)
# 通过表对象来调用 insert() 方法实现插入数据
for value in values:
system_settings.insert().values(value).execute()
def downgrade(migrate_engine):
meta = MetaData()
meta.bind = migrate_engine
system_settings = Table('system_settings', meta,
autoload=True)
try:
system_settings.delete().\
where(system_settings.c.setting_option == 'cpu_over_allocate').\
execute()
except Exception as e:
raise e最后
在实现了数据库修改的文件之后执行指令:
serviceName-manager db dync就能够对现有的数据库进行更新.
以这种补丁的方式来修改 Openstack 项目的数据库, 能够更好的支持持续的集成, 和降低数据丢失的风险, 尽管这些数据是测试数据也存在这价值. 所以我们一本很少对数据库进行删除操作, 如若必须删除数据库中的数据库一定要谨慎.
