数据获取告一段落了,下面接触到了数据存储与预处理。OK,先学习了数据库和SQL语言。
数据存储方式
1、文本文件存储特点
- 简单,可以直接阅读
- 大文件不好处理
- 数据都是字符串
- 操作时需要把整个文件读入内存
2、数据库存储特点
- 可进行结构化的数据存储
- 快速地进行数据检索
数据库
(主要是看的哔哩哔哩的这个视频,讲得很好:https://www.bilibili.com/video/av9637950/?from=search&seid=4487696992101078328)
数据库基础:
- 信息:事物的抽象反映
- 数据:信息的记载符号
- 数据处理:一系列操作过程
- 数据管理:数据处理的中心问题、
数据库系统:
从内层到外层分别为:
- 硬件
- OS
- DBMS:数据库管理系统(Database Management System)是一种操纵和管理数据库的大型软件,用于建立、使用和维护数据库,简称DBMS
- 应用程序开发工具
- 用户
数据库技术的发展
1.、人工管理阶段:
- 数据不能保存
- 数据不能独立于程序
- 数据不能共享
2.、文件系统阶段:
- 需要编程访问数据文件、
- 数据的安全性,一致性、完整性不能保证
3、数据库系统阶段:
- 数据结构化
- 保证了数据的独立性
- 可靠,安全性与完整性
- DBMS同一管理和控制
数据模型
DBMS
RDBMS:关系型数据库,二维表结构形式,基于关系代数运算实现数据库管理。如:Oracle,MySQL ,SQL Server ,DB2
NoSQL :泛指非关系型数据库
- 键值存储(key-value):Memcached,Redis,MemcacheDB
- 列存储(Column-oriented) :Cassandra,HBase
- 面向文档(document-oriented):MongoDB,Couch DB
- 图形数据库:Neo4J,inforGrid
RDbms的数据存储
表
表的一行是一条记录,对应一个对象的数据
码: 唯一确定一行记录的属性组
表设计
通过主键和外键建立表之间关系,适当的冗余有利于数据查询效率。
SQL(Structured Query Language)、
SQL是用于访问和处理数据库的标准计算机语言
分为四大类:
DDL
创建和管理数据库的各种对象,比如表,视图,索引。
- create
- alter
- drop
DML
数据操纵语言,数据的新增,跟新,删除。、
- insert
- update
- delete
DQL
数据的查询语言。
- select
DCL
数据的控制语言,授予,回收,时间,效果。、
- grant
- revoke
- commit
- rollback