CYQ.Data V5 文本数据库支持SQL语句操作(实现原理解说)

本文涉及的产品
可视分析地图(DataV-Atlas),3 个项目,100M 存储空间
数据可视化DataV,5个大屏 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介:

CYQ.Data V5版本的文本数据库,以前有过相关的介绍:周末一起用文本数据库玩玩Code First

数据的存储,是基于json格式或xml格式的,而实现的原理,也有一篇介绍: CYQ.Data V5文本数据库技术原理解密

前几天实现基本功能后,也写了一篇突发想支持SQL语句的冲突想法的来源: CYQ.Data 文本数据库解析SQL语法

 

对于文本数据库的原理:简单的说,就4步:

1:存储用json或xml。
2:读取时还原为MDataTable。
3:操作时操作MDataTable实现数据行的变化。
4:保存时重新写为json或xml。

 

PS:当然还有一个CodeFirst模式时自动产生用于记录表结构的"表名.ts"文件。

 

 

文本数据库的Where语句分拆: 

复制代码
原先的功能,有Select( where),这个where是支持sql语句的,简单说就是对where进行了以下分析:
string  where= " id>1 and name like '%a%' order by id desc ";
分析出where,order by ,再分析出id,name及对应的值,循环进行值判断,提取出合适的行。 
从而达到查询的功能。
复制代码

 

现在要支持SQL,看似复杂点又提升了点,因为简单的SQL语句大体如下:

复制代码
Insert into ErrorLogs(PageUrl , ErrorMessage) values( ' http://... ', ' what ''  is the ... ')
Select count(*)  from ErrorLogs...
Select *  from ErrorLogs  where ...
Select id,name  from ErrorLogs ...
Update ErrorLogs  set id= 1 and name= ' name is Mr ''  Right '
Delete From ErrorLogs  where ...
复制代码

 

对于这些字符串的处理,真是很考基本功:

复制代码
比如:Insert into ErrorLogs(PageUrl , ErrorMessage) values( ' http://... ', ' what ''  is (the (name))... ')
把这条语句,分拆出:
1:操作:Insert
2: 表名:ErrorLogs
3:PageUrl : " http://... "
4: ErrorMessage : " 'what'' is (the (name))... " 
复制代码

 

PS:我觉的可以适当的拿来做面试题了。。。。

 

大体整体的实现,基本上就等同于解析上面的SQL语法,然后回归到MDataTable的原始操作上去,细节就不啰嗦重复了。

 

下面看一下实现后的效果图:

 

项目截图就省略了,页面后台的代码:

复制代码
  protected  void btnExec_Click( object sender, EventArgs e)
        {
             if (! string.IsNullOrEmpty(txtSql.Text))
            {
                MProc proc =  new MProc(txtSql.Text, txtConn.Text);
                 switch (ddlExeType.SelectedValue)
                {
                     case  " 0 ":
                        labTip.Text = proc.ExeScalar< string>();
                         break;
                     case  " 1 ":
                        labTip.Text = proc.ExeNonQuery().ToString();
                         break;
                     case  " 2 ":
                        MDataTable dt = proc.ExeMDataTable();
                        rptList.DataSource = dt;
                        rptList.DataBind();
                         break;
                }
                proc.Close();
            }
        }
复制代码

 

上面这段代码很简单,执行指定链接的SQL语句,然后显示相应的信息。

 

操作数据库,基本配置文件里指定日志的链接字符串是必不可少的内容:

<add name="LogConn" connectionString="txt path={0}App_Data"/> 

 

说明:把系统错误日志用文件数据库记录,CYQ.Data V5内置用了CodeFirst方式来实现异常的数据库执行日志错误:

表名为ErrorLogs
4个字段分别为:
1:ID,PageUrl,ErrorMessage,CreateTime。 

 

下面我们看界面:由于我的项目里本身就有日志,我们查询一下:

 

OK,下面我们删除所有数据库,执行成功后删除了5行数据:

再添加一行数据:

 最后更新这行1行数据:

 

 最终再查询显示一次:

 

 

至此,整个基本的SQL语法解析和实现就告终了,至于什么GroupBy,多表,视图,函数之类的,就在文本数据库的能力之外了。

功能的实现自己用两个Table去For还是while去实现自己需要的逻辑。 

 

下面再补充一下ErrogLogs这个日志说明:

复制代码
默认的CodeFirst,简单说就是你指定哪种数据库类型,就会自动创建相应的表结构,然后把执行SQL的错误信息写到该日志里,方便查询分析和解决。
以前,我习惯把日志的链接写成:
<add name= " LogConn " connectionString= " Conn "/> 
其实就是指向Conn(CYQ.Data默认的主数据库配置顶),这样就把日志表放到和主数据库表同一个数据库。。
结果有时候,如果主数据库挂掉,异常日志就无法记录了,所以建议是存到其它数据库。
但有了文件数据库之后,用文本来存储日志,看似是个不错的选择,而且操作也相当方便。
复制代码

 

CodeFirst时,如果有数据(第一条数据产生时,自动根据实体产生了表结构,如果是文本,在指定的目录下出来这个)

 

当然了,除了比较标准的,是自动生成的,如果你是自己手工创建,可以新建一个表名.ts表结构,内容:

 

ID, int;
PageUrl, string;
ErrorMessage, string;
CreateTime,datetime; 

 

 

CYQ.Data V5里文本数据库,实用价值:

 

包括网站站点的广告节点显示,友情链接,一些需要经常或偶尔编辑的Key,Value值等项,存文本数据库是最方便不过了。
有效的把非主站的附加数据,存储到文本数据库,利用文本数据完全内存表机制,高效,节能,又方便。

 

 

CYQ.Data V5在文本数据库、Access、SQLite、XHtmlAction等功能,都是不需要授权可以直接使用的。

 

下载地址: http://www.cyqdata.com/download/article-detail-426


版权声明:本文原创发表于博客园,作者为路过秋天,原文链接:

http://www.cnblogs.com/cyq1162/archive/2013/05/02/3055049.html

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
阿里云实时数仓实战 - 项目介绍及架构设计
课程简介 1)学习搭建一个数据仓库的过程,理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。 2)整个数仓体系完全搭建在阿里云架构上,理解并学会运用各个服务组件,了解各个组件之间如何配合联动。 3&nbsp;)前置知识要求 &nbsp; 课程大纲 第一章&nbsp;了解数据仓库概念 初步了解数据仓库是干什么的 第二章&nbsp;按照企业开发的标准去搭建一个数据仓库 数据仓库的需求是什么 架构 怎么选型怎么购买服务器 第三章&nbsp;数据生成模块 用户形成数据的一个准备 按照企业的标准,准备了十一张用户行为表 方便使用 第四章&nbsp;采集模块的搭建 购买阿里云服务器 安装 JDK 安装 Flume 第五章&nbsp;用户行为数据仓库 严格按照企业的标准开发 第六章&nbsp;搭建业务数仓理论基础和对表的分类同步 第七章&nbsp;业务数仓的搭建&nbsp; 业务行为数仓效果图&nbsp;&nbsp;
相关文章
|
28天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之SQL错误[0A000],通常是什么造成的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
17 1
|
1月前
|
SQL 关系型数据库 MySQL
go 通过sql操作mysql
go 通过sql操作mysql
19 1
|
8天前
|
SQL 分布式计算 DataWorks
MaxCompute操作报错合集之使用sql查询一个表的分区数据时遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
8天前
|
SQL 分布式计算 资源调度
MaxCompute操作报错合集之执行SQL Union All操作时,数据类型产生报错,该怎么解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
8天前
|
SQL 分布式计算 大数据
MaxCompute操作报错合集之执行多条SQL语句时,使用同一个实例来运行,遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
10天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之在执行SQL查询时遇到报错,代码为[XX000],该怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
9天前
|
SQL DataWorks NoSQL
DataWorks操作报错合集之在执行带with语句的SQL查询时出现了错误,是什么原因
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
9天前
|
SQL 分布式计算 DataWorks
DataWorks操作报错合集之重新上传后只有SQL无法运行,而Python可以正常运行,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
24天前
|
SQL Java 数据库连接
深入理解SQL中的LEFT JOIN操作
深入理解SQL中的LEFT JOIN操作
|
8天前
|
SQL 分布式计算 DataWorks
MaxCompute操作报错合集之在创建SQL函数时,遇到报错,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。