勋章
粉丝
Oracle数据库专家认证、华为大数据专家认证、CSDN数据库&大数据领域新星创作者
-
发表了文章 2023-03-27
【SQL开发实战技巧】系列（二十八）：数仓报表场景☞人员分布问题以及不同组(分区)同时聚集如何实现
【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。
-
发表了文章 2023-03-25
【大数据开发运维解决方案】记一次同事不慎用root起动weblogic以及启动日志卡在The server started in RUNNING mode 问题解决过程
最近因为单位换了新版本HD集群，有一些业务数据存在于hive数据库中。而有一些Smartbi的报表数据源是连接的华为HD Hive,因为变更了集群，需要将SmartBi的数据源改为新集群的。我将Kerberos认证凭据和新版本Hive jdbc驱动以及新的jdbc连接串给了同事，也将实施文档给了同事，但是同事在操作完成后，Smarbi节点无法正常起来(后台日志卡在：The server started in RUNNING mode，Server state changed to RUNNING)，要么起来了就是无法联通Hive。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】ogg(GoldenGate)三大进程常用参数
PORT 7809 管理进程的监听端口，默认使7809，当7809不可用时会从DYNAMICPORTLIST定义的列表中选择一个可用的端口，主要用于本地goldengate进程之间的通信 DYNAMICPORTLIST 7810-7860 动态端口，可以指定最大256个可用端口列表，用于主端和备端的进程通信，当目标端有防火墙设置时或者主端的投递进程传送数据要经过防火墙（就是主端有防火墙设置时）才能到达备端时，需要在网络上开通指定的端口。源端和目标段的Collector、Replicat、GGSCI进程通信也会使用这些端口，指定足够的端口去容纳进程数的扩张，这样就不需要停止和重启管理器进程
-
发表了文章 2023-03-24
【大数据开发运维解决方案】GoldenGate replicat进程延迟分析步骤
GoldenGate几乎支持市面上流行的所有主流的操作系统平台和数据库。 博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓***实时ODS平台***, 我们采用异构同步，即源端同步过来的表在ODS新增了一个etltime字段，用来记录当前数据变更时间。 为了记录数据的事务变更历史记录，我们将数据的变更记录映射同步到一张tab_name_audit表中。为了防止源端业务库误删数据，我们将被删除的数据映射同步到一张tab_name_his表中。原表映射到ods后还是正常的映射同步dml操作。
-
发表了文章 2023-03-24
【大数据实时数据同步】GoldenGate实时同步异常：OGG-03533：character ‘c2 a0‘ at offset 0 that is not available报错解决
博主所在单位目前使用Oracle GoldenGate将各个业务生产库汇聚到一起做数仓实时ODS平台，源端库可能涉及Oracle、Mysql、达梦、Guassdb库。 最近遇到了这个错误：`OGG-03533：character 'c2 a0' at offset 0 that is not available。` 导致报错的原因是源端库有业务人员手动用excel往数据库导入数据，源端库字符集：`AMERICAN_AMERICA.AL32UTF8` ，目标库ODS字符集：`AMERICAN_AMERICA.ZHS16GBK`。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】hadoop+kylin安装及官方cube/steam cube案例文档
对于hadoop+kylin的安装过程在上一篇文章已经详细的写了， 请读者先看完上一篇文章再看本本篇文章，本文主要大致介绍kylin官官方提供的常规批量cube创建和kafka+kylin流式构建cube（steam cube）的操作过程，具体详细过程请看官方文档。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube
文章开始之前先说明环境情况，这里kylin消费的kafka数据是从Oracle 数据库用Ogg For Bigdata以json格式将数据投递到kafka topic的，投递的时候，关于insert和update 之前的数据投递到名为 ZTVOUCHER_INS 的topic，而delete和update之后的数据投递到名为 ZTVOUCHER_DEL 的topic中，这里主要介绍kylin如何消费数据创建流式cube。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
一、安装spark依赖的Scala 1.1 下载和解压缩Scala 下载地址： 点此下载 或则直接去官网挑选下载： 官网连接 在Linux服务器的opt目录下新建一个名为scala的文件夹，并将下载的压缩包上载上去： [root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [ro...
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi的安装部署文档，基础环境部署文档 2、整篇文章配置相对简单，走了一些坑，没有写在文档里，为了像我一样的小白看我的文档，按着错误的路径走了，文章整体写的较为详细，按照文章整体过程来做应该不会出错，如果需要搭建基础大数据环境的，可以看上面本人写的hadoop环境部署文档，写的较为详细。 3、关于spark和hudi的介绍这里不再赘述，网上和官方文档有很多的文字介绍，本文所有安装所需的介质或官方文档均已给出可以直接下载或跳转的路径，方便各位免费下载与我文章安装的一致版本的介质。 4、下面是本实验安装完成后本
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append）测试文档
上一篇文章介绍了sqoop全量同步数据到hive， 本片文章将通过实验详细介绍如何增量同步数据到hive，以及sqoop job与crontab定时结合无密码登录的增量同步实现方法。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive
前面文章写了如何部署一套伪分布式的handoop+hive+hbase+kylin环境,也介绍了如何在这个搭建好的伪分布式环境安装配置sqoop工具以及安装完成功后简单的使用过程中出现的错误及解决办法， 接下来本篇文章详细介绍一下使用sqoop全量同步oracle/mysql数据到hive，这里实验采用oracle数据库为例，
-
发表了文章 2023-03-24
【大数据开发运维解决方案】sqoop避免输入密码自动增量job脚本介绍
上一篇文章介绍了sqoop增量同步数据到hive，同时上一篇文章也给出了本人写的hadoop+hive+hbase+sqoop+kylin的伪分布式安装方法及使用和增量同步实现的连接， 本篇文章将介绍如何将上一篇文章介绍的增量方式同sqoop自带的job机制和shell脚本以及crontab结合起来实现自动增量同步的需求。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理
前面几篇文章详细介绍了sqoop全量增量导入数据到hive，大家可以看到我导入的数据如果有时间字段的话我都是在hive指定成了string类型，虽然这样可以处理掉时间字段在hive为空的问题，但是在kylin创建增量cube时需要指定一个时间字段来做增量，所以上面那种方式不行，这里的处理方式为把string改成timestamp类型，看实验：
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Oracle通过sqoop同步数据到hive
将关系型数据库ORACLE的数据导入到HDFS中，可以通过Sqoop、OGG来实现，相比较ORACLE GOLDENGATE，Sqoop不仅不需要复杂的安装配置，而且传输效率很高，同时也能实现增量数据同步。 本文档将在以上两个文章的基础上操作，是对第二篇文章环境的一个简单使用测试，使用过程中出现的错误亦可以验证暴漏第二篇文章安装的问题出现的错误,至于sqoop增量同步到hive请看本人在这篇文章之后写的测试文档。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Sqoop增量同步Oracle数据到hive：merge-key再次详解
这篇文章是基于上面连接的文章继续做的拓展，上篇文章结尾说了如果一个表很大。我第一次初始化一部分最新的数据到hive表，如果没初始化进来的历史数据今天发生了变更，那merge-key的增量方式会不会报错呢？之所以会提出这个问题，是因为笔者真的有这个测试需求，接下来先对oracle端的库表数据做下修改，来模拟这种场景。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】sqoop1.4.7的安装及使用(hadoop2.7环境)
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Solr公共读写调优建议
Solr是一个开源搜索平台，用于构建搜索应用程序。 是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的，快速的和高度可扩展的。 用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Solr6.2默认相似性算法检索匹配得分高于5.1版本问题分析
我们之前使用的solr版本是solr5.1，分词器使用的是jcseg1.9.6，后续接触了Solr6.2，分词器使用的是jcseg2.6.0，发现同一个Oracle库的同一套表数据，分别使用solr5.1和solr6.2版本的模板collection配置集做相同的字段配置并成功做索引后，做相同查询，solr6.2检索文档score远高于solr5.1，下面是我们使用的两个solr环境以及另一个单机solr测试环境的基本情况：
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Solr5.1案例文档导入
1、创建内核 [root@hadoop exampledocs]# cd /hadoop/solr/ [root@hadoop solr]# ./bin/solr create -c jcg -d basic_configs Setup new core instance directory: /hadoop/solr/server/solr/jcg Creating new core 'jc...
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Linux Solr5.1安装及导入Oracle数据库表数据
在solr页面中点击core admin–>add core 增加一个core。和id字段如果不做主键，需要将required="true"去掉。配置文件介绍中已经说了问题的主要原因是schema配置文件中存在。2、取消ID的required=true,修改为指定的字段即可。保存退出，至于为什么这么改，看后面遇到的问题及解决方法。1、将uniqueKey修改为你导入solr的字段。能够正常查询出来数据，简单导入完成。最后结果如上截图及配置。
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Solr5.1+Jcseg分词器安装部署(中英文同义词、停止词配置)
Solr5.1+Jcseg分词器安装部署(同义词、停止词) ############################################################################################### 注意： 本文使用得Solr环境是基于上一篇文章： Linux Solr5.1安装及导入Oracle数据库表数据 搭建得环境基础之上进行得配置测试，如...
-
发表了文章 2023-03-24
【大数据开发运维解决方案】ElasticSearc写入查询性能优化总结
ES（ElasticSearch） 我们需要根据公司要求，进行偏向性的优化。1、bulk批量写入2、多线程写入3、修改索引刷新时间4、修改merge参数以及线程数6、index buffer7、磁盘间的任务均衡8、Mapping优化8.1、自动生成docID(避免ES对自定义ID验证的操作) 8.2、调整字段Mapping 8.3、调整_source字段 8.4、禁用_all 8.5、禁用Norms 8.6、index_options设置 9、优化存储
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Elasticsearch+Logstash+Kibana(6.7.1版本)安装部署
Elasticsearch+Logstash+Kibana(6.7.1版本)安装部署 目前Elasticsearch、Logstash、Kibana三个组件都准备安装在虚拟机供个人学习使用。 一、部署Elasticsearch 1、下载安装包 官网下载地址： ES下载官网 选择Elasticsearch组件 2、上传解压安装包 [root@s133061 elk]# pwd /hadoop/elk [root@s133061 elk]# ls elasticsearch-6.7.1.tar.gz kiba
-
发表了文章 2023-03-24
【大数据开发运维解决方案】hadoop fs常用命令案例解释
hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hadoop fs -get [-ignorecrc] [-crc] hadoop fs -cat hadoop fs -cp hadoop fs -mv hadoop fs -rm(-rm -r) hadoop fs -rm -r -skipTrash hadoop fs -expunge hadoop fs -tail hadoop fs -du -h hadoop fs -du -
-
发表了文章 2023-03-24
【大数据开发运维解决方案】kill占用指定端口进程(定时自动重启weblogic脚本)
上面是总结的定时自动重启weblogic脚本以及如果不慎用root启动weblogic后如何恢复oracle用户的运维。 1、通过ps-ef |grep命令找到想要杀死的进程信息，然后配合awk和sed组织好要杀死的进程清单对应的shell语句，并通过sh命令自动执行kill： ps -ef |grep /home/apache-tomcat-7.0.76/|awk 'NR>1 {print $2}' | sed -e "s/^/kill -9 /g" | sh -
-
发表了文章 2023-03-24
【大数据开发运维解决方案】windows定期清理指定目录文件(保留指定天数日志)
定期清理windows指定目录文件 1、编辑clean.bat脚本加入下面内容： 根据实际需要替换指定目录和时间，这里只保留F:\testbat目录最近七天的所有文件。 forfiles /p "F:\testbat" /s /m *.* /d -7 /c "cmd /c del @path" 保存退出 2、加入windows定期执行计划： 在win系统中，选择计算机管理-》系统工具-》任务计划...
-
发表了文章 2023-03-24
【大数据开发运维解决方案】做SSH免密通信后仍需输入密码问题解决
同事对分配的三台服务器服务器a、b、c三台机器做ssh免密通信，但是b机器做ssh免密通信后访问c节点仍需输入密码,需要解决！！！
-
发表了文章 2023-03-24
【大数据开发运维解决方案】Oracle Sql基础查询
空字符串在oracle中常常相当于null，为什么不说空字符串等价于null呢，看案例： 可以看到，本身deptno是number类型的，而‘’字符串本身是varchar类型，这与null可以是任何类型不同，所以也就不等价。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十七）：数仓报表场景☞通过对移动范围进行聚集来详解分析函数开窗原理以及如何一个SQL打印九九乘法表
本篇文章讲解的主要内容是：***通过执行计划看开窗函数开窗语法rows\range between preceding and current row以及rows\range between unbounded preceding and unbounded following对移动范围的值进行聚集的原理以及区别】、如何通过一个SQL打印九九乘法口表！！！***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十六）：数仓报表场景☞聊聊ROLLUP、UNION ALL是如何分别做分组合计的以及如何识别哪些行是做汇总的结果行
本篇文章讲解的主要内容是：***ROLLUP、UNION ALL是如何分别做分组合计的以及如何通过CUBE 、GROUPING、GROUPING_ID 识别哪些行是做汇总的结果行***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十五）：数仓报表场景☞结果集中的重复数据只显示一次以及计算部门薪资差异高效的写法以及如何对数据进行快速分组
本篇文章讲解的主要内容是：***如何使用lag函数让结果集重复数据只显示一次、用行转列pivot写法优化部门之间计算工资差异类似需求、如何通过ceil函数对已有数据进行分组打印、放假安排团队分组值班，如何通过ntile()over(order by )快速进行人员分组***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十四）：数仓报表场景☞通过执行计划详解”行转列”,”列转行”是如何实现的
本篇文章讲解的主要内容是：***目前Oracle支持的行列互换有两种方式：case when、pivot\unpivot,我将通过几个案例来给大家详解如何通过这两种方式实现“行转列”，“列转行”的需求，并通过执行计划看case when、pivot\unpivot二者的底层逻辑关系以及效率上的影响。***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十三）：数仓报表场景☞ 如何对数据排列组合去重以及通过如何找到包含最大值和最小值的记录这个问题再次用执行计划给你证明分析函数性能不一定高
怎样对数据组合重新排列并去重的问题、通过如何找到包含最大值和最小值的记录这个问题再次用执行计划给你证明分析函数性能不一定高【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。本篇文章主要介绍的两个方面，第一个方面曾经有好几个网友和同事问我，第二个问题真的是很多同行的通病，认为分析函数是万金油，一股脑用。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十二）：数仓报表场景☞ 从分析函数效率一定快吗聊一聊结果集分页和隔行抽样实现方式
怎样对SQL查询结果集分页比较好、平时你用分析函数优化传统查询，所以你会不会认为分析函数一定比传统查询效率高？一个实验告诉你答案、我想对数据进行隔行抽样应该怎么实现？【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。分析查询的一个小建议，可能大家平时为了方便，用row_number做分页的比较多，但是在有些场景，这个效率真的挺低。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十一）：数据仓库中时间类型操作（进阶）识别重叠的日期范围，按指定10分钟时间间隔汇总数据
如何识别重叠的日期范围、日期出现次数、确定当前记录和下一条记录之间相差的天数【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（二十）：数据仓库中时间类型操作（进阶）获取季度开始结束时间以及如何统计非连续性时间的数据
本篇文章讲解的主要内容是：***汇总报表时常要求按季度分类汇总这就需要通过给定年份获取对应的季度开始结束时间、业务数据不连续的情况下如何统计所有年份数据、如何统计相同月份与周内日期聘用的员工、如何返回2月或12月聘用的所有员工以及周二聘用的所有员工***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十九）：数据仓库中时间类型操作（进阶）如何一个SQL打印当月或一年的日历？如何确定某月内第一个和最后—个周内某天的日期？
如何一个SQL打印出当月日历或当年日历？？？如何统计一年内属于周内某一天的所有日期???如何确定某月内第一个和最后—个周内某天的日期？？？【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。本例要求返回当月内第一个星期一与最后一个星期一,我们分别找上月末及当月末之前七天的下一周周一即可。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十八）：数据仓库中时间类型操作（进阶）INTERVAL、EXTRACT以及如何确定一年是否为闰年及周的计算
日期操作函数(INTERVAL、EXTRACT)的使用以及如何确定一年是否为闰年及周的计算两个小案例【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。本章主要介绍的是关于时间类型的一些常规操作。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十七）：数据仓库中时间类型操作（初级）确定两个日期之间的工作天数、计算—年中周内各日期出现次数、确定当前记录和下一条记录之间相差的天数
如何确定两个日期之间的工作日有多少天、计算—年中每周内各日期出现次数、确定当前记录和下一条记录之间相差的天数【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。本章节的三个需求：确定两个日期之间的工作天数、计算—年中周内各日期出现次数、确定当前记录和下一条记录之间相差的天数有些许难度，不过建议还是学会比较好。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十六）：数据仓库中时间类型操作（初级）日、月、年、时、分、秒之差及时间间隔计算
日、月、年、时、分、秒之差及时间间隔计算。【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。本章介绍的关于时间的计算比较简单，主要是为了后面时间计算文章做铺垫！
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十五）：查找最值所在行数据信息及快速计算总和百之max/min() keep() over()、fisrt_value、last_value、ratio_to_report
本篇文章讲解的主要内容是：***计算部门中那个工资等级的员工最多、通过返回部门10最大工资所在行的员工名称小案例来讲解max/min() keep() over()、通过查询工资最高的人小案例来介绍fisrt_value、last_value、通过计算各个部门的工资合计以及各个部门合计工资占总工资的比例小案例来介绍如何计算百分比及ratio_to_report分析函数的使用***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十四）：计算消费后的余额&计算银行流水累计和&计算各部门工资排名前三位的员工
本篇文章讲解的主要内容是：***通过模拟计算消费流水账及计算银行流水累计和讲解sum()over()函数使用场景、通过计算各部门工资排名前三位的员工小案例来介绍ROW_NUMBER、RANK、DENSE_RANK使用方法及区别***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十三）：讨论一下常用聚集函数&通过执行计划看sum()over()对员工工资进行累加
本篇文章讲解的主要内容是：***常用聚集函数及group by与空值的影响、详解通过执行计划看sum()over()分析函数。***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十二）：三问(如何对字符串字母去重后按字母顺序排列字符串？如何识别哪些字符串中包含数字？如何将分隔数据转换为多值IN列表?)
如何将分隔数据转换为多值IN列表、如何按字母顺序排列字符串、如何对字符串字母去重后按字母顺序排列字符串、如何删除字符串中的字符保留数字。【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。这篇文章还是介绍的字符串处理案例，还是那句话，这些操作太太太常见了。后面还会写，而且是更麻烦更难的需求。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十一）：拿几个案例讲讲translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数
translate|regexp_replace|listagg|wmsys.wm_concat|substr|regexp_substr常用函数。如何使用translate或regexp_replace提取姓名的大写首字母缩写、如何使用translate或regexp_replace按字符串中的数值排序、如何聚合表中的行创建一个以逗号分隔拼接的字符串(函数LISTAGG、wmsys.wm_concat)、如何使用substr或regexp_substr提取第N个分隔符的子串、如何分解IP地址
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（十）：从拆分字符串、替换字符串以及统计字符串出现次数说起
本篇文章讲解的主要内容是：***遍历拆分字符串为单个字符、字符串中包含引号如何转译(q-quote特性)、计算字符在字符串中出现的次数、使用translate从字符串中快速删除替换不需要字符的巧妙写法、使用正则表达式regexp_replace将字符和数字数据分离、使用正则表达式regexp_like查询只包含数字或字母型的数据***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（九）：一个update误把其他列数据更新成空了？Merge改写update！给你五种删除重复数据的写法！
本篇文章讲解的主要内容是：***你有没有经历过一个update把其他列数据清空了、使用merge更新合并记录、删除违反参照完整性的记录、给你五种删除重复数据的写法*** 【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（八）：聊聊如何插入数据时比约束更灵活的限制数据插入以及怎么一个insert语句同时插入多张表
插入数据、阻止对某几列插入的实现、复制表的定义和数据以及注意事项、比创建约束功能更强大！用 WITH CHECK OPTION限制数据录入、如何一个insert将数据同时插入多个表【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。但是！ORA - 01723 : 不允许长度为 0 的列。
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（七）：从有重复数据前提下如何比较出两个表中的差异数据及对应条数聊起
本篇文章讲解的主要内容是：***如果有重复数据如何检查出两个表中的差异数据及对应条数、表连接做聚合容易出现重复计算的错误、多表查询空值处理问题、NOT IN的子查询范围不能是空值，否则查询结果为空。***
-
发表了文章 2023-03-24
【SQL开发实战技巧】系列（六）：从执行计划看NOT IN、NOT EXISTS 和 LEFT JOIN效率，记住内外关联条件不要乱放
从执行计划看NOT IN、NOT EXISTS 和 LEFT JOIN效率，还是那就话，别死记网上结论、在使用内外关联时，特别是简写方式时记住关联条件不要乱放！【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作，毕竟SQL开发在数据分析场景非常重要且基础，面试也会经常问SQL开发和调优经验，相信当我写完这一系列文章，也能再有所收获，未来面对SQL面试也能游刃有余~。
-
发表了文章
2023-03-27
【SQL开发实战技巧】系列（二十八）：数仓报表场景☞人员分布问题以及不同组(分区)同时聚集如何实现
-
发表了文章
2023-03-25
【大数据开发运维解决方案】记一次同事不慎用root起动weblogic以及启动日志卡在The server started in RUNNING mode 问题解决过程
-
发表了文章
2023-03-24
【大数据开发运维解决方案】ogg(GoldenGate)三大进程常用参数
-
发表了文章
2023-03-24
【大数据开发运维解决方案】GoldenGate replicat进程延迟分析步骤
-
发表了文章
2023-03-24
【大数据实时数据同步】GoldenGate实时同步异常：OGG-03533：character ‘c2 a0‘ at offset 0 that is not available报错解决
-
发表了文章
2023-03-24
【大数据开发运维解决方案】hadoop+kylin安装及官方cube/steam cube案例文档
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Kylin消费Kafka数据流式构建cube
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Sqoop增量同步mysql/oracle数据到hive(merge-key/append）测试文档
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Sqoop全量同步mysql/Oracle数据到hive
-
发表了文章
2023-03-24
【大数据开发运维解决方案】sqoop避免输入密码自动增量job脚本介绍
-
发表了文章
2023-03-24
【大数据开发运维解决方案】sqoop增量导入oracle/mysql数据到hive时时间字段为null处理
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Oracle通过sqoop同步数据到hive
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Sqoop增量同步Oracle数据到hive：merge-key再次详解
-
发表了文章
2023-03-24
【大数据开发运维解决方案】sqoop1.4.7的安装及使用(hadoop2.7环境)
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Solr公共读写调优建议
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Solr6.2默认相似性算法检索匹配得分高于5.1版本问题分析
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Solr5.1案例文档导入
-
发表了文章
2023-03-24
【大数据开发运维解决方案】Linux Solr5.1安装及导入Oracle数据库表数据
