虽然_个人页

2022年05月

• 05.27 16:24:07
  发表了文章 2022-05-27 16:24:07

  基于dataX实现多种数据源数据汇聚(二)

  上一篇文章提到在数据中台项目实践过程中，基于dataX实现数据汇聚的一些使用心得，在众多项目中，发现一个趋势，国产数据库的发展趋势，越来越多的企业要求国产化保障核心资产的安全。本章节主要介绍国产数据的安装、连接、与归集的知识。涉及场景的国产数据库如下： 1、达梦 2、人大金仓（后续补充） 3、南大通用（后续补充）

  
• 05.27 15:52:22
  发表了文章 2022-05-27 15:52:22

  基于dataX实现多种数据源数据汇聚(一)

  在数据中台项目实践过程中，经常需要获取多个部门、多个系统的数据，此时面临多种多样的数据库，如何快速稳定的获取数据，并持续归集到数据中台的数据仓库中，是每个数据中台项目必须解决的问题。本文介绍了我在项目实践过程中，基于dataX实现数据汇聚的一些使用心得，在此和大家分享，希望有所帮助。

  

2022年04月

• 04.20 15:48:59
  发表了文章 2022-04-20 15:48:59

  分布式系统日志管理实践(二)

  日志管理是分布式系统，微服务架构中，经常使用的运维方案，可以提高问题定位速度，便于快速解决程序异常，找到程序缺陷。本文将从项目实践的角度总结提炼日志管理方案。 技术选型是ELK+Filebeat，最后将与上文的Loki+Promtail+Grafana选型方案进行优缺点比较，方便大家比较参考使用。

  
• 04.20 15:04:56
  发表了文章 2022-04-20 15:04:56

  分布式系统日志管理实践(一)

  日志管理是分布式系统，微服务架构中，经常使用的运维方案，可以提高问题定位速度，便于快速解决程序异常，找到程序缺陷。本文将从项目实践的角度总结提炼日志管理方案。 技术选型是Loki+Promtail+Grafana；之后还会专门写一篇ELK方案以及二者的对比，方便大家比较参考使用。

  

2021年06月

• 06.29 16:40:55
  发表了文章 2021-06-29 16:40:55

  大数据产品管理平台Apache Ambari研究

  在项目中，客户要求使用开源大数据平台，为实现开源大数据平台可管可控，满足企业级服务要求，特选型研究Ambari，预期简化部署，提升平台稳定运行和日常监控能力。个人观点，在企业级服务中尽量选用阿里云飞天平台这类稳定输出的商业级产品，其稳定性，管控能力均拥有较高的水平，不是开源产品可以比拟的。因此本文研究内容，仅作为备选技术方案。

  
• 06.29 15:40:45
  发表了文章 2021-06-29 15:40:45

  实时大数据计算引擎Apache Flink计算研究(二)

  接上文，近期团队在研究大数据平台产品，在业务场景设计时，经常会遇到实时数据加工的需求，因此开始探索实时大数据计算引擎。同时，我认为Flink也是未来流批一体的趋势。本文将技术预研过程中的要点整理分享出来，供大家参考使用，内容较多，分2个文章发布。

  
• 06.29 15:21:14
  发表了文章 2021-06-29 15:21:14

  实时大数据计算引擎Apache Flink计算研究(一)

  近期团队在研究大数据平台产品，在业务场景设计时，经常会遇到实时数据加工的需求，因此开始探索实时大数据计算引擎。同时，我认为Flink也是未来流批一体的趋势。本文将技术预研过程中的要点整理分享出来，供大家参考使用，内容较多，分2个文章发布。

  
• 06.29 14:38:07
  发表了文章 2021-06-29 14:38:07

  采用canal搭建MySQL到ES数据传输通道

  日常项目实践过程中，经常需要将数据从MySQL关系型数据库同步到Elasticsearch中进行多维度查询，满足查询性能要求或多查询条件检索要求。本文总结数据传输技术的一个解决方案供大家参考使用。

  
• 06.28 18:46:12
  发表了文章 2021-06-28 18:46:12

  架构知识分享——负载均衡技术研究

  基于多年工作实践，总结日常使用到的负载均衡技术相关的理论，定义，产品和使用场景。

  

2020年06月

• 06.28 16:04:39
  发表了文章 2020-06-28 16:04:39

  Linux系统LVM信息丢失处理方法

  Linux的LVM会存储用户对PV/VG/LV的每一步操作，并自动把当前的VG的信息备份到一个文件里面，该文件为/etc/lvm/backup/VG名，本文描述了当信息丢失时如何找回的处理方法。

  
• 06.28 15:49:00
  发表了文章 2020-06-28 15:49:00

  Oracle MySQL相关工具replace操作实现方式区别

  本文列举MySQL、Oracle、常用数据导入工具碰到主键冲突、唯一约束、以及其他对重复数据、已有数据的处理区别，并介绍MySQL、Oracle replace相关语句实现区别。 由此可见在实际使用不同数据库过程中，还是有许多差别，需要大家细心留意。
• 06.28 15:21:21
  发表了文章 2020-06-28 15:21:21

  DataWorks任务实例错误分析

  总结Dataworks产品使用过程中遇到的常见问题——任务实例错误

  
• 06.28 15:00:48
  发表了文章 2020-06-28 15:00:48

  DataQuotient画像分析产品体验报告

  DataQuotient画像分析产品试用与体验报告，可用于提升数据分析能力，简化定制开发工作。

  
• 06.28 13:42:27
  发表了文章 2020-06-28 13:42:27

  DataWorks数据处理全流程技术站点地图

  基于数据中台建设经验，整理阿里大数据产品DataWorks实现数据中台数据处理的技术站点地图。