袋鼠云_个人页

2023年02月

• 02.01 11:24:25
  发表了文章 2023-02-01 11:24:25

  一看就懂！任务提交的资源判断在Taier中的实践

  根据环境资源的剩余情况来动态调整提交任务的速率是Taier必不可少的一项功能，那么Taier究竟是怎么来判断资源的呢？本文就为大家详细聊聊任务提交的资源判断在Taier中的实践。对该话题感兴趣的朋友千万别错过～

  

2023年01月

• 01.12 17:32:12
  发表了文章 2023-01-12 17:32:12

  看这篇就够了丨基于Calcite框架的SQL语法扩展探索

  Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。 本文就为大家详细介绍如何基于Calcite框架的SQL语法扩展探索使之更符合你的业务需求，以及扩展SQL在数栈产品的应用实践。对该技术感兴趣的同学点进文章阅读哦

  
• 01.10 11:17:56
  发表了文章 2023-01-10 11:17:56

  无监控，不运维！深入浅出介绍ChengYing监控设计和使用

  监控系统俗称「第三只眼」，几乎是我们每天都会打交道的系统，它也一直是IT系统中的核心组成部分，负责问题的发现以及辅助性的定位。 ChengYing作为一站式全自动化全生命周期大数据平台运维管家，自然也提供大数据产品的监控服务。这篇文章，将为大家系统性地介绍ChengYing监控的设计和使用，带大家进一步了解ChengYing。

  
• 01.05 15:44:36
  发表了文章 2023-01-05 15:44:36

  DTALK直播预约 | 金融行业嘉宾分享：金融机构数据治理实践路径

  金融业天然就是一个经营数据的行业，一直对数字技术保持高度重视，是数字化转型最早和数字技术应用最广的行业之一。在金融和技术融合过程中，数据治理是关键。当前金融数据治理已由过去局部数据管理，发展到统筹数据整合、智能应用、数据驱动决策和数据开放融合，这对金融数据治理提出了更高的要求，也带来新的挑战。 本期DTALK我们邀请到金融行业嘉宾——大型金融机构信息部负责人 李霏帆，为大家带来《金融机构数据治理实践路径》。

  
• 01.03 14:32:47
  发表了文章 2023-01-03 14:32:47

  袋鼠云产品功能更新报告03期丨产品体验全面优化，请查收！

  年底啦～2022 年即将走到尾声，不过袋鼠云对产品品质的坚持始终如一，这段时间我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如新增任务告警，进行了 Connector 相关功能优化，以及支持跨时间分区圈群等。 以下为袋鼠云产品功能更新报告第三期内容，更多探索，请继续查阅。

  

2022年12月

• 12.28 10:41:18
  发表了文章 2022-12-28 10:41:18

  DAG任务调度系统 Taier 演进之道，探究DataSourceX 模块

  在Taier1.3新版本中，我们融合了「DataSourceX 模块」。这是十分重要的一个变化，移除Taier外部插件依赖，新增数据源插件相关特性，支持后续Taier对接更多的RDBMS类型的SQL任务。本篇文章，就带大家详细了解一下DataSourceX 的作用及设计。感兴趣的朋友欢迎点击正文阅读～

  
• 12.21 12:06:38
  发表了文章 2022-12-21 12:06:38

  Iceberg 在袋鼠云的探索及实践

  数据湖、湖仓一体、批流一体等概念，是近年来大数据领域热度最高的词汇，在各大互联网公司掀起了一波波的热潮，各家公司纷纷推出了自己的技术方案，其中作为全链路数字化技术与服务提供商的袋鼠云，在探索数据湖架构的早期，就调研并选用了Iceberg作为基础框架，在落地过程中深度使用了Iceberg并进行了部分改造，在这个过程中，我们积累出了一些经验和探索实践，希望通过本篇文章与大家分享，也欢迎大家一起共同讨论。

  
• 12.16 15:04:23
  发表了文章 2022-12-16 15:04:23

  Kerberos 身份验证在 ChunJun 中的落地实践

  Kerberos 是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。Kerberos 旨在通过密钥加密技术为客户端 / 服务器应用程序提供身份验证，主要用在域环境下的身份验证。
• 12.15 11:15:56
  发表了文章 2022-12-15 11:15:56

  从数据治理到数据应用，制造业企业如何突破数字化转型困境丨行业方案

  我国制造业拥有 31 个大类、179 个中类和 609 个小类，是全球产业门类最齐全、产业体系最完整的制造业。作为世界工厂，中国制造业在拉动本国经济增长、促进本国就业等方面贡献卓越，更是我国民生消费的底层基础。同时，中国从原来的原料出口国，逐步转为工业品中间品、中间品等普通技术密集型产品的国家，为其他国家消费品的满足提供坚实支撑。 随着数字化浪潮汹涌而至，制造业紧随金融、信息通讯行业，正加速进入数字化转型的深水区。

  
• 12.15 10:35:38
  发表了文章 2022-12-15 10:35:38

  喜讯+1！袋鼠云数栈技术团队获“2022年度优秀开源技术团队”

  近日，在 “开源中国（OSCHINA）” 开展的年度评选中，袋鼠云数栈技术团队凭借在 2022 年间的技术分享频率及质量、运营积极性等多方面的表现，荣获 “2022 年度优秀开源技术团队” 的称号，这也是袋鼠云数栈技术团队连续第二年获得此奖项。

  
• 12.13 11:06:24
  发表了文章 2022-12-13 11:06:24

  杭州联合银行 x 袋鼠云：打造智能标签体系，助力银行大零售业务转型

  经过前期的多轮调研和选型，杭州联合银行了解到袋鼠云的客户数据洞察平台 DataTag 具备全面的标签平台功能，标签圈群、用户画像等功能完备。最终，杭州联合银行选择与袋鼠云携手，重点打造智能标签平台，从而为大零售转型提供数据价值，提高营销效率。 联合银行各条业务线一直以来都有在做相应的标签体系建设，但由于各业务系统的标签数据标准不统一，标签建设缺少系统性，导致用户画像不完整，甚至缺失，各业务线存在数据孤岛现象。

  
• 12.09 11:08:57
  发表了文章 2022-12-09 11:08:57

  数据安全新战场，EasyMR为企业筑起“安全防线”

  保障数据安全，成为当前许多企业的重中之重，大数据基础平台EasyMR新增一站式大数据应用安全防控以及数据权限管控能力，实现一键部署安全管控服务，一键开启大数据集群组件的安全认证、用户管理以及权限管控服务，为企业数据安全保驾护航。

  
• 12.01 20:36:18
  发表了文章 2022-12-01 20:36:18

  袋鼠云产品功能更新报告02期丨有亿点点走心！

  袋鼠云产品功能更新报告第二期内容，更多探索，请继续阅读

  
• 12.01 19:14:37
  发表了文章 2022-12-01 19:14:37

  国产自研、安全、高可用——袋鼠云大数据基础平台EasyMR筑基企业数字化转型

  俗话说 “基础不牢，地动山摇 “。大数据基础平台什么？是打地基的，是重中之重，地基扎得越深、打得越牢，上面的建筑才能越稳定。可以说，数字化转型的 “万丈高楼” 起于基础平台，具备自主可控的平台建设能力，是真正意义上一切的前提。 袋鼠云今年 7 月最新推出自研大数据基础平台 EasyMR，该产品提供 Hadoop、Hive、Spark、Trino、HBase、Kafka 等组件的自动化安装、中心化管理与集群监控告警功能，完全兼容 Apache 开源生态，支持企业级安全管控，一键开启 LDAP+Kerberos+Ranger 认证权限体系，以及提供一站式运维管理平台。

  

2022年11月

• 11.30 14:00:58
  发表了文章 2022-11-30 14:00:58

  开源共建 | TIS整合数据同步工具ChunJun，携手完善开源生态

  整合了大数据领域数据同步工具 ChunJun，将 TIS 的业务能力提升到了新高度。

  
• 11.25 11:31:54
  发表了文章 2022-11-25 11:31:54

  袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座

  数字经济时代，如何有效利用不同来源、规模巨大的数据，从而加快数据价值化的呈现，把数据用活，成为很多企业的难题。 秉承「让数据创造价值」的使命，袋鼠云进一步夯实企业数字化转型的数据基座。今年 7 月的 2022 年产品发布会上，袋鼠云首发数据湖平台 ——DataLake。

  
• 11.23 10:37:23
  发表了文章 2022-11-23 10:37:23

  开源共建 | 中国移动冯江涛：ChunJun（原FlinkX）在数据入湖中的应用

  随着本地数据迁移上云、云上数据交换等多源异构数据源数据同步需求日益增多，传统通过编写脚本进行数据同步的方式投入高、效率低、运维管理困难；在公司内部，多款移动云数据库和大数据类产品根据客户需求迫切希望集成数据同步能力，但缺少易用的框架，从 0 开始研发投入研发成本高。 针对上述问题，基于 FlinkX 多源异构数据同步框架，实现了用户自建和移动云上消息中间件、数据库、对象存储等多种异构数据源双向读写，基于社区版实现了 On k8s 改造，需简单配置即可满足用户数据快速上云及云上数据高效交换需求，降低开发运维投入，该成果已在移动云至少 3 款产品中应用。

  
• 11.18 15:19:31
  发表了文章 2022-11-18 15:19:31

  开源共建 | Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

  Dinky 扩展批流统一数据集成框架 ChunJun 的实践分享

  
• 11.17 13:56:30
  发表了文章 2022-11-17 13:56:30

  袋鼠云数栈UI5.0体验升级背后的故事：可用性原则与交互升级

  最近，我们袋鼠云的UED部⻔小伙伴们，不声不响地⼲了⼀件⼤事——升级了全新设计语言「数栈UI5.0」！数栈UI5.0结合经典的尼尔森十大可用性原则，秉承给客户带来更加好用的功能和体验的目标，进行了重大提升，快点进文章看看，数栈UI5.0都做了什么什么吧！

  
• 11.16 11:11:44
  发表了文章 2022-11-16 11:11:44

  三分钟带你了解一站式大数据平台运维管家 ChengYing 产品包制作

  本文为大家介绍开源项目一站式大数据平台运维管家ChengYing产品包制作

  
• 11.15 16:00:37
  发表了文章 2022-11-15 16:00:37

  袋鼠云平台代码规范化编译部署的提效性改进实践

  在大型客户场景下，经常面临着增量产品包内存过大影响平台部署效率的问题，袋鼠云从平台对编译策略的优化出发，结合内部产品包出包优化探索，来探讨如何在增量策略下，更优的解决产品包的内存大小问题，以解决增量升级的效率性。想知道袋鼠云具体是怎么做的吗？欢迎点击下文了解详情

  

2020年12月

• 12.11 10:36:46
  发表了文章 2020-12-11 10:36:46

  Hive引擎Spark优化配置参数2

  上一篇内容讲了资源参数优化，本篇继续说明spark driver以及spark shuffle相关的参数调优。

  
• 12.10 16:44:12
  发表了文章 2020-12-10 16:44:12

  Hive引擎Spark优化配置参数1

  Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要描述在底层引擎为Spark时，经常会用到的、常见的配置参数。

  
• 12.08 12:02:23
  发表了文章 2020-12-08 12:02:23

  Hive性能调优工具

  HQL提供了两个查看查询性能的工具：explain与analyze，除此之外Hive的日志也提供了非常详细的信息，方便查看执行性能和报错排查。

  
• 12.05 12:17:21
  发表了文章 2020-12-05 12:17:21

  Hive常见语句及函数

  本文主要介绍hive中创建，查询，修改数据库语句，以及创建表查询表语句

  
• 12.03 20:40:38
  发表了文章 2020-12-03 20:40:38

  Hive环境搭建

  本文主要介绍hadoop基础环境（3.1.3） Hive版本 3.1.2搭建教程。
• 12.02 20:24:23
  发表了文章 2020-12-02 20:24:23

  Hive架构及Hive SQL的执行流程解读

  本文主要说明Hive产生背景，使用场景，特点，体系架构及Hive SQL执行流程。

  

2020年11月

• 11.25 19:20:58
  发表了文章 2020-11-25 19:20:58

  MySQL|主从延迟问题排查（二）

  主库执行insert  select 批量写入操作，主从复制通过row模式下转换为批量的insert大事务操作，导致只读实例CPU资源以及延迟上涨

  
• 11.24 18:33:55
  发表了文章 2020-11-24 18:33:55

  MySQL|主从延迟问题排查（一）

  大查询长时间执行无法释放DML读锁，后续同步主库的DDL操作获取DML写锁资源被阻塞等待，导致后续同步主库的操作堆积，主从延迟增长严重。从同步延迟的监控来看，延迟从17:11开始，17:51:59进行kill大查询操作，直到17:53建议业务方将大查询kill掉后才结束。

  
• 11.23 16:36:09
  发表了文章 2020-11-23 16:36:09

  MySQL|空间碎片化问题处理

  通过对TOP表数据量的监控，我们可以看到sys_rest_server_log的数据量已经达到7000w,除空间占用外，我们更关注的是该表对数据库带来的性能隐患。若业务上或者人为不当的查询该表数据，其操作的资源消耗在一定程度上一定会对正常业务造成影响。

  
• 11.20 14:11:30
  发表了文章 2020-11-20 14:11:30

  MySQL|MySQL执行计划

  使用explain关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的，分析你的查询语句或是表结构的性能瓶颈。

  
• 11.19 17:50:00
  发表了文章 2020-11-19 17:50:00

  MySQL|索引

  索引是表的目录，是数据库中专门用于帮助用户快速查询数据的一种数据结构。类似于字典中的目录，查找字典内容时可以根据目录查找到数据的存放位置，以及快速定位查询数据。对于索引，会保存在额外的文件中。

  
• 11.18 15:25:19
  发表了文章 2020-11-18 15:25:19

  MySQL|MySQL事物以及隔离级别

  MySQL 事务主要用于处理操作量大，复杂度高的数据。比如开单，需要添加给订单表增加记录，还需要增加订单的各种相关明细，操作复杂度高，这些操作语句需要构成一个事务。在 MySQL 命令行的默认设置下，事务都是自动提交的，即执行 SQL 语句后就会马上执行 COMMIT 操作。因此要显式地开启一个事务务须使用命令 BEGIN 或 START TRANSACTION，或者执行命令 SET AUTOCOMMIT=0，用来禁止使用当前会话的自动提交。
• 11.10 14:20:10
  发表了文章 2020-11-10 14:20:10

  助力高考|为117万艺考学子保驾护航

  云掣用技术守护艺考！！！

  
• 11.05 15:41:57
  发表了文章 2020-11-05 15:41:57

  某物流客户Elasticsearch集群性能优化案例

  袋鼠云通过数据集成优化、任务调度优化、代码优化、全链路数据质量保障、故障紧急处理、大数据平台运维，为客户提供大数据系统运维保障服务。

  
• 11.02 11:18:45
  发表了文章 2020-11-02 11:18:45

  技本功|Hive优化之监控（三）

  Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的技能。影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。本文主要是从监控运维的角度对Hive进行整体性能把控，通过对hive元数据监控，提前发现Hive表的不合理处及可优化点，将被动运维转化为主动运维。

  

2020年10月

• 10.29 11:47:26
  发表了文章 2020-10-29 11:47:26

  SQL优化三步曲

  三步改变线上业务库中SQL执行很满，导致每次跑1分钟才结束的难题。

  
• 10.27 14:13:52
  发表了文章 2020-10-27 14:13:52

  SQL优化案例（2）：OR条件优化

  在MySQL中，同样的查询条件，如果变换OR在SQL语句中的位置，那么查询的结果也会有差异，在多个复杂的情况下，可能会带来索引选择不佳的性能隐患，为了避免执行效率大幅度下降的问题，我们可以适当考虑使用统一所有对查询逻辑复杂的SQL进行分离。

  
• 10.22 13:54:47
  发表了文章 2020-10-22 13:54:47

  SQL优化案例(1)：隐式转换

  在实际的开发运维过程中，想必大家也常常会碰到慢SQL的困扰。一条性能不好的SQL，往往会带来过大的性能开销，进而引起整个操作系统资源的过度使用，甚至造成会话堆积，引发线上故障。而在SQL调优的场景中，一类比较常见的问题，就是隐式类型转换。那什么是隐式转换呢？

  
• 10.10 10:16:33
  发表了文章 2020-10-10 10:16:33

  听说生鲜领军企业k8s集群都上云了，鱼会飞了？

  云掣帮助客户实现了自建Kubernetes集群的平滑上云，为打造高效的运营模式和完善的供应链体系提供了保障。

  

2020年09月

• 09.30 13:54:05
  发表了文章 2020-09-30 13:54:05

  技本功|数据安全之混合云环境数据库备份容灾实现

  近些年，数据安全事件频发。作为企业的核心资产，数据的外泄、破坏都会导致不可挽回的经济损失和核心竞争力缺失。规范的制度建设、权限管理和变更流程是保证数据安全的重要落地措施。袋鼠云DBA团队承接多个客户的容灾架构设计需求，制定可靠、有效的容灾架构方案并推动落地。备份重于一切。我们会优先考虑数据库备份集的容灾设计：两地三中心VS混合云、权限分配&监控告警&恢复演练。

  
• 09.24 10:16:32
  发表了文章 2020-09-24 10:16:32

  直击云栖|践行数据化运维，云掣重新解读MSP

  2020年云栖大会百城汇·杭州站，云掣MSP专场圆满落幕！本次云栖大会·云掣MSP专场以“数据智能，智能运维”为主题，主要聚焦企业云化转型演进趋势，云上运维全景监控以及云原生云环境下核心系统高可用保障。

  
• 09.23 10:04:10
  发表了文章 2020-09-23 10:04:10

  技本功|统计信息对SQL执行效率的影响

  奋哥哥接到业务方线上业务数据库CPU资源告警信息，立马登录业务方阿里云控制台查看具体问题。对于数据库当前正在发生中的问题，我们首先从数据库实时会话信息中尝试抓取有效信息，可以看到该告警实例的会话已经出现堆积状态，大量会话处于"Sending data"状态且从TIME字段可以看到这些会话长时间执行未结束。会话长时间执行表示当前会话一直占用的数据库资源未释放，且堆积会话基本为同一类型的业务SQL，这也就是导致我们数据库资源打高的问题SQL。于是，奋哥哥凭借自己高超的技术解决了这一问题。具体是怎么解决的呢？请看下文！