张家锋_社区达人页

2022年05月

• 05.14 14:15:59
  发表了文章 2022-05-14 14:15:59

  Apache Doris Grafana监控指标介绍

  整个集群重点关注的几个指标。

  
• 05.14 13:48:50
  发表了文章 2022-05-14 13:48:50

  使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris

  本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。

  
• 05.14 13:39:06
  发表了文章 2022-05-14 13:39:06

  Spark Doris Connector设计方案

  Spark Doris Connector 是Doris在0.12版本中推出的新功能。用户可以使用该功能，直接通过Spark对Doris中存储的数据进行读写，支持SQL、Dataframe、RDD等方式。从Doris角度看，将其数据引入Spark，可以使用Spark一系列丰富的生态产品，拓宽了产品的想象力，也使得Doris和其他数据源的联合查询成为可能。

  
• 05.14 13:35:31
  发表了文章 2022-05-14 13:35:31

  Apache Doris 动态分区介绍及使用方法

  在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。

  
• 05.14 13:31:06
  发表了文章 2022-05-14 13:31:06

  Apache Doris Sequence介绍及使用方法

  Sequence列目前只支持Uniq模型，Uniq模型主要针对需要唯一主键的场景，可以保证主键唯一性约束，但是由于使用REPLACE聚合方式，在同一批次中导入的数据，替换顺序不做保证。替换顺序无法保证则无法确定最终导入到表中的具体数据，存在了不确定性。 为了解决这个问题，Doris支持了sequence列，通过用户在导入时指定sequence列，相同key列下，REPLACE聚合类型的列将按照sequence列的值进行替换，较大值可以替换较小值，反之则无法替换。该方法将顺序的确定交给了用户，由用户控制替换顺序。

  
• 05.14 13:25:43
  发表了文章 2022-05-14 13:25:43

  Flink 使用 SQL 读取 Kafka 写入到Doris表中

  这次我们演示的是整合Flink Doris Connector 到 Flink 里使用，通过Flink Kafka Connector，通过SQL的方式流式实时消费Kafka数据，利用Doris Flink Connector将数据插入到Doris表中。

  
• 05.14 13:17:31
  发表了文章 2022-05-14 13:17:31

  Apache Doris Routine Load数据导入使用方法

  Routine Load 是支持用户提交一个常驻的导入任务，通过不断的从指定的数据源读取数据，将数据导入到 Doris 中。目前仅支持通过无认证或者 SSL 认证方式，从 Kakfa 导入的数据。

  
• 05.14 13:11:22
  发表了文章 2022-05-14 13:11:22

  Apache Doris Stream load 数据导入方式

  Stream load 是一个同步的导入方式，用户通过发送 HTTP 协议发送请求将本地文件或数据流导入到 Doris 中。Stream load 同步执行导入并返回导入结果。用户可直接通过请求的返回消息判断本次导入是否成功。

  
• 05.14 13:04:40
  发表了文章 2022-05-14 13:04:40

  Apache Doris 数据导入总览

  Apache Doris 的数据导入功能是提供用户将数据导入到 Doris 中，导入成功之后，用户可以通过 Mysql 客户端使用SQL对数据进行查询分析。
• 05.14 13:00:49
  发表了文章 2022-05-14 13:00:49

  Apache Doris Broker数据导入使用示例及介绍

  Broker load 是一个异步的导入方式，支持的数据源取决于 Broker 进程支持的数据源。用户需要通过 MySQL 协议 创建 Broker load 导入，并通过查看导入命令检查导入结果。

  
• 05.14 12:43:42
  发表了文章 2022-05-14 12:43:42

  Flink Doris Connector设计方案

  我们选择了Flink作为我们架构的一部分，用于数据的ETL及实时计算框架，社区目前支持Spark doris connector，因此我们参照Spark doris connector 设计开发了Flink doris Connector。

  
• 05.14 12:36:36
  发表了文章 2022-05-14 12:36:36

  基于Apache doris怎么构建数据中台(八)-数仓管理

  数仓分层模型的好处是什么呢，以下内容回答你。

  
• 05.14 12:24:27
  发表了文章 2022-05-14 12:24:27

  基于Apache-doris怎么构建数据中台(七)-数据指标管理

  维度主要分为定性维度和定量维度，定性维度，主要是偏文字描述类如城市、性别、职业等;定量维度，主要是数值类描述如收入、年龄等，对定量维度需要做数值分组处理。

  
• 05.14 12:05:24
  发表了文章 2022-05-14 12:05:24

  Apache Doris 集群升级

  Apache Doris 可以通过滚动升级的方式，平滑进行升级。升级顺序是先升级BE，再升级FE，不能颠倒升级顺序。Doris保证BE向后兼容FE。
• 05.14 11:59:29
  发表了文章 2022-05-14 11:59:29

  Apache Doris 环境安装部署

  这里以百度的Doris发行版 Palo-0.14.13版本为例进行演示编译安装部署。

  
• 05.14 11:47:16
  发表了文章 2022-05-14 11:47:16

  基于Apache doris怎么构建数据中台(六)-数据服务管理

  上次讲数据质量的控制，那么针对据仓的数据及各种数据指标怎么快捷的对外提供数据服务，怎么快速的完成数据服务接口的开发，这次我们重点围绕这个进行展开。怎么实现接口开发零代码实现

  
• 05.14 11:38:30
  发表了文章 2022-05-14 11:38:30

  基于Apache doris的元数据管理系统

  什么是元数据？元数据和数据的区别是什么？元数据有什么作用。

  
• 05.13 18:40:08
  发表了文章 2022-05-13 18:40:08

  Apache Doris Join实现与调优实践

  8月 14 号，由示说网和上海白玉兰开源开放研究院联合举办的开源大数据技术线上 Meetup 如期举行，Apache Doris 社区受邀参与本次 Meetup ，来自百度的数据内核高级研发工程师、Apache Doris Contributor 李昊鹏为大家带来了题为“ Apache Doris 的Join实现与调优实践 ”的主题分享，主要介绍了 Apache Doris Join 的实现机制以及调优策略实战，以下是分享内容。

  
• 05.13 18:26:07
  发表了文章 2022-05-13 18:26:07

  Apache Doris常见问题答疑(一)

  Apache Doris常见问题答疑。
• 05.13 18:23:53
  发表了文章 2022-05-13 18:23:53

  Apache Doris常见问题答疑(二)

  Apache Doris常见问题答疑。
• 05.13 18:21:10
  发表了文章 2022-05-13 18:21:10

  基于Apache doris怎么构建数据中台(五)-数据质量管理

  接入及后续的数据处理中质量怎么控制。

  
• 05.13 18:12:47
  发表了文章 2022-05-13 18:12:47

  基于Apache doris怎么构建数据中台(四)-数据接入系统

  在开发数据模型时，我们必须有一个统一的平台，能够像流水线一样，把数据一步步加工成数据模型。这其中涉及到数据萃取、数据聚合、作业调度等。

  
• 05.13 18:07:23
  发表了文章 2022-05-13 18:07:23

  基于Apache doris怎么构建数据中台(三)-数据资产管理

  这次我们开始从数据资产开始拆解每个功能模块做的内容。

  
• 05.13 17:57:42
  发表了文章 2022-05-13 17:57:42

  Apache Doris ODBC mysql外表注意事项

  这里要说的是在使用Mysql的ODBC外表的时候要注意事项。

  
• 05.13 17:55:26
  发表了文章 2022-05-13 17:55:26

  Apache doris ODBC外表使用方式

  ODBC External Table Of Doris 提供了Doris通过数据库访问的标准接口(ODBC)来访问外部表，外部表省去了繁琐的数据导入工作，让Doris可以具有了访问各式数据库的能力。
• 05.13 17:52:12
  发表了文章 2022-05-13 17:52:12

  Apache doris Datax DorisWriter扩展使用方法

  ataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

  
• 05.13 17:37:33
  发表了文章 2022-05-13 17:37:33

  Apache doris 排序键及ShortKey Index

  Apache Doris中为加速查询，在内部组织并存储数据时，会把表中数据按照指定的列进行排序，这部分用于排序的列（可以是一个或多个列），可以称之为Sort Key。明细模型中Sort Key就是指定的用于排序的列（即 DUPLICATE KEY 指定的列），聚合模型中Sort Key列就是用于聚合的列（即 AGGREGATE KEY 指定的列），唯一主键模型中Sort Key就是指定的满足唯一性约束的列（即 UNIQUE KEY 指定的列）。
• 05.13 17:35:15
  发表了文章 2022-05-13 17:35:15

  Flink Mysql CDC结合Doris flink connector实现数据实时入库

  Flink Mysql CDC结合Doris flink connector实现数据实时入库，Apache doris通过扩展支持通过 Flink 读写 doris 数仓中的数据表。

  
• 05.13 17:31:56
  发表了文章 2022-05-13 17:31:56

  基于Apache doris怎么构建数据中台(二)-数据中台建设内容

  主要是将基于Doris的数据中台建设内容及系统架构设计。

  
• 05.13 17:26:26
  发表了文章 2022-05-13 17:26:26

  基于Apache doris怎么构建数据中台(一)-什么是数据中台

  这是数据中台系列的第一篇文章，主要阐述数据中台概念，从技术和业务视觉看数据中台及数据中台要解决的问题
• 05.13 17:22:37
  发表了文章 2022-05-13 17:22:37

  Apache Doris FE使用ProxySQL实现负载均衡

  ProxySQL是灵活强大的MySQL代理层, 是一个能实实在在用在生产环境的MySQL中间件，可以实现读写分离，支持 Query 路由功能，支持动态指定某个 SQL 进行 cache，支持动态加载配置、故障切换和一些 SQL的过滤功能。
• 05.13 17:16:33
  发表了文章 2022-05-13 17:16:33

  Apache doris ODBC外表使用方式

  以下是Apache doris ODBC外表使用方式。
• 05.13 17:13:51
  发表了文章 2022-05-13 17:13:51

  Flink Mysql CDC结合Doris flink connector实现数据实时入库

  Apache doris通过扩展支持通过 Flink 读写 doris 数仓中的数据表，目前 doris 支持 Flink 1.11.x ，1.12.x，1.13.x，Scala版本：2.12.x目前Flink doris connector目前控制入库通过两个参数：1. sink.batch.size ：每多少条写入一次，默认100条2. sink.batch.interval ：每个多少秒写入一下，默认1秒这两参数同时起作用，那个条件先到就触发写doris表操作。
• 05.13 17:10:49
  发表了文章 2022-05-13 17:10:49

  Apache doris Datax DorisWriter扩展使用方法

  DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能

  
• 05.13 17:05:49
  发表了文章 2022-05-13 17:05:49

  Apache DORIS安装使用测试报告

  以下是Apache DORIS安装使用测试报告。

  
• 05.13 16:43:39
  发表了文章 2022-05-13 16:43:39

  使用Grafana监控Doris

  使用Grafana监控Doris的安装注意。
• 05.13 16:40:00
  发表了文章 2022-05-13 16:40:00

  Doris Centos7 编译

  Doris Centos7 编译的相关依赖。
• 05.13 16:37:22
  发表了文章 2022-05-13 16:37:22

  Centos 6 Ambari升级JDK 1.8 节点丢失问题解决

  Ambari在升级JDK的过程中，或导致ambari-agent日志中出现下面的错误.
• 05.13 16:34:45
  发表了文章 2022-05-13 16:34:45

  感觉Ambari要凉凉

  自从hortonworks和cloudera合并以后,ambari从18年11月份发布了2.7.3以后就基本没动静了,版本也不更新了，正常情况下应该早发布新版了.
• 05.13 16:32:15
  发表了文章 2022-05-13 16:32:15

  kubernetes 的日志解决方案

  对于一个分布式平台来说，日志收集处理是一个不可或缺的功能。目前，ELK Stack 已经成为最流行的集中式日志解决方案。本文主要梳理一下ELK的一些理论知识，并针对K8S容器云平台探讨一下集中式日志解决方案的可行性，并做一下简单实践。

  
• 05.13 16:19:03
  发表了文章 2022-05-13 16:19:03

  Kubernetes的设计理念

  分析和理解Kubernetes的设计理念可以使我们更深入地了解Kubernetes系统，更好地利用它管理分布式部署的云原生应用，另一方面也可以让我们借鉴其在分布式系统设计方面的经验。

  
• 05.13 16:14:52
  发表了文章 2022-05-13 16:14:52

  K8S创建对象Yaml文件详解

  K8S创建对象Yaml文件详解以下有回答。
• 05.13 16:08:49
  发表了文章 2022-05-13 16:08:49

  吐槽简书编辑器

  简书编辑器没有插入代码的插件，这边对IT编辑需要插入代码，很不友好，整合文章看上去不是那么舒服，应该改一个号的markdown编辑器

  
• 05.13 16:06:52
  发表了文章 2022-05-13 16:06:52

  k8s Ingress 服务部署方式

  k8s Ingress 服务部署方式service和pod仅可在集群内部网络中通过IP地址访问。所有到达边界路由器的流量或被丢弃或被转发到其他地方

  
• 05.13 16:00:39
  发表了文章 2022-05-13 16:00:39

  使用kubectl创建部署

  使用kubectl创建部署有以下几个方法。

  
• 05.12 21:56:40
  发表了文章 2022-05-12 21:56:40

  docker私有镜像仓库搭建

  Harbor 是 Vmwar 公司开源的 企业级的 Docker Registry 管理项目它主要 提供 Dcoker Registry 管理UI，可基于角色访问控制, AD/LDAP 集成，日志审核等功能，完全的支持中文。Harbor 的所有组件都在 Dcoker 中部署，所以 Harbor 可使用 Docker Compose 快速部署。

  
• 05.12 21:49:54
  发表了文章 2022-05-12 21:49:54

  Docker镜像构建

  Docker镜像怎么构建呢？以下有回答。

  
• 05.12 21:44:36
  发表了文章 2022-05-12 21:44:36

  kubernets 1.12.3集群搭建

  kubernets 1.12.3集群怎样去搭建呢？以下内容回答你的问题。

  
• 05.12 21:35:26
  发表了文章 2022-05-12 21:35:26

  CentOS 7 安装mysql 8 教程

  以下是CentOS 7 安装mysql 8 教程。
• 05.12 21:30:13
  发表了文章 2022-05-12 21:30:13

  Ambari中文化

  Ambari中文化的主要是以下汉化几个地方。