勋章
我关注的人
粉丝
技术能力
暂时未有相关云产品技术能力~
暂无个人介绍
-
发表了文章 2022-05-27
实时标签开发——从零开始搭建实时用户画像(五)
实时标签开发——从零开始搭建实时用户画像(五)
-
发表了文章 2022-05-27
Spark Streaming，Flink，Storm，Kafka Streams，Samza：如何选择流处理框架
根据最新的统计显示，仅在过去的两年中，当今世界上90％的数据都是在新产生的，每天创建2.5万亿字节的数据，并且随着新设备，传感器和技术的出现，数据增长速度可能会进一步加快。从技术上讲，这意味着我们的大数据处理将变得更加复杂且更具挑战性。而且，许多用例（例如，移动应用广告，欺诈检测，出租车预订，病人监护等）都需要在数据到达时进行实时数据处理，以便做出快速可行的决策。这就是为什么分布式流处理在大数据世界中变得非常流行的原因。
-
发表了文章 2022-05-27
用户画像大数据环境搭建——从零开始搭建实时用户画像(四)
本章我们开始正式搭建大数据环境，目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境，使用原生的方式搭建Flink，Druid，Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式，共同完成大数据环境的安装。
-
发表了文章 2022-05-27
用户画像标签体系——从零开始搭建实时用户画像(三)
用户画像标签体系——从零开始搭建实时用户画像(三)
-
发表了文章 2022-05-27
用户画像系统架构——从零开始搭建实时用户画像(二)
在《什么是用户画像》一文中，我们已经知道用户画像对于企业的巨大意义，当然也有着非常大实时难度。那么在用户画像的系统架构中都有哪些难度和重点要考虑的问题呢？
-
发表了文章 2022-05-27
什么是用户画像——从零开始搭建实时用户画像(一)
什么是用户画像——从零开始搭建实时用户画像(一)
-
发表了文章 2022-05-27
一站式Kafka平台解决方案——KafkaCenter
一站式Kafka平台解决方案——KafkaCenter
-
发表了文章 2022-05-27
Druid 0.17入门（4）—— 数据查询方式大全
本文介绍Druid查询数据的方式，首先我们保证数据已经成功载入。 Druid查询基于HTTP，Druid提供了查询视图，并对结果进行了格式化。 Druid提供了三种查询方式，SQL，原生JSON，CURL。
-
发表了文章 2022-05-27
流媒体与实时计算，Netflix公司Druid应用实践
流媒体与实时计算，Netflix公司Druid应用实践
-
发表了文章 2022-05-27
实时流式计算系统中的几个陷阱
随着诸如Apache Flink，Apache Spark，Apache Storm之类的开源框架以及诸如Google Dataflow之类的云框架的增多，创建实时数据处理作业变得非常容易。这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。 但是，直到今天，实时数据处理领域的开发人员都在为该领域的某些特性而苦苦挣扎。因此，他们在不知不觉中创建了一条路径，该路径导致了应用程序中相当常见的错误。 让我们看一下在设计实时应用程序时可能需要克服的一些陷阱。
-
发表了文章 2022-05-27
DataHub——实时数据治理平台
DataHub——实时数据治理平台
-
发表了文章 2022-05-27
一小时搭建实时数据分析平台
实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？
-
发表了文章 2022-05-27
重大更新！Druid 0.18.0 发布—Join登场，支持Java11
Apache Druid本质就是一个分布式支持实时数据分析的数据存储系统。 能够快速的实现查询与数据分析，高可用，高扩展能力。 距离上一次更新刚过了二十多天，距离0.17版本刚过了三个多月，Druid再次迎来重大更新，Druid也越来越强大了。 Apache Druid 0.18.0 本次更新了 42位贡献者的200多个新功能，性能增强，BUG修复以及文档改进。
-
发表了文章 2022-05-26
Scala学习系列（三）——入门与基础
Scala学习系列（三）——入门与基础
-
发表了文章 2022-05-26
Kafka 2.5.0发布——弃用对Scala2.11的支持
Kafka 2.5.0发布——弃用对Scala2.11的支持
-
发表了文章 2022-05-26
超200万？约翰斯·霍普金大学数据错误！——谈谈如何保证实时计算数据准确性
超200万？约翰斯·霍普金大学数据错误！——谈谈如何保证实时计算数据准确性
-
发表了文章 2022-05-26
Scala学习系列（二）——环境安装配置
Scala学习系列（二）——环境安装配置
-
发表了文章 2022-05-26
Scala学习系列（一）——Scala为什么是大数据第一高薪语言
Scala学习系列（一）——Scala为什么是大数据第一高薪语言
-
发表了文章 2022-05-26
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
-
发表了文章 2022-05-26
Druid 0.17 入门（3）—— 数据接入指南
在快速开始中，我们演示了接入本地示例数据方式，但Druid其实支持非常丰富的数据接入方式。比如批处理数据的接入和实时流数据的接入。本文我们将介绍这几种数据接入方式。 • 文件数据接入：从文件中加载批处理数据 • 从Kafka中接入流数据：从Kafka中加载流数据 • Hadoop数据接入：从Hadoop中加载批处理数据 • 编写自己的数据接入规范：自定义新的接入规范 本文主要介绍前两种最常用的数据接入方式。
-
发表了文章 2022-05-26
Druid 0.17 入门（2）—— 安装与部署
在Druid快速入门其实已经简单的介绍过最简化配置的单节点部署，本文我们将详细描述Druid的多种部署方式，对于测试开发环境可以选用轻量的单机部署方式，而生产环境我们最好选用集群部署的方式，确保系统的高可用性。
-
发表了文章 2022-05-26
Flink 1.10 正式发布！——与Blink集成完成，集成Hive，K8S
Apache Flink社区宣布Flink 1.10.0正式发布！ 本次Release版本修复1.2K个问题，对Flink作业的整体性能和稳定性做了重大改进，同时增加了对K8S，Python的支持。 这个版本标志着与Blink集成的完成，并且强化了流式SQL与Hive的集成，本文将详细介绍新功能和主要的改进。
-
发表了文章 2022-05-26
Druid入门（1）—— 快速入门实时分析利器-Druid_0.17
Druid入门（1）—— 快速入门实时分析利器-Druid_0.17
-
发表了文章 2022-05-26
什么是Druid
什么是Druid
-
发表了文章 2022-05-26
Flink入门——DataSet Api编程指南
Flink入门——DataSet Api编程指南
-
发表了文章 2022-05-26
Vmvare扩展虚拟机磁盘大小
Vmvare扩展虚拟机磁盘大小
-
发表了文章 2022-05-26
Ambari 2.7.3.0安装新组件
Ambari 2.7.3.0安装新组件和之前版本略有不同，本文将简述安装新组件的简单过程。 前提是大家已经安装好Ambari 2.7.3.0 这时候由于有一些组件没有添加，就需要安装新的组件。
-
发表了文章 2022-05-26
Flink入门——环境与部署
flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行，包括本地调试环境，集群环境。另外介绍Flink的开发工程的构建。
-
发表了文章 2022-05-26
数据治理的王者——Apache Atlas
数据治理的王者——Apache Atlas
-
发表了文章 2022-05-26
什么是全文检索
全文检索技术被广泛的应用于搜索引擎，查询检索等领域。我们在网络上的大部分搜索服务都用到了全文检索技术。 对于数据量大、数据结构不固定的数据可采用全文检索方式搜索，比如百度、Google等搜索引擎、论坛站内搜索、电商网站站内搜索等。
-
发表了文章 2022-05-26
Hbase入门(五)——客户端（Java，Shell，Thrift，Rest，MR，WebUI）
Hbase的客户端有原生java客户端，Hbase Shell，Thrift，Rest，Mapreduce，WebUI等等。 下面是这几种客户端的常见用法。
-
发表了文章 2022-05-26
Hbase入门(四)——表结构设计-RowKey
Hbase的表结构设计与关系型数据库有很多不同，主要是Hbase有Rowkey和列族、timestamp这几个全新的概念，如何设计表结构就非常的重要。
-
发表了文章 2022-05-26
Hbase入门(三)——数据模型
Hbase最核心但也是最难理解的就是数据模型，由于与传统的关系型数据库不同，虽然Hbase也有表（Table），也有行（Row）和列（Column），但是与关系型数据库不同的是Hbase有一个列族（Column Family）的概念，它将一列或者多列组织在一起，HBase必须属于某一个列族。
-
发表了文章 2022-05-26
Hbase入门(二)——安装与配置
本文讲述如何安装，部署，启停HBase集群，如何通过命令行对Hbase进行基本操作。 并介绍Hbase的配置文件。 在安装前需要将所有先决条件安装完成。
-
发表了文章 2022-05-26
Hbase入门(一)——初识Hbase
本文将介绍大数据的知识和Hbase的基本概念，作为大数据体系中重要的一员，Hbase弥补了Hadoop只能离线批处理的不足，支持存储小文件，随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。
-
发表了文章 2022-05-26
Flink1.9整合Kafka
本文基于Flink1.9版本简述如何连接Kafka。
-
发表了文章 2022-05-26
Flink入门宝典（详细截图版）
本文基于java构建Flink1.9版本入门程序，需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。 这里简述安装过程，并使用IDEA进行开发一个简单流处理程序，本地调试或者提交到Flink上运行，Maven与JDK安装这里不做说明。
-
发表了文章 2022-05-26
Kafka常见错误整理
Kafka常见错误整理
-
发表了文章 2022-05-26
Kafka运维命令大全
Kafka运维命令大全
-
发表了文章 2022-05-26
快速构建第一个Flink工程
本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目，安装与示例运行请查看：Flink快速入门--安装与示例运行. 在安装好Flink以后，只要快速构建Flink工程，并完成相关代码开发，就可以轻松入手Flink。
-
发表了文章 2022-05-26
Kafka入门宝典（详细截图版）（二）
Kafka入门宝典（详细截图版）（二）
-
发表了文章 2022-05-26
Kafka入门宝典（详细截图版）（一）
Kafka入门宝典（详细截图版）（一）
-
发表了文章 2022-05-26
统一批处理流处理——Flink批流一体实现原理
统一批处理流处理——Flink批流一体实现原理
-
发表了文章 2022-05-26
Flink,Storm,SparkStreaming性能对比
Flink,Storm,SparkStreaming性能对比
-
发表了文章 2022-05-26
最简单流处理引擎——Kafka Streams简介
最简单流处理引擎——Kafka Streams简介
-
发表了文章 2022-05-26
超越Storm，SparkStreaming——Flink如何实现有状态的计算
超越Storm，SparkStreaming——Flink如何实现有状态的计算
-
发表了文章 2022-05-26
穿梭时空的实时计算框架——Flink对时间的处理
Flink对于流处理架构的意义十分重要，Kafka让消息具有了持久化的能力，而处理数据，甚至穿越时间的能力都要靠Flink来完成。 在Streaming-大数据的未来一文中我们知道，对于流式处理最重要的两件事，正确性，时间推理工具。而Flink对两者都有非常好的支持。
-
发表了文章 2022-05-26
替代Flume——Kafka Connect简介
替代Flume——Kafka Connect简介
-
发表了文章 2022-05-26
数据架构的未来——浅谈流处理架构
数据架构设计领域正在发生一场变革，其影响的不仅是实时处理业务，这场变革可能将基于流的处理视为整个架构设计的核心，而不是将流处理只是作为某一个实时计算的项目使用。本文将对比传统数据架构与流处理架构的区别，并将介绍如何将流处理架构应用于微服务及整体系统中。
-
发表了文章 2022-05-25
Flink快速入门--安装与示例运行
flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行。
-
发表了文章
2024-05-15
深度实践 | 自如基于Apache StreamPark 的实时计算平台实践
-
发表了文章
2024-05-15
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
-
发表了文章
2024-05-15
数据资产新规！《关于加强数据资产管理的指导意见》发布（附全文）
-
发表了文章
2024-05-15
元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata
-
发表了文章
2024-05-15
Apache Paimon 表模式最佳实践
-
发表了文章
2024-05-15
【开源项目推荐】Great Expectations—开源的数据质量工具
-
发表了文章
2024-05-15
最新版本——Hadoop3.3.6单机版完全部署指南
-
发表了文章
2024-05-15
Apache Paimon 在网易传媒推荐场景实践
-
发表了文章
2024-05-15
【开源项目】轻量元数据管理解决方案——Marquez
-
发表了文章
2024-05-15
使用GPT4进行数据分析，竟然被他骗了
-
发表了文章
2024-05-15
Apache DolphinScheduler VS WhaleScheduler
-
发表了文章
2024-05-15
Apache Paimon:Streaming Lakehouse is Coming
-
发表了文章
2024-05-15
大厂 5 年实时数据开发经验总结，Flink SQL 看这篇就够了！
-
发表了文章
2024-05-15
【开源项目推荐】8.9K纯中文本地GPT知识库搭建项目
-
发表了文章
2024-05-15
《数据资产管理实践》方法论梳理
-
发表了文章
2024-05-15
【开源项目推荐】Apache Superset——最优秀的开源数据可视化与数据探索平台
-
发表了文章
2024-05-15
【开源项目推荐】OpenMetadata——基于开放元数据的一体化数据治理平台
-
发表了文章
2024-05-15
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
-
发表了文章
2024-05-15
Flink + Paimon 数据 CDC 入湖最佳实践
-
发表了文章
2024-05-15
Apache Paimon流式湖仓学习交流群成立
