daniel.meng
daniel.meng_个人页
daniel.meng
文章
15
问答
1
视频
0
个人介绍
专注在大数据领域，拥有多年分布式、高并发、大规模系统的研发与实践经验，先后参与hbase、phoenix、lindorm等产品的内核引擎研发，目前负责阿里上万节点的HBase As a Service的发展与落地
擅长的技术
- Java
- 数据库
-
发表了文章 2021-09-17
拒绝双写：巧用Lindorm数据订阅
本文介绍了双写场景的一致性问题，详细介绍了三种解决方案，并针对DB->Binlog->Kafka方案给出了Lindorm数据订阅的最佳实践
-
发表了文章 2021-09-17
Lindorm在实时归因场景下的挑战与应用
关联文章 Streams -Lindorm实时数据同步的新篇章 1 什么是归因分析 归因分析说明 （Attribution Analysis）归因分析就是从客户的行为轨迹（Customer Journey）中去分析营销策略成功的原因（Attribution of Success）。举例来讲就是小明购买天猫精灵的消费行为是由哪些渠道广告促成的？这些渠道的贡献占比多少？
-
发表了文章 2021-03-01
离线数据查询加速的挑战与Lindorm应对之策
离线数据导出背景 数仓、数据湖中我们通常会谈到明细事实数据和维度汇总数据，这些数据有着丰富的应用场景，比如根据ID查询明细数据，流计算时根据ID与维度表Join补齐环境信息，根据条件在大宽表里检索数据，或者多条件跨表Join进行圈人。这些场景通常具有高并发、实时响应的需求，是离线系统满足不了的, 将离线数据导入到HBase/Cassandra、Solr
-
发表了文章 2021-03-01
Lindorm在实时归因场景下的挑战与应用
关联文章 Streams -Lindorm实时数据同步的新篇章 1 什么是归因分析 归因分析说明 （Attribution Analysis）归因分析就是从客户的行为轨迹（Customer Journey）中去分析营销策略成功的原因（Attribution of Success）。举例来讲就是小明购买天猫精灵的消费行为是由哪些渠道广告促成的？这些渠道的贡献占比多少？ 归
-
发表了文章 2020-02-27
阿里云HBase数据安全实践
受近期“微盟员工删库事件”的影响，大量客户咨询云HBase在备份恢复方面的能力。数据是客户的核心资产，数据安全是生命线，本文总结了云HBase在数据安全方面的使用实践，希望可以帮助用户建立更完善的数据安全保护。
-
发表了文章 2020-02-18
低成本历史库最佳实践
阿里巴巴集团内为淘宝、支付宝、菜鸟提供订单、账单、物流单的历史库最佳实践方案，帮助您解决历史库的成本和扩展性问题，提供可视化的历史库链路搭建，支持水平扩展，极低的存储成本和丰富的在线查询能力。
-
发表了文章 2019-12-17
备份！备份！备份！ 看阿里云HBase的企业级备份恢复如何设计
数据安全是生命线，一线人员辛苦一年的努力可能因为一时疏忽而废，升职加薪无望；一个公司或者团队辛苦几年的打拼可能一夜回到解放前。所以面对重要的事情要说三遍：备份！备份！备份！
-
发表了文章 2019-12-13
阿里HBase在用户画像领域的实践
互联网应用的一个特点是拥有海量的用户，这些海量的用户会产生海量的行为数据，有些产品还会需要去爬取更多的外部数据。基于海量数据的模型训练最终刻画出用户画像，基于用户画像自动的指导系统决策，在效率和准确度上给行业带来了质变。
-
发表了文章 2019-10-17
阿里HBase高可用8年“抗战”回忆录
2018年双十一，HBase全天处理请求2.4万亿行，单集群吞吐达到千万级别。从一个婴儿成长为青年，阿里HBase摔过很多次，甚至头破血流，我们在客户的信任之下幸运的成长，感激涕零。2017年开始阿里HBase走向公有云，我们有计划的在逐步将阿里内部的高可用技术提供给外部客户，目前已经上线同城主备
-
发表了文章 2019-10-17
阿里云HBase推出普惠性高可用服务，独家支持用户的自建、混合云环境集群
阿里云HBase服务了多家金融、广告、媒体类业务中的风控和推荐，持续的在高可用、低延迟、低成本方向上进行优化。为了进一步满足客户在可用性以及低延迟上的诉求，阿里云HBase将提供以主备架构为平台，以冗余、并发、隔离、降级等全方位服务为支撑的高可用解决方案。
-
发表了文章 2019-10-11
阿里云HBase推出普惠性高可用服务，独家支持用户的自建、混合云环境集群
HBase可以支持百TB数据规模、数百万QPS压力下的毫秒响应，适用于大数据背景下的风控和推荐等在线场景。阿里云HBase服务了多家金融、广告、媒体类业务中的风控和推荐，持续的在高可用、低延迟、低成本方向上进行优化。
-
发表了文章 2019-07-02
数据人看Feed流-架构实践
关于Feed流的架构设计，包括以上场景中的很多业内专家给出了相应的思考、设计和实践。本人是大数据方向出身的技术人，所在的团队参与了阿里手淘、微淘Feed流的存储层相关服务，我们的HBase/Lindorm数据存储产品在公有云上也支持着Soul、趣头条、惠头条等一些受欢迎的新媒体、社交类产品。
-
发表了文章 2019-05-14
HBase优化之路-合理的使用编码压缩
为什么要讨论HBase编码压缩 编码+压缩能够成倍的减少数据的磁盘占用空间，节省可观的存储费用 编码+压缩通常情况下可以提高系统吞吐率，让系统可以做更多的功 默认建表不启用编码或者压缩，对初学者不友好 了解HBase编码 举个栗子，我们有一张物流表叫"express"，记录物流订单的流转详情。
-
发表了文章 2018-10-23
HBase2.0重新定义小对象实时存取
小对象，特别指1K~10MB范围的数据，比如图片，短视频，文档等广泛的存在于人工智能，医疗，教育，生活分享，电子商务等领域。HBase2.0在MOB技术的加持下重新定义小对象实时存取，具有低延迟，读写强一致，检索能力强，水平易扩展等关键能力
-
发表了文章 2018-07-25
阿里HBase的数据管道设施实践与演进
大数据生态下有着丰富多样的系统：流计算，数据存储，实时分析，离线计算，数据在各个异构系统之间的流转和加工而产生价值，高效的数据传输通道是大数据生态的重要一环。本文描述了阿里HBase团队在数据通道上多年的实践经验，主要讲解在主备容灾，高吞吐低延时等方面的挑战和解决方案。
暂无更多信息
-
发表了文章
2021-09-17
拒绝双写：巧用Lindorm数据订阅
-
发表了文章
2021-09-17
Lindorm在实时归因场景下的挑战与应用
-
发表了文章
2021-03-01
离线数据查询加速的挑战与Lindorm应对之策
-
发表了文章
2021-03-01
Lindorm在实时归因场景下的挑战与应用
-
发表了文章
2020-02-27
阿里云HBase数据安全实践
-
发表了文章
2020-02-18
低成本历史库最佳实践
-
发表了文章
2019-12-17
备份！备份！备份！ 看阿里云HBase的企业级备份恢复如何设计
-
发表了文章
2019-12-13
阿里HBase在用户画像领域的实践
-
发表了文章
2019-10-17
阿里HBase高可用8年“抗战”回忆录
-
发表了文章
2019-10-17
阿里云HBase推出普惠性高可用服务，独家支持用户的自建、混合云环境集群
-
发表了文章
2019-10-11
阿里云HBase推出普惠性高可用服务，独家支持用户的自建、混合云环境集群
-
发表了文章
2019-07-02
数据人看Feed流-架构实践
-
发表了文章
2019-05-14
HBase优化之路-合理的使用编码压缩
-
发表了文章
2018-10-23
HBase2.0重新定义小对象实时存取
-
发表了文章
2018-07-25
阿里HBase的数据管道设施实践与演进
滑动查看更多
-
回答了问题
2019-07-17
hbase可以存图片吗？
HBase 2.0目前可以支持小于10MB的对象 https://yq.aliyun.com/articles/656638?spm=a2c4e.11155435.0.0.72b73312AcYx30
如果你的场景中不仅仅存储图片，还包括图片的一些元信息，比如分类等，并且利用这些元信息来检索图片，那么HBase 2.0将大大优于传统的对象存储系统
赞0 踩0 评论0
滑动查看更多
暂无更多信息