备案控制台

数据中台炜松_个人页

个人头像照片 数据中台炜松
个人头像照片 个人头像照片
文章
7
问答
1
视频
0

个人介绍

多年大数据底层技术经验，对开源hadoop、业界各家云厂商的大数据技术都有所了解。目前专注于大数据平台技术以及数据中台(数据仓库)建设，致力于如何将数据中台模型灵活应用于商业化服务。

擅长的技术

  • 项目管理
  • 数据挖掘
  • 数据建模
  • 数据处理
  • 分布式计算
  • Linux
  • 新零售
  • 数据中台
  • hadoop
  • 大数据技术
获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

阿里云技能认证

详细说明

暂无更多信息

2024年05月

  • 05.08 19:02:18
    发表了文章 2024-05-08 19:02:18

    基于nginx反向代理实现OSS固定域名IP访问

    本文基于阿里云OSS手册：https://help.aliyun.com/zh/oss/use-cases/use-an-ecs-instance-that-runs-centos-to-configure-a-reverse-proxy-for-access-to-oss，继续深入讨论如何利用nginx反向代理，实现固定的IP/域名访问OSS bucket。官方文档能够解决大部分的反向代理固定IP访问oss bucket的场景，但是对于必须使用域名作为endpoint的系统，会出现signatrue鉴权问题。本文继续在官方文档的基础上，将反向代理需要域名作为endpoint的场景补齐方案。

2024年03月

  • 03.07 14:48:09
    发表了文章 2024-03-07 14:48:09

    阿里云DTS数据迁移和数据同步的差异性分析

    阿里云DTS作为一款常用的数据库表迁移工具，提供了功能非常类似的两个功能：数据迁移、数据同步。阿里云DTS产品官网对这两个功能模块进行了简单的区分： 场景1：存量数据批量迁移，建议使用数据迁移功能。 场景2：增量数据实时同步，建议使用数据同步功能。 实际上，无论是数据迁移还是数据同步，都可以做 “结构初始化”+“全量数据迁移”+“增量迁移”，因此两者功能差异并不明显。笔者在多个项目实践DTS数据迁移，在简单需求场景下，将DTS的数据迁移、数据同步进行对比和总结。

2023年08月

  • 08.27 23:01:21
    发表了文章 2023-08-27 23:01:21

    nginx在云平台服务几个典型代理场景中的应用案例

    在云平台服务中有多种场景需要使用到反向代理，常见的应用场景包括：内网专有云平台访问公网资源、公有云平台访问客户内网IDC机房资源、云产品通过代理访问多个不同的资源等等。笔者总结几种场景配置nginx的7层反向代理、4层反向代理，巧妙实现应用需求。

2022年10月

  • 10.26 16:29:34
    发表了文章 2022-10-26 16:29:34

    关于Centos停服-操作系统替代方案说明

    根据Centos Linux（以下简称Centos）官方声明： 1、Centos7在2020-08-06停止更新，在2024-06-30停止维护。 2、Centos8在2024-05-31停止更新，在2024-06-30停止维护。 鉴于Centos操作系统将会在2024年停止维护，因此为了企业软件服务长期稳定性运行，需要寻找Centos Linux操作系统替代版本。

2020年08月

  • 08.03 17:08:25
    发表了文章 2020-08-03 17:08:25

    数据中台公共层建设--多维度组合下的数据模型设计

    对于数据中台指标而言，维度联合组合的情况越多，最终实现的指标越复杂。本文考虑为了满足多个维度任意组合下的指标，数据中台cdm公共层的事实表与维度表应该如何设计。

2020年04月

  • 04.27 12:14:03
    发表了文章 2020-04-27 12:14:03

    如何查看maxcompute数据表的存储空间

    阿里云公有云的maxcompute采用共享资源池，每个开发者使用的数据表都属于该共享资源池。由于公有云的maxcompute元数据不对开发者开放，因此开发者无法直接获取到数据表的存储空间信息。本文总结3种常见的方法，指导开发者如何查看maxcompute数据表的存储空间。

2020年01月

  • 发表了文章 2024-05-08

    基于nginx反向代理实现OSS固定域名IP访问

  • 发表了文章 2024-03-07

    阿里云DTS数据迁移和数据同步的差异性分析

  • 发表了文章 2023-08-27

    nginx在云平台服务几个典型代理场景中的应用案例

  • 发表了文章 2022-10-26

    关于Centos停服-操作系统替代方案说明

  • 发表了文章 2020-08-03

    数据中台公共层建设--多维度组合下的数据模型设计

  • 发表了文章 2020-05-25

    新零售数据中台：如何将SKU和SPU粒度数据表融合到一张表

  • 发表了文章 2020-04-27

    如何查看maxcompute数据表的存储空间

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2020-01-06

    Dataphin和Dataworks的区别与各自定位？

    作为两款产品的深度使用者，浅略地谈一谈dataworks和dataphin两款产品的区别。

    区别1：产品功能不同

    1、Dataworks，在阿里集团内部为大家所熟知的部分是D2，在阿里云则是数加平台的主体-数据工厂。DataWorks（数据工场）具备全栈数据研发能力（数据集成与开发、 生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据应用搭建）的大数据平台；
    2、Dataphin，通过输出阿里数据中台实战沉淀的大数据建设体系OneData+OneID +OneService(产品+技术+方法论)，一站式提供集数据引入、规范定义、数据建模、数据研发、数据萃取的全链路智能数据构建及管理服务。 
    一句话总结：  DataWorks具备全栈数据研发能力和机器学习开发能力的大数据平台,这是dataworks的优势，劣势就是不具备数据中台(数据仓库)建设方法论的指导； Dataphin具备完善的“OneData+OneID +OneService(产品+技术+方法论)” 数据中台(数据仓库)建设方法论构建体系，这是dataphih的最大优势，劣势就是不具备很强的全栈数据研发能力，暂时也不具备机器学习开发能力。----

    区别2：产品定位不同

    1、Dataworks 定位为大数据开发平台，ETL、数据仓库建设等对开发者不做任何限制。开发者可以利用dataworks做任意想做的工作，数据中台(数据仓库)构建的方法论也不做任何限制。开发者可以利用dataworks，既可以按照维度建模理论构建数据中台(数据仓库)、也可以按照范氏建模理论构建数据中台(数据仓库)、也可以按照E/R理论构建数据中台(数据仓库)，灵活性是dataworks的优势之一，当然也是劣势之一。因为缺乏数据中台(数据仓库)建设方法论的支持，dataworks对于缺乏数据中台建设方法论经验的开发者(或者企业)不够简单易用；
    2、Dataphin 定位于输出阿里巴巴数据中台方法论，开发者严格按照基于阿里多年零售经验的维度建模理论构建数据中台(数据仓库)。“设计即开发”，这是dataphin坚持的核心理念，使用dataphin的时候，开发者需要严格定义业务板块、数据域、业务过程、维度、原子指标、派生指标，然后“傻瓜式”地构建数据中台（数据仓库）。开发者可能都不用写任何代码(甚至连sql都可能不用写)，只要按照上述维度建模方法论完成所有设计，即可构建数据中台(数据仓库)。----

    区别3：实时计算能力

    不论是dataworks还是dataphin，均定位于离线批量开发能力。对于实时计算能力的支持，dataworks比dataphin稍微更强一些。利用dataworks集成的datahub+flink等工具能力，能够实现一些简单应用场景的实时计算能力； dataphin也在规划实时计算能力，预计再过几个月，dataphin最新版本也能实现一些简单场景的实时计算能力。

    【总结】

    1、如果开发者(或者企业)希望傻瓜式的构建数据中台(数据仓库)，而且是借鉴阿里基于零售业务积累的“OneData+OneID +OneService”方法论构建维度建模体系的数据中台，那么dataphin是不错的选择；
    2、如果开发者(或者企业)希望购买一套全栈数据研发能力的大数据平台，涵盖完善的数据集成与开发、生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据微服务应用搭建等能力。而且数据中台(数据仓库)不限制于维度建体系，那么dataworks是不错的选择。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息