数据中台炜松_个人页

个人头像照片 数据中台炜松
个人头像照片 个人头像照片
7
1
0

个人介绍

多年大数据底层技术经验,对开源hadoop、业界各家云厂商的大数据技术都有所了解。目前专注于大数据平台技术以及数据中台(数据仓库)建设,致力于如何将数据中台模型灵活应用于商业化服务。

擅长的技术

  • 项目管理
  • 数据挖掘
  • 数据建模
  • 数据处理
  • 分布式计算
  • Linux
  • 新零售
  • 数据中台
  • hadoop
  • 大数据技术
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

阿里云技能认证

详细说明

暂无更多信息
  • 发表了文章 2024-05-15

    阿里云DTS数据迁移和数据同步的差异性分析

  • 发表了文章 2024-05-15

    基于nginx反向代理实现OSS固定域名IP访问

  • 发表了文章 2023-08-27

    nginx在云平台服务几个典型代理场景中的应用案例

  • 发表了文章 2022-10-26

    关于Centos停服-操作系统替代方案说明

  • 发表了文章 2020-08-03

    数据中台公共层建设--多维度组合下的数据模型设计

  • 发表了文章 2020-05-25

    新零售数据中台:如何将SKU和SPU粒度数据表融合到一张表

  • 发表了文章 2020-04-27

    如何查看maxcompute数据表的存储空间

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2020-01-06

    Dataphin和Dataworks的区别与各自定位?

    作为两款产品的深度使用者,浅略地谈一谈dataworks和dataphin两款产品的区别。

    区别1:产品功能不同

    1、Dataworks,在阿里集团内部为大家所熟知的部分是D2,在阿里云则是数加平台的主体-数据工厂。DataWorks(数据工场)具备全栈数据研发能力(数据集成与开发、 生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据应用搭建)的大数据平台;
    2、Dataphin,通过输出阿里数据中台实战沉淀的大数据建设体系OneData+OneID +OneService(产品+技术+方法论),一站式提供集数据引入、规范定义、数据建模、数据研发、数据萃取的全链路智能数据构建及管理服务。 
    一句话总结:  DataWorks具备全栈数据研发能力和机器学习开发能力的大数据平台,这是dataworks的优势,劣势就是不具备数据中台(数据仓库)建设方法论的指导; Dataphin具备完善的“OneData+OneID +OneService(产品+技术+方法论)” 数据中台(数据仓库)建设方法论构建体系,这是dataphih的最大优势,劣势就是不具备很强的全栈数据研发能力,暂时也不具备机器学习开发能力。----

    区别2:产品定位不同

    1、Dataworks 定位为大数据开发平台,ETL、数据仓库建设等对开发者不做任何限制。开发者可以利用dataworks做任意想做的工作,数据中台(数据仓库)构建的方法论也不做任何限制。开发者可以利用dataworks,既可以按照维度建模理论构建数据中台(数据仓库)、也可以按照范氏建模理论构建数据中台(数据仓库)、也可以按照E/R理论构建数据中台(数据仓库),灵活性是dataworks的优势之一,当然也是劣势之一。因为缺乏数据中台(数据仓库)建设方法论的支持,dataworks对于缺乏数据中台建设方法论经验的开发者(或者企业)不够简单易用;
    2、Dataphin 定位于输出阿里巴巴数据中台方法论,开发者严格按照基于阿里多年零售经验的维度建模理论构建数据中台(数据仓库)。“设计即开发”,这是dataphin坚持的核心理念,使用dataphin的时候,开发者需要严格定义业务板块、数据域、业务过程、维度、原子指标、派生指标,然后“傻瓜式”地构建数据中台(数据仓库)。开发者可能都不用写任何代码(甚至连sql都可能不用写),只要按照上述维度建模方法论完成所有设计,即可构建数据中台(数据仓库)。----

    区别3:实时计算能力

    不论是dataworks还是dataphin,均定位于离线批量开发能力。对于实时计算能力的支持,dataworks比dataphin稍微更强一些。利用dataworks集成的datahub+flink等工具能力,能够实现一些简单应用场景的实时计算能力; dataphin也在规划实时计算能力,预计再过几个月,dataphin最新版本也能实现一些简单场景的实时计算能力。

    【总结】

    1、如果开发者(或者企业)希望傻瓜式的构建数据中台(数据仓库),而且是借鉴阿里基于零售业务积累的“OneData+OneID +OneService”方法论构建维度建模体系的数据中台,那么dataphin是不错的选择;
    2、如果开发者(或者企业)希望购买一套全栈数据研发能力的大数据平台,涵盖完善的数据集成与开发、生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据微服务应用搭建等能力。而且数据中台(数据仓库)不限制于维度建体系,那么dataworks是不错的选择。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息