zaid胡振宇个人页面-阿里云开发者社区

飞天大数据平台助力轻松筹数字化运营

轻松筹数据平台部高级总监孟奇奎本文讲述了轻松筹是如何利用阿里云大数据平台搭建低成本的数据中台，实现数据化运营。数据中台支撑了轻松筹丰富的运营活动，通过智能化的手段，为用户和企业创造了价值。轻松筹是一家聚焦于事前保障、事后救助的健康管理平台，数据驱动是轻松筹最重要的文化。轻松筹的大数据平台是基于经过时间验证的飞天大数据组件构建的。在轻松筹大数据平台体系内，我们用到了MaxCompute、DataWorks、Hologres、Flink以及GDB、DataHub、PAI等各种成熟的阿里云技术组件。 MaxCompute主要解决我们大数据海量数据存储和计算的需求问题，DataWorks是解决数据的调度问题，Hologres是我们实时数据仓库的核心组件，这个组件解决实时数据采集以及交互式查询问题。Flink是处理流数据的引擎，GDB是处理轻松筹复杂的图数据的计算平台，DataHub是我们的数据的交互平台，PAI是用于我们深度学习和机器学习模型训练的平台。我们结合轻松筹的特点，构建了轻松筹的数据中台，包括我们的离线数据仓库，实时数据仓库，以及online和offline的AI训练平台。那么在这些基础平台之上，我们构建了一些数据应用的工具和系统，包括实时的或者是T+1的BI报表，数据自由的探索和分析，用户行为采集与分析，用户画像平台，以及我们一些自然语言处理和推荐服务的一些在线的和离线的深度学习和机器学习模型，以及我们成百上千的标签化的数据服务，这些数据服务既包括T+1的，也包括实时的。在这些平台之上的轻松筹的数据应用，在大量的业务场景中支持了我们的精细化运营。包括我们每天基于大数据会生成我们的电销线索，我们利用算法模型以及人工策略去优化我们的微信推送，短信推送，提升ROI；也利用我们的推荐算法去优化广告流量，提升点击转化率，以及成长转化率。同时我们利用一些NLP以及推荐的算法去进行风险控制，防范来自外部客户的欺诈和内部员工的欺诈。另外大数据平台也会应用于各种各样的运营决策场景，以及管理决策场景。同时在我们的平台上面也有大量的商业分析人员进行灵活的数据分析，去发现商业价值和机会。就到今天为止，我们轻松筹大数据平台已经深入的和各个业务场景进行了结合，我们轻松筹的数据体系在轻松筹发挥越来越大的价值。为什么选择飞天大数据平台？从轻松筹的实践角度去思考，飞天大数据平台是一种低成本的、高效率的全域数据管理基础设施。以飞天平台最核心的几个产品为例，比如MaxCompute。MaxCompute是一个最具成本效益的全域的全历史周期的数据存储和运算平台，它支持从TB级到PB级数据持续增长，不存在架构上的瓶颈，支持基于海量数据复杂运算逻辑的数据分析，而且成熟度比较高，具有良好的配套设施和兼容性。另外Hologres支持低延时的交互式数据查询，是实时数仓的最佳技术组件，可以与MaxCompute无缝结合，支持nearline和offline的数据组合应用，并且可以与Flink结合，实现实时的数据抽取加载和转换，并且可弹性扩展。而GraphCompute是支持百亿节点千亿边规模的超大图存储，适用于关系图数据库的存储和计算，为图计算提供了一个低成本可扩展的高效的计算平台，PAI是一个机器学习和深度学习的训练平台，提供了按需付费、弹性扩展的gpu，相比较于独立gpu的服务器具有成本优势，为复杂的模型训练提供了充足的算力资源。这就是我们选择飞天平台作为我们大数据平台的基础设施，构建我们轻松筹的大数据体系的原因。数据化运营是构建数据闭环，利用数据和算力持续改进的过程。数据化运营不是一个静态的过程，而是一个动态的过程。我们通过构建数据闭环，利用数据和算力，持续改进我们的运营效率。在轻松筹的数据化运营体系里面，我们的大数据平台处于核心的位置。一方面大数据平台让我们可以从所有的业务系统去抽取用户数据、订单数据、合约数据、项目数据、产品数据；同时在我们的大数据平台上面，我们所有的运营人员可以进行运营活动的创意分析、设计执行以及评估，并形成我们的人工策略和算法策略。这些人工策略和算法策略，使我们可以通过各种各样的客户接触渠道，进行用户触达。同时另一方面我们的大数据平台也会采集我们所有的运营活动的过程数据、结果数据以及用户反馈数据，我们利用这些数据来进行运营活动的评价，并且对运营活动进行持续的改进和优化，所以说我们利用大数据平台构建数据闭环，同时也构建运营闭环，通过运营闭环实现我们数据化运营的运营策略的持续改进。在这个过程中，我们实现数据驱动运营，数据、算力和算法是最核心的三个要素。其中的算力我们主要是依赖于阿里的飞天大数据平台解决方案。从轻松筹的数据平台建设角度来看，轻松筹在业务场景上有两个大的场景，一个是数据驱动运营，另外一个是数据驱动管理。我们希望把有限的人力和物力聚焦于我们数据发挥价值，而不是聚焦于底层平台的建设和运维。那么飞天数据平台降低了我们轻松筹大数据平台建设和运维的复杂性，让我们的人力和物力聚焦于数据驱动价值。在任何一家企业里，所有人都认为数据是有价值的，但是能够让数据发挥价值，在任何企业都不是一个简单的事情。数据驱动价值，从数据的角度来看，我们只是要做到下面5件事情：第一件事是基础中台能力建设，第二件事是构建数据闭环，第三件事是数据产品和工具化，第4件事是指标体系和数据治理，第5件事才是我们把数据聚焦于数据创造价值。而这里面的任何一件事情都不是简单的容易实现的。从数据驱动运营的角度来看，我们首先要把运营目标数据化，其次运营过程数据化，然后我们需要把运营数据形成闭环，运营策略数据化以及运营的智能化。从数据驱动管理的角度来看，我们需要把管理目标指标化，管理目标的跟踪和预警，实现数据支持管理决策，数据支持问题的快速定位和解决，数据支持机会的发现。所以说整个聚焦于数据驱动价值这个场景和目标来说，我们有大量的工作要做，那么我们希望把一些基础平台基础能力的建设和运维的工作让阿里云来承担，而轻松筹主要聚焦于我们的数据应用，数据的价值创造。通过智能化手段为用户和企业创造价值，这是任何数据平台或者任何注重数据的企业发展的必然结果。数据平台的建设，我们会积累大量的运营案例，我们会记录千百万用户的选择，这些所有的选择都隐藏在数据中，挖掘这些数据的价值，即对企业有价值，又对用户有价值。我们整个数据平台体系的建设分为三个阶段：第一个阶段是数据的原始积累阶段，我们尽可能详尽的全面的收集数据并保存历史。这段时间我们对数据的存储有比较大的需求。第二个阶段是我们人工策略试验阶段，反复的定义策略，细分客户并付诸执行，观察效果持续改进，同时积累数据。这个阶段我们对平台的计算能力有很高的要求。第三阶段是我们通过机器学习深度学习算法，挖掘数据中蕴含的经验和知识，这些知识有可能来自于运营人员，也可能来自于用户，我们最终是要实现如下的目标：在合适的时间把合适的产品推荐给合适的用户。在这个阶段我们对我们的复杂的计算能力有很高的要求，这个时候PAI会进入我们的视野。今天在轻松筹的大数据中台上支撑了丰富的运营活动，那么从全公司来看，我们全公司从高管到执行层，经一半的员工每天都会通过数据中台提供的看板了解公司的运营状况，每天在平台上会计算1000+的各类标签，提供毫秒级的标签服务，以及基于标签组合的选人服务。每日有千万+的基于算法评分或者人工细分的客户精准推送，每天会生成近百万的电销线索，每日有千万+的人群定向或者算法推荐支持我们的投放，我们要求的响应时间都是小于50毫秒，每日通过AI审核1000+的大病筹款项目，包括数千+的文本资料和数万+的图片资料，防范我们的客户欺诈。每日有50多位我们的高级分析用户，通过各种工具执行数千次的数据探索与分析。我们有数亿节点，几十亿条边的关系数据运行在阿里云的图数据库上，支持风控和运营，每日在大数据平台上运行有6000+的作业。另外我们利用阿里的gpu资源训练几十个机器学习模型和深度学习模型，优化推送、成单转化、信息流推荐等场景的转化率。谢谢大家！更多大数据客户实战案例：https://developer.aliyun.com/article/772449

小打卡基于阿里云构建企业级数仓的实践及总结

小打卡架构师申羡本次分享主要有4块内容，小打卡介绍，小打卡数仓场景简介，小打卡数仓选型思路以及代表性案例分享。首先介绍一下小打卡的业务场景，小打卡是当前领先的小程序兴趣社区。在这里能快速发现你感兴趣的圈子，加入圈子，有达人带你玩转各种兴趣，有同好一起分享、一起交流、一起成长。2017年8月公司成立至今，小打卡服务了7000多万用户，聚集绘画、瑜伽、健身、摄影、亲子、阅读、潮玩等品类500多万个兴趣圈子，产生了11亿条内容，11亿次点赞，两亿次评论。每天有数百万用户活跃在小打卡上，产生TB级的数据流入数仓。在这样的场景下，数仓承载了哪些服务呢？目前小打卡数仓主要支持的场景包括BI商业决策，数字化运营、推荐系统、监控系统等。BI方面，因为DataWorks易用性，结合小打卡业务特点，在复杂决策场景下提供多维立方体数据，业务人员通过QuickBI自由组合关心的维度、指标。简单场景，进行基础的sql培训，帮助业务人员自身闭环，基本实现全员取数分析，极大地提升了工作效率。运营方面，提供分钟级乃至实时的内容审核服务，掐断问题内容过量传播的风险。推荐方面，实现了对用户行为的完整跟踪。结合阿里云实时计算能力，近期完成了推荐系统的实时化，做到用户行为秒级反馈，实现了对前端性能错误的全链路监控，事件级别流量可信度监控，以及核心业务流程的流量波动监控等。在数仓的开发维护中，依托DataWorks完备的工具，包含运维中心，智能监控、数据质量监控、数据管理、数据地图等，以极小的代价实现了所有的需求，以个位数的开发人员满足了500万日活的产品。在数仓选型时，我们充分调研了自建数仓和基于阿里云构建数仓的优劣。初期小打卡数据量不足100g，每日所需的计算资源不足10cu，对数仓的主要诉求是低费用成本及运维成本，开发敏捷，可扩展性高。于是从费用成本、运维成本、开发效率、灵活性等方面，做了自建数仓和依托阿里云构建数仓的调研。费用成本方面，阿里云服务特点是初期线性，后期阶梯，初期数据量小，所需计算资源小，适合按量付费，且可以使用阿里云提供的共享资源，成本极低。中后期随着数据量的增加，按量付费的费用上升，可以选用阿里云的计算套餐，购买独享资源。此后费用阶梯化，不同的数据规模选用不同的计算套餐。自建服务，特点是初期重、后期线性，在数仓搭建初期就需要一套完整的服务，有大量的资源不是用于业务计算，费用较高，后期规模上升，需要线性的增长集群规模，费用也线性上升。运维成本方面，阿里云服务几乎没有运维成本，集群可用性由阿里云保证，不需要自身投入运维，计算任务由可视化的运维中心，任务自动依赖。此外，阿里云可以保证数据安全，提供资源管控，数据治理等一系列的运维工具。自建服务，不管是集群还是任务，都需要较高的运维成本，需要专人持续对集群服务器进行运维，需要使用开源工具，配置任务依赖。复杂的依赖，开发效率低。此外要保证数据安全，进行资源管理等，都需要自己开发一套工具，一次性成本以及持续成本较高。开发效率方面，阿里云服务提供线上IDE，一站式完成各种任务开发提交部署，非技术人员掌握简单的sql，也能自主取数分析，自建服务需要自己完成任务开发，调度开发、个性开发等，非技术人员很难自主取数分析。灵活性方面，阿里云服务支持云上弹性扩缩容，灵活方便。虽然早期工具层面的API开放有限，但近期已经开放出大量的API可以灵活的对资源和任务进行操作。自建服务，背靠开源生态，可以灵活的按照自己的需求进行开发，但资源的管理不够灵活便捷，开发成本高。结合以上几点，基于阿里云构建数仓，在开发人员成本，软硬件成本都有明显的优势。从初期直到现在，基于阿里云构建的数仓服务都有极高的消费比。初期只有一个开发人员的情况下，可以快速地搭建起数仓系统，且费用成本极低。目前每天有TB级的增量数据，数百万DAU，数千个周期任务以及多条业务线，得益于DataWorks完备的工具链，使得开发人员仅需关心业务逻辑，只需个位数的数据团队，就能支撑起全部服务。当然在这个过程中我们也遇到了一些挑战，下面分享一下在数据量突增期间，保障数仓可用性的一些经验以及总结。2月份日活突然翻了三倍，数仓整体产出时间延迟到早上10点以后，为迅速恢复数仓可用，直接将计算资源翻倍。虽然简单粗放，但效果不错，将整体产出时间提前到6:30左右，但核心任务的产出时间无法保证，高峰期计算资源利用率较低，因此必须对任务精细化管理，对资源使用率低的原因进行了定位并解决。我们先定义了核心任务的判定规则，筛选出符合规则的任务，依托DataWorks运维中心的基线管理机制，将核心任务纳入核心基线，通过基线的优先级，保证核心任务能优先得到资源、稳定产出。高峰期资源使用率较低，是由于使用了DataWorks的默认调度资源组，属于抢占式资源，除了自身任务外，还会受到其他租户的影响，造成任务调度的不及时，不稳定。因此购买了独占式的自定义调度资源组，并将所有任务切换到自定义资源组调度，之后，核心任务可以保证稳定在2点前产出，数仓整体任务能在4:30产出完毕，但我们的数据量是周期性递增，突发性波动的，如何保证数仓可用性问题不再发生，如何保证资源充裕的同时又不过量冗余呢？一方面利用DataWorks提供的资源使用情况可视化监控，结合对数据量变化的监控，资源的使用情况做到了可感知、可预判。另一方面，结合DataWorks提供的元数据表，以及资源优化功能，启动了任务回收机制，改变了数仓任务只增不减，无效任务长期占用资源的现状，但资源组升配仍然需要人工手动操作，这样就会存在资源升级不及时的风险。希望后续可以支持自动弹性调整资源，防止数仓不可用。下面给大家分享一下小打卡基于实时计算的推荐系统实时化。推荐系统实时化，使数仓具备了用户行为实时反馈，内容特征实时更新，ab效果实时评估，推荐内容实时安全审核，内容质量实时把关等实时化能力。从以前的只能基于一天前的用户行为数据，内容特征数据，为用户提供推荐服务，变成基于秒级延迟的用户行为数据，以及内容特征进行推荐。推荐内容风险审核，也可以从小时级10分钟级进入秒级，业务调整空间，冲破了离线统计的桎梏，可以进行更广阔的尝试。在推荐实时化后，产品结合实时化的能力，进行了诸多尝试，经过多次迭代后，CTR从5%变成了8%~10%，实现了翻倍的提升。在实时任务开发中，为了提高任务的可用性，实现方式经历了三个阶段，以累计pv实时统计为例。第一阶段，依靠一个实时计算任务直接计算结果，一旦需要对任务重启，就需要重跑一遍历史全量数据，上游存储介质需要永久存储，追赶的时间很长，且期间提供的数据不可用。第二阶段，实时任务只计算增量部分，离线任务计算存量部分。再依靠Java服务，将两部分数据整合，开发战线拉得很长。目前也就是第三阶段，将整合增量数据以及存量数据的任务也交给了流计算处理。第一层流计算，负责计算增量数据。第二层流计算负责整合增量存量数据，也因此实时计算任务有了级联关系，但目前实时计算开发平台，将所有的任务平铺管理，在某些需要对级联任务统一运维的场景支持不太友好，希望后续可以支持可视化的依赖管理，以及级联运维的，我们能迅速尝试并落地实施数仓，得益于 Flink sql 强大的能力。目前我们的流计算任务百分百使用 Flink sql 开发完成，暂未涉及到 Flink sql 解决不了的场景。谢谢大家！更多大数据客户实战案例：https://developer.aliyun.com/article/772449

zaid胡振宇个人页面-阿里云开发者社区

个人介绍

擅长的技术

飞天大数据平台助力轻松筹数字化运营

店开天下，阿里云助力客如云数据中台建设

玩吧高速增长的数据上云实践

小打卡基于阿里云构建企业级数仓的实践及总结

阿里云大数据2020双11狂欢 必购清单

飞天大数据平台助力轻松筹数字化运营

店开天下，阿里云助力客如云数据中台建设

玩吧高速增长的数据上云实践

小打卡基于阿里云构建企业级数仓的实践及总结

阿里云大数据2020双11狂欢 必购清单

大数据专家在线

DataWorks产品月刊合集

大数据上手实战！训练营“9营齐开”第二季限时免费报名啦

DataWorks 2020-09 产品月刊

DataWorks百问百答68：如何阅读数据集成日志（日志分析及常见报错情况）？

DataWorks百问百答67：odps如何同步多个分区（附ODPS写插件指定分区技巧）？

DataWorks百问百答66：数据集成如何快速配置分表同步任务？

DataWorks百问百答65：如何获取数据源网络环境及独享资源绑定的专有网络信息？

DataWorks百问百答64：数据集成如何同步Mongodb不同数据类型？

DataWorks百问百答63：DataWorks如何进行离线数据质量监控？

DataWorks百问百答62：在运维中心设置了告警以后，没有收到告警的短信/邮件，如何解决？

DataWorks百问百答61：如何处理“弃之可惜”的任务节点？

DataWorks 2020-08 产品月刊

DataWorks百问百答60：数据服务有哪些鉴权方式与API调用方式？

飞天大数据平台助力轻松筹数字化运营

店开天下，阿里云助力客如云数据中台建设

玩吧高速增长的数据上云实践

小打卡基于阿里云构建企业级数仓的实践及总结

阿里云大数据2020双11狂欢 必购清单

大数据专家在线

DataWorks产品月刊合集

大数据上手实战！训练营“9营齐开”第二季限时免费报名啦

DataWorks 2020-09 产品月刊

DataWorks百问百答68：如何阅读数据集成日志（日志分析及常见报错情况）？

DataWorks百问百答67：odps如何同步多个分区（附ODPS写插件指定分区技巧）？

DataWorks百问百答66：数据集成如何快速配置分表同步任务？

DataWorks百问百答65：如何获取数据源网络环境及独享资源绑定的专有网络信息？

DataWorks百问百答64：数据集成如何同步Mongodb不同数据类型？

DataWorks百问百答63：DataWorks如何进行离线数据质量监控？

DataWorks百问百答62：在运维中心设置了告警以后，没有收到告警的短信/邮件，如何解决？

DataWorks百问百答61：如何处理“弃之可惜”的任务节点？

DataWorks 2020-08 产品月刊

DataWorks百问百答60：数据服务有哪些鉴权方式与API调用方式？

DataWorks百问百答59：DataWorks离线数据质量规则模版分别代表什么含义？

DataX抽取hbase数据到数据中台报错Code:[HbaseReader-06]

appcode 在哪能看到？

阿里云大数据2020双11狂欢必购清单

阿里云大数据2020双11狂欢必购清单

阿里云大数据2020双11狂欢必购清单