零DBA、零运维,且看熊大及其小伙伴的“三十破百”架构

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 现在,网聚宝零DBA、零运维,在网聚宝30个人的技术团队,就可以PK基于Hadoop的百人技术团队。

11+大数据行业应用实践请见https://yq.aliyun.com/activity/156,同时这里还有流计算、机器学习、性能调优等技术实践。此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps;更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data 。

自1959年ChristopherStrachey发表虚拟化论文,到1984年Sun联合创始人JohnGage提出“网络即计算机”,再到2000年左右的SaaS出现及兴起,云计算服务已经经历了近20年的发展。着眼国内,从吸收概念及技术至今已近10年,然而,相信对于大部分人来说,云还只是临渊羡鱼,如何真正地利用云给业务最大赋能仍然无从参考。为此,云栖社区以大数据场景,通过一系列的客户走访带大家探索互联网赋能之路。本或许该有个开篇,但考虑再三,无非多一篇鸡汤尔,遂决定直入主题,从第一个接触的大数据实践公司开始——上海云贝,也就是网聚宝。

网聚宝定位于帮助品牌提供全域的大数据服务,时下帮助马克华菲、杜蕾斯、奔驰等用户,打通全渠道的消费者数据资产,无论是淘宝天猫,还是线下门店,通过数据整合提供了数据可视化和洞察的能力,每天可以处理上亿笔交易,做到不同维度的整合以及个性化地展现,实现数据背后的运营和挖掘,给品牌提供了数据最后一公里的落地。

挑战 vs. 机遇,瞬息万变演化的商机

作为一个快速发展中的创业团队,大部分精力必须集中在为用户提供数据应用的能力,这对于网聚宝来说既是挑战亦是机遇——熊大。

时至今日,对于品牌来讲,随着移动支付,和整个电商的更大规模覆盖,品牌已经积累了足够多(海量)的数据,网聚宝创始人兼CEO熊大(熊晓东)表示。在这之外,随着各行各业竞争的加剧,品牌对实时性的需求也越来越大,在原销售模式中,一个报表30天出来给到决策部门可能并没问题,但是在市场瞬息万变的当下,上一秒交易,这一秒可能就要出分析。同时,更大的挑战在于未来对商业智能的应用场景,怎么样使用大数据帮助品牌洞察出更多“意料之外,情理之中”的商业价值,更加关键。举个例子来说,有个洗车机的用户,其本身定位是二三线的有车一族,但通过数据洞察发现,买洗车机的都是农民,他们更多是买回去洗红薯,这证明大数据可以帮助用户分析出潜在的商机,这里存在的挑战就是帮助用户发现数据背后的价值,为品牌赋能。因此,这里需要一个非常专业的大数据平台,提供丰富的大数据处理能力,对于这个时代的人来说,这既是挑战也是机遇。

自建 vs. 上云,创业路上的生死抉择

对于任何创业公司来说,人才是不得不面临的问题,因此对于网聚宝来说,招业务还是技术上有深入钻研的人并没有什么好纠结的。现在,网聚宝零DBA、零运维,而公司需要更多懂大数据、懂业务的综合人才——熊大。

2011年刚开始创业,最初托管几台机器,老是断网。而Hadoop最早也有涉猎,但是创业公司人力资源有限,特别是那个时候的上海;同时,如果只招一个两个肯定不够,搭建、运维、开发,至少也得五六个。限于这些原因,那个时候面对竞争对手很被动,他们会说我们有十五六个在搞Hadoop,数据只需要放在自己的机房中,这些对客户来说都有着很大的吸引力,在交流中熊大回忆道。

DT和IT的区别就好比汽车与马车的生产力区别,谁胜谁负取决于市场现状,几年前,云还没有那么完善,跑在泥土路上的汽车日子显然没有马车好过,然而随着阿里等有能力的互联网公司建立了足够好的道路后,汽车服务提供商给用户带来的速度与体验显然超过了以往——熊大。

在阿里云的强力配合和支持下,我们还是坚持了下来,放弃了原有的Hadoop。而随后,到云变成像水电煤一样的基础设施后,对于创业公司来说,云服务成熟度远超Hadoop这些开源软件,这个时候就会发现,这些会应用阿里云的人,业务创造能力是那些玩Hadoop同学的许多倍,直接产生业务价值,而用户最需要的就是这些。这样一来,我们就拥有了足够竞争优势的成本,和业务拓展的速度,来给用户提供大数据处理的能力。对于原来的那些对手,Hadoop已成为技术负担,积累全在上面,丢掉则放弃了原有的竞争力,不丢掉是否还要上云,这时候变成了我们乘胜追击的时候。ALL IN云上,为用户提供更多的数据能力。在网聚宝30个人的技术团队,就可以PK基于Hadoop的百人技术团队。员工具备业务思维,看得懂背后的需求,和需求背后的价值。

自建 vs. 上云,技术选型优势及网聚宝架构

网聚宝拥有一支很萌的团队,熊大是创始人,机器猫是首席架构师,尼莫是市场策划总监。而对于上云在技术选型上的优势,机器猫表示:选择云服务架构,对创业团队发展有非常大的优势。

在使用云服务做架构时,底层基础能力对用户来说相当于一个黑盒,这样就可以把注意力放到业务的价值模型和技术的架构模型的统一上,从而对市场反应速度远超他人。如果真的发展到某一天,云服务满足不了业务需求,但是鉴于云服务已经划分清楚了明确的边界,所以在此边界内自主实现相应能力是一个收敛的问题,所以完全可以自己根据业务建设边界内的基础能力。如果创业公司一开始从零开始完全自主建设所有能力,很可能造成边界的蔓延,比如一部分本来应该在数据层的能力放到应用层中,AP的数据放到了TP来实现等等。这些蔓延最终会表现为隐性的耦合,从而大大减少了技术架构的生命期。云服务有一个非常明显的特性,他会将底层能力与上层应用切割,同时将通用能力与具体业务逻辑分开,所以在未来开发中,很适合创业团队根据业务需求去快速搭建自己的系统。基于这些,网聚宝现在的架构如下:

e8e6ae4f9793169a44e096cf0b6c541e5d647749
使用的阿里云数加产品主要有:大数据计算服务(MaxCompute),大数据开发套件(DataIDE),分析型数据库(AnalyticDB),阿里云流计算(StreamCompute),公众趋势分析,推荐引擎(RecEng),数据集成(Data Integration)。

数据来源。最下面是底层可以收到的数据来源,第三方自有的平台,给自己的系统做对接和同步;公共的电商平台;公开的信息平台,百度贴吧、微博;三大种类数据源,通过十几个,几十个数据采集服务,采集到数据中心。

数据中心。采集到数据以后,强关系型数据会进入关系型数据库;同时,使用了大量的高性能的非关系型存储,使用了阿里云大致4种产品,分别对应了快和慢,弱结构和强结构,规范和零散。

数据处理层。通过数加提供的IDE来做数据加工的服务,主要目的是为了上层的数据分析。

数据分析。离线型报表,和实时分析。

通过机器猫了解到,网聚宝还使用了一些数加的特有服务,比如趋势分析、推荐引擎。此外,还使用了一些特色生态服务,在不是特别大体量下做全链路的数据处理。当然,在此之下是一些基础服务,比如云服务器、可配置部署、任务调度器、消息队列等等,此外,同样也使用了整体服务治理的微服务框架,以及运维套件、展现监控信息、自动部署组件、对于开发有用持续化发布的套件等等。上层是具体的应用服务,比如数据分析类服务,带有很强的数据聚合和处理特性,比如效果分析、透视表、报告关联、商品分析等等。

最上层则是网聚宝具体的应用,不同服务解决不同问题,最终解决问题有一定方向性,以此组成这个SaaS应用的产品链路。其实有很多产品,有很多小的服务组成。相对SaaS来说,还有一些PaaS,比如一些API,PaaS+DaaS,非常细粒度的服务,支撑特定维度下的特定数据的相关服务,可以给二次开发者,及其他数据集成伙伴使用。最后,还有一些营销相关服务,与平台中其他的服务做关联。为品牌在大数据的精准营销和多端互动上,提供了真实的场景,给消费者提供基于大数据的完整体现。

3000多家品牌客户,大数据红利已经到来

作为数加用户,该平台能够提供的大数据能力是什么,无论是海量数据处理,还是实时计算,首先考虑的就是平台的成熟度,当然背后还有能陪我们996战斗的数加兄弟,无论是技术能力的判断,还是从商业合作的角度,这是选择数加的原因,被问到为什么会选择阿里云和数加,熊大如是说。

同时,发展至今,网聚宝现在已有3000多家品牌客户,国际上包括,哥伦比亚,狼爪,The North Face®北面;国内,佐丹奴,意尔康,丽婴房;纯电商,顺丰海淘,美美箱,新兴的移动电商;零售、快消、线下服务业、金融方面,各个维度的消费者品牌用户。

最后,熊大还表示,大数据对很多品牌已经不是概念,帮助提升业务销售的资源,杜蕾斯,威露士通过大数据的深度营销和应用,提升老客户付购这一端带来直接销售提升。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
运维 监控 Cloud Native
自动化运维的魔法书云原生之旅:从容器化到微服务架构的演变
【8月更文挑战第29天】本文将带你领略自动化运维的魅力,从脚本编写到工具应用,我们将一起探索如何通过技术提升效率和稳定性。你将学会如何让服务器自主完成更新、监控和故障修复,仿佛拥有了一本能够自动翻页的魔法书。
|
27天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
74 1
|
2月前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
59 3
|
20天前
|
机器学习/深度学习 运维 监控
智能运维在现代IT架构中的转型之路####
【10月更文挑战第29天】 本文旨在探讨智能运维(AIOps)如何成为现代IT架构不可或缺的一部分,通过分析其核心价值、关键技术及实践案例,揭示AIOps在提升系统稳定性、优化资源配置及加速故障响应中的关键作用。不同于传统运维模式的被动响应,智能运维强调预测性维护与自动化处理,为企业数字化转型提供强有力的技术支撑。 ####
61 0
|
2月前
|
存储 运维 监控
高效运维:从基础架构到自动化管理的全面指南
【10月更文挑战第11天】 本文将深入探讨如何通过优化基础架构和引入自动化管理来提升企业IT运维效率。我们将从服务器的选择与配置、存储解决方案的评估,到网络的设计与监控,逐一解析每个环节的关键技术点。同时,重点讨论自动化工具在现代运维中的应用,包括配置管理、持续集成与部署(CI/CD)、自动化测试及故障排除等方面。通过实际案例分析,展示这些技术如何协同工作,实现高效的运维管理。无论是IT初学者还是经验丰富的专业人员,都能从中获得有价值的见解和实操经验。
77 1
|
2月前
|
存储 运维 监控
高效运维管理:从基础架构优化到自动化实践
在当今数字化时代,高效运维管理已成为企业IT部门的重要任务。本文将探讨如何通过基础架构优化和自动化实践来提升运维效率,确保系统的稳定性和可靠性。我们将从服务器选型、存储优化、网络配置等方面入手,逐步引导读者了解运维管理的核心内容。同时,我们还将介绍自动化工具的使用,帮助运维人员提高工作效率,降低人为错误的发生。通过本文的学习,您将掌握高效运维管理的关键技巧,为企业的发展提供有力支持。
|
3月前
|
敏捷开发 运维 Prometheus
构建高效运维体系:从基础架构到自动化管理
本文探讨了如何通过优化基础架构、引入自动化工具和流程,以及加强团队协作,构建高效的运维体系。通过案例分析和实践建议,帮助运维人员实现系统的稳定性、可靠性和可维护性。
102 21
|
3月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
212 3
|
4月前
|
运维 搜索推荐 大数据
云HIS系统源码,云医院信息系统:以患者为中心的云架构、云服务、云运维的信息体系
医院信息系统(HIS)正借助云计算与大数据技术,从局域网模式向互联网转型,实现医疗服务高效化、个性化。新型医疗卫生信息平台(HIP)构建了以患者为中心的云端服务体系,支持区域内资源统一管理与按需服务,促进医疗机构间的业务协同。系统具备一体化管理、标准化建设等特点,涵盖从门诊到住院全流程,包括挂号、收费、诊疗、药房药库管理等多个模块,支持数据整合与智能分析,助力医疗服务智能化升级与科学决策。
云HIS系统源码,云医院信息系统:以患者为中心的云架构、云服务、云运维的信息体系
|
4月前
|
运维 Kubernetes 安全
云时代的运维之光:容器化与微服务架构的融合之道
在数字化浪潮中,企业IT架构的演进从未停歇。本文以浅显的语言探讨了容器技术与微服务架构如何协同工作,提高运维效率。我们将从基础概念出发,逐步深入到它们在实际工作中的应用,最后分享一些行业内的最佳实践。无论你是运维新手还是资深专家,这篇文章都将为你带来新的视角和思考。