魅族高级架构师何岳娟:数据分析助电商笑对用户蜂拥而至这件好事

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:


  WOT2015"互联网+"时代大数据技术峰会于2015年11月28日于深圳前海华侨城JW万豪酒店盛大揭幕,42位业内重量级嘉宾汇聚,重磅解析大数据技术的点睛应用。秉承专注技术、服务技术人员的理念。DBA+社群作为本次大会合作方,将通过图文直播为大家全程跟踪报道这场技术盛宴。   


许多电商平台都会经历相似的过程:流量和业绩每年以几倍至十几倍的速度增长;瞬间访问量可能是平时的几十倍;网络带宽被占满,用户响应很慢;机器负载高甚至宕机;数据库压力过大导致服务不可用……


大数据技术的发展引发众多电商架构师思考,在面对用户蜂拥而至这件好事,如何在海量数据处理中实时发现有效信息,为构建稳定高效的系统架构设计提供指导。在【WOT2015"互联网+"时代大数据技术峰会】 现场,魅族电商平台高级架构师何岳娟就魅族电商平台架构变迁之路的经验和体会和大家进行交流。


>>>> 高速发展下的问题 

何岳娟告诉记者,魅族电商架构分为四个层级:


  • 业务层:第三方天猫,京东,苏宁与官网的商城及APP;

  • 业务服务层:交易,新品发布,手机导购,推荐服务为各平台提供营销策略;

  • 基础服务层:订单,用户,支付,库存,图片等为业务服务与营销层提供基本的服务点;

  • 据层存储层:MySQL, NoSQL, MQ , HBase以及一些分布式文件系统


基于这四个层级产生的数据建立分析平台, 对用户行为用户需求进行分析。


随着魅族近两年的发展,用户对其电商平台的关注度越来越高,用户增长速度非常快。在享受这种进步的同时,平台性能也在经历严峻考验。谈及贯穿平台架构变迁之路的指导思想,何岳娟将提升高可用、高并发、容灾性三个能力的提升视为核心,来实现对网站稳定性能的保障。抢购场景中LVS崩溃、DDoS攻击、刷单带来的高并发以及抢购时服务器如何实现快速扩容等,都是在业务高速发展下迫切需要解决的问题。


>>>> 变迁之路绕了哪些远 

在针对这些问题进行平台架构变迁的过程中,何岳娟和魅族技术团队曾经也走过许多弯路。比如说之前用GLSB、OSPF、智能DS分发解决数据容灾问题。但采用OSPF时,要对整个机房交换部署模式进行变造,影响非常大。而且,OSPF也并不能很好地解决魅族电商平台高并发故障迁移的问题。


这是因为在遭遇高并发时,LS、分发服务器不保证不会崩溃,一旦崩溃,转给其他的分发服务器,其他的分发服务器也不具备承受能力。魅族后来直接放弃了这个方案,结合业务需求和自身能力,改为族采用放弃一部分用户然后采用活动能正常的进行下去来做LS断点的问题。


新方案的优势在于,当一个机房的LS宕或是群宕掉时,可以自动切换到其他机房。何岳娟秀露,魅族计划采用GLSB,进行大LS的方案解决以后更高并发的模式以及以后跨机房容灾的问题。


>>>> 利用数据评级防止误伤 

对于“黄牛”这个世界性难题,魅族在最开始把只它看成功能性防御。但实际上,这种数据请求的模式极有可能出现伪造数据。因此,魅族通过对用户行为数据分析构建了信用分值评估系统,如果用户行为数据是伪造数据的话,在进行分析时可以看到,这些数据非常“死板”。


所谓“死板”,就是说黄牛一般只会注册一个帐户,而不会关注魅族官网,在网站只留下非常有限的行为信息,可以将具有这种特点的用户看作是是死点用户。而如果是在整个官网体系里比较活跃的用户,系统会将他评为优质用户。


一般来讲,面对评级较低的用户,系统在做防杀时会有一些“误伤”的现象。为了避免一些评级较低的用户无法正常方问,在做防杀的时候,魅族不会没有把所有的数据全部“干死”,而是将自有数据与第三方数据进行交换,引入第三方的数据评级,对两者数据分析结果进行对比之后再进行防御。


>>>> 跨机房容灾和数据同步仍待探索 

何岳娟表示,跨机房容灾和跨机房的数据同步问题,仍然是魅族在未来一段时间内关注的重点。魅族在这些方面一直在努力,比如在魅族有一个OKR评级功能,这个评级会根据业务故障时间来评级。这种互联网评级模式不可能做到不产生故障,但可以尽量减少故障产品的产生。


对于技术和工具的选型,何岳娟的建议在选用新功能前,一定要对性能进行前期测试。一旦产生问题,通过测试可以及时暴露出来,引导我们寻找解决方案。对于实在解决不了的问题,魅族会选择直接放弃这种模式,而在上线采用第三方服务。当然,还是要注意对服务进行大规模、全方位的测试,来避免之后突发情况下的措手不及。


本文来自云栖社区合作伙伴"DBAplus",原文发布时间:2015-12-01

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1天前
|
数据采集 监控 数据挖掘
常用电商商品数据API接口(item get)概述,数据分析以及上货
电商商品数据API接口(item get)是电商平台上用于提供商品详细信息的接口。这些接口允许开发者或系统以编程方式获取商品的详细信息,包括但不限于商品的标题、价格、库存、图片、销量、规格参数、用户评价等。这些信息对于电商业务来说至关重要,是商品数据分析、价格监控、上货策略制定等工作的基础。
|
2月前
|
消息中间件 缓存 Java
亿级流量电商平台微服务架构详解
【10月更文挑战第2天】构建一个能够处理亿级流量的电商平台微服务架构是一个庞大且复杂的任务,这通常涉及到多个微服务、数据库分库分表、缓存策略、消息队列、负载均衡、熔断降级、分布式事务等一系列高级技术和架构模式。
102 3
|
3月前
|
数据挖掘 Python
Pandas实战(1):电商购物用户行为数据分析
Pandas实战(1):电商购物用户行为数据分析
117 1
|
3月前
|
数据挖掘 Python
Pandas实战(3):电商购物用户行为数据分析
Pandas实战(3):电商购物用户行为数据分析
130 1
|
3月前
|
数据挖掘 Python
Pandas实战(2):电商购物用户行为数据分析
Pandas实战(2):电商购物用户行为数据分析
75 1
|
2月前
|
供应链 监控 数据挖掘
淘宝商品详情数据接口:解锁电商数据分析新密码
在数字化时代,电商竞争激烈,精准的数据分析成为制胜关键。淘宝商品详情数据接口如同一把神奇的钥匙,为商家提供商品名称、价格、销量、评价等详细信息,助力洞察市场趋势、优化商品策略、提升运营效率。通过实时更新的数据,商家可以及时调整定价、促销和库存管理,增强竞争力。未来,该接口将带来更多智能化的数据分析工具和精准的市场预测模型,助力电商从业者在竞争中脱颖而出。
|
4月前
|
监控 数据可视化 前端开发
基于python django的电商数据分析系统,包括大屏和登录
本文介绍了一个基于Python Django框架开发的电商数据分析系统,该系统具备大屏展示功能和用户登录机制,旨在帮助电商企业实时监控和分析销售数据,支持多维度数据分析和趋势预测。
基于python django的电商数据分析系统,包括大屏和登录
|
4月前
|
前端开发 Java JSON
Struts 2携手AngularJS与React:探索企业级后端与现代前端框架的完美融合之道
【8月更文挑战第31天】随着Web应用复杂性的提升,前端技术日新月异。AngularJS和React作为主流前端框架,凭借强大的数据绑定和组件化能力,显著提升了开发动态及交互式Web应用的效率。同时,Struts 2 以其出色的性能和丰富的功能,成为众多Java开发者构建企业级应用的首选后端框架。本文探讨了如何将 Struts 2 与 AngularJS 和 React 整合,以充分发挥前后端各自优势,构建更强大、灵活的 Web 应用。
62 0
|
4月前
|
SQL 数据采集 算法
【电商数据分析利器】SQL实战项目大揭秘:手把手教你构建用户行为分析系统,从数据建模到精准营销的全方位指南!
【8月更文挑战第31天】随着电商行业的快速发展,用户行为分析的重要性日益凸显。本实战项目将指导你使用 SQL 构建电商平台用户行为分析系统,涵盖数据建模、采集、处理与分析等环节。文章详细介绍了数据库设计、测试数据插入及多种行为分析方法,如购买频次统计、商品销售排名、用户活跃时间段分析和留存率计算,帮助电商企业深入了解用户行为并优化业务策略。通过这些步骤,你将掌握利用 SQL 进行大数据分析的关键技术。
240 0
|
5月前
|
机器学习/深度学习 并行计算 数据挖掘
🎓PyTorch深度学习入门课:编程小白也能玩转的高级数据分析术
【7月更文挑战第29天】踏入深度学习世界,新手也能用PyTorch解锁高级数据分析。
47 2