阿里云基础产品技术月刊 2019年4月
阿里云基础产品技术月刊 2019年4月,阿里云2018年建成国内首家IPv6 DDoS防御系统,提供IPv4+IPv6海量IP下的双栈DDoS秒级自动防护,为IPv6网络下的业务保驾护航。经过4个月申报答辩,成功入选工信部试点示范项目,工信部是国家IPv6总牵头政府部门,此次入选代表工信部的高度认可。
基于DAG的分布式任务调度平台-Maat
背景
什么是Maat
Maat是一个基于开源项目Airflow的流程调度系统,它支持用户自定义地组装流程节点,流程可以在用户指定的时间触发(支持crontab格式),或由用户手动触发。
Maat的所有节点分布式地运行在Hippo上,由Drogo调度。
如何快速搭建一个数据分析平台?
基本上,通过基于日志服务的数据采集、基于阿里云数加ODPS的数据计算和运维、QuickBI的报表制作,小规模的初创工具可以在2天左右快速的搭建完一个适合业务的、可以扩展的数据分析平台(你也可以基于这个平台搭建出一个商用的推荐系统),当然,这一切的前提是你的BOSS能知道数据分析的价值。
结构化大数据分析平台设计
前言
任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。
MySQL 大表优化方案,收藏了细看!
当 MySQL 单表记录数过大时,增删改查性能都会急剧下降,可以参考以下步骤来优化。
单表优化
除非单表数据未来会一直不断上涨,否则不要一开始就考虑拆分,拆分会带来逻辑、部署、运维的各种复杂度,一般以整型值为主的表在千万级以下,字符串为主的表在五百万以下是没有太大问题的。
mysql死锁问题分析
线上某服务时不时报出如下异常(大约一天二十多次):“Deadlock found when trying to get lock;”。
Oh, My God! 是死锁问题。尽管报错不多,对性能目前看来也无太大影响,但还是需要解决,保不齐哪天成为性能瓶颈。
为了更系统的分