每天1000+架次航班起降,算法+大数据能做什么
自2016年9月22日开赛以来,吸引了3457支队伍参赛,选手覆盖中国大陆、中国香港、美国、日本、法国、英国、新加坡等13个国家和地区。大赛共设2个独立赛场,即“1场算法挑战赛(机场客流量的时空分布预测)+1场众智创新赛(机场停机位资源分配优化)”,直面机场管理痛点。
MaxCompute优化系列-如何使用`MAPJOIN` ?
MAPJOIN
当一个大表和一个或多个小表做JOIN时,最好使用MAPJOIN,性能比普通的JOIN要快很多。 另外,MAPJOIN 还能解决数据倾斜的问题。
MAPJOIN的基本原理是:在小数据量情况下,SQL会将用户指定的小表全部加载到执行JOIN操作的程序的内存中,从而加快JOIN的执行速度。
从MapReduce的执行来看如何优化MaxCompute(原ODPS) SQL
SQL基础有这些操作(按照执行顺序来排列):
from
join(left join, right join, inner join, outer join ,semi join)
where
group by
select
sum
distinct
count
order by
如果我们能理解mapreduce是怎么实现这些SQL中的基本操作的,那么我们将很容易理解怎么优化SQL写法。
《交互式分析六脉神剑》之真正的秒级交互式响应
在离线大数据场景上,MaxCompute拥有着举足轻重的地位,但使用过MaxCompute的开发者们都会发现,针对简单查询能够满足业务要求,但是随着数量增多,查询query变得复杂时,响应速度会变得特别慢,满足不了实时交互的要求。
技术与架构,解析如何将大数据最快落地到实践
3月9日14点,业内首个结合技术与应用的在线大数据技术峰会即将展开,届时6位阿里技术大咖与4位行业资深实践者将从技术与业务两个方面,与大家探讨大数据如何最快落地到实践。较为有看点的是:
最深入的实践:本次在线峰会上,6个阿里规模的大数据实践将被深入分享,包括大数据平台的性能调优、流式增量计算、持续发布与演进、机器学习平台打造等。
[干货]作为大数据入门者,你不得不知道的2017杭州云栖大会
2017杭州云栖大会于10月14日完美闭幕,据说今年6W+人的技术盛宴(我们先不追究具体多少人)。大家可能更多的只知道马老师谈及到阿里巴巴达摩院、听到各种刷脸支付的高科技、各种数据大脑的发布,但是我觉得作为一个大数据入门者,你只知道这些远远不够!