降本增效利器!趣头条Spark Remote Shuffle Service最佳实践
趣头条是一家依赖大数据的科技公司,在2018-2019年经历了业务的高速发展,主App和其他创新App的日活增加了10倍以上,相应的大数据系统也从最初的100台机器增加到了千台规模。面对业务和数据的日益增长,如何优化大数据平台,真正实现降本增效,技术人也面临着非常大的挑战,近半年趣头条和阿里云一起合作,通过Spark Remote Shuffle Service取得了较大的进展,在这里大家可以更加详细地了解这套方案。
揭秘 | 连续3年支撑双11,阿里云神龙如何扛住全球流量洪峰?
2019年云栖大会,阿里云正式发布第三代自研神龙架构,全面支持ECS虚拟机、裸金属、云原生容器等,贯穿整个IaaS计算平台,并在IOPS、PPS等方面提升5倍性能,用户能在云上获得物理机100%的计算能力。本文将为大家揭秘今年双11最具挑战的搜索广告、金融级业务核心交易数据库如何迁移至第三代神龙架构,详解神龙架构如何支撑阿里巴巴最大规模云原生实践落地,以及神龙架构如何通过宕机演练大考、备战双11的背后故事。
阿里云 SelectDB 实现日志高效存储与实时分析
阿里云 SelectDB 是由阿里云与飞轮科技合作,基于 Apache Doris 研发的新一代云原生实时数据仓库,聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、湖仓一体分析等场景,致力于为客户提供极致性能、简单易用的数据分析服务。 本方案基于阿里云 SelectDB 构建高性能、低成本、开放的日志存储与分析解决方案,覆盖运维监控、安全审计、业务分析等场景,并通过倒排索引与分级存储实现数据亚秒级检索。在同样的资源下,本方案写入性能达 Elasticsearch 的 5 倍,存储空间占用仅需 Elasticsearch 的 1/4,性价比总体提升 5 倍。