数据处理

首页 标签 数据处理
# 数据处理 #
关注
17330内容
Spark性能优化
Spark的性能分析和调优很有意思,今天再写一篇。主要话题是shuffle,当然也牵涉一些其他代码上的小把戏。 以前写过一篇文章,比较了几种不同场景的性能优化,包括portal的性能优化,web service的性能优化,还有Spark job的性能优化。Spark的性能优化有一些特殊的地方,比如
阿里云&数数科技联合打造新一代游戏数据分析系统正式上线
一、行业综述 随着游戏产业进入成熟期,行业竞争日益激烈,给企业的市场运营及拓展带来了极大挑战,主要体现在两方面: 1、流量质量堪忧,价格越来越高,获客成本在运营投入中的比例居高不下; 2、玩家对于品质的要求越来越高,游戏项目的生命周期越来越短,直接影响项目的投入产出比; 在这样的背景下,越来越多的公司开始重视数据化运营体系的构建,通过基于数据指导的精细化运营,替代传统的基于直觉、经验的运营模式,进而达到降低获客成本、延长项目生命周期,对各个阶段的业务走向进行精准把控的目的。
Kafka 分布式消息系统
Kafka项目的目标是提供一个 统一的、高吞吐、低延迟的,用来处理实时数据的系统平台。这篇文章详细介绍了Kafka的主要概念:Broker、Topic、Partition、Producer、Consumer等。
产品3周迭代一次,启信宝驾驭8000万企业征信的平台架构
启信宝的企业数据范围广、维度多,覆盖8000万以上的企业, 19个产业链,95个细分行业,100个以上企业数据维度,企业覆盖率达98%以上。
免费试用