数据处理

首页 标签 数据处理
# 数据处理 #
关注
17423内容
生产环境消息队列ActiveMQ的数据积压优化过程
针对消息队列的数据积压问题,我们主要做了三个方面的优化处理,取消同步锁、ActiveMQ参数优化、本地双队列优化,通过这三个方面的优化基本解决了队列数据积压的问题。
使用Java内存映射(Memory-Mapped Files)处理大文件
NIO中的内存映射 (1)什么是内存映射文件 内存映射文件,是由一个文件到一块内存的映射,可以理解为将一个文件映射到进程地址,然后可以通过操作内存来访问文件数据。说白了就是使用虚拟内存将磁盘的文件数据加载到虚拟内存的内存页,然后就可以直接操作内存页数据。
| |
来自: 云原生
PB 级数据处理挑战,Kubernetes如何助力基因分析?
一家大型基因测序功能公司每日会产生 10TB 到 100TB 的下机数据,大数据生信分析平台需要达到 PB 级别的数据处理能力。这背后是生物科技和计算机科技的双向支撑:测序应用从科研逐步走向临床应用,计算模式从离线向在线演进,交付效率越来越重要。
软件架构中的层次依赖
在描述大而复杂的软件中,最复杂的抽象层次就是软件架构。因此,在这个抽象层次我们能更好的理解构件组装原理和交互方式。软件架构被认为是软件开发方面的驱动力,他允许指定每层那些方面和模型需要依照架构来设计。早期的架构描述语言 ADL,比较独立,侧重结构抽象层次而忽略行为描述层次、观念层次和元模型层次。
广告点击数实时统计:Spark StructuredStreaming + Redis Streams
实时统计广告点击数:Spark StructuredStreaming + Redis Stream 业务场景介绍 某广告公司在网页上投递动态图片广告,广告的展现形式是根据热点图片动态生成的。为了收入的最大化,需要统计每个广告的点击数来决定哪些广告可以投放的更长时间,哪些需要及时更换。
阿里云服务器配置的选择方法CPU/内存/宽带怎么选?
购买阿里云服务器配置如何选择?云吞铺子分享阿里云服务器配置的选择方法,包括云服务器的规格、CPU、内存和宽带: 云服务器规格怎么选? 阿里云ECS云服务器按照使用场景不同推出不同规格的云服务器,例如:sn2ne实例、突发性能t5实例、共享型xn4实例、g5实例、gn6i实例等,这些ECS实例都是阿...
不止于流,615杭州流计算峰会圆满举行
6月15日,阿里云流计算杭州峰会在阿里巴巴西溪园区曼陀山庄隆重举行,原本限定100人的规模,现场座无虚席。本次阿里云流计算杭州峰会,聚焦实时大数据处理,邀请了袋鼠云、鸥新软件和阿里集团技术、产品深入分享基于阿里云进行大数据处理的解决方案、最佳实践、开发实战等内容,并侧重交流阿里云流计算产品以及业务场景,解决遇到的计算难题。
免费试用