中间件小哥_社区达人页

2017双11技术揭秘—千亿级流量来袭，如何用硬件加速技术为CPU减负？

在刚过去的2017年双11零点流量高峰的考验下，主站接入层Tengine Gzip硬件加速机器运行平稳、同等条件下相比于未开启QAT加速的机器性能提升21%左右。

2017双11技术揭秘—双十一海量数据下EagleEye的使命和挑战

EagleEye作为阿里集团老牌的链路跟踪系统，其自身业务虽不在交易链路上，但却监控着全集团的链路状态，特别是在中间件的远程调用上，覆盖了集团绝大部分的场景，在问题排查和定位上发挥着巨大的作用，保障了各个系统的稳定性，为整个技术团队打赢这场战役保驾护航。

2017双11技术揭秘—X-DB支撑双11进入分布式数据库时代

今年双11是X-DB的第一次大考，本次双11X-DB服务于天猫/淘宝核心交易系统、核心物流系统、核心IM系统，经受了零点业务32.5万笔/秒峰值的性能考验,同时X-DB支撑起了新一代单元化架构.

2017双11技术揭秘—分布式缓存服务Tair的热点数据散列机制

Tair是阿里巴巴集团自研的弹性缓存/存储平台，在内部有着大量的部署和使用。Tair的核心组件是一个高性能、可扩展、高可靠的NoSQL存储系统。目前支持MDB、LDB、RDB等存储引擎。本文基于Tair的存储和访问原理，对缓存的读写热点问题进行讨论，并给出一个满足现阶段需求的热点数据读写问题的解决方案。

“2017最受欢迎中国开源软件”奖TOP 20揭晓 阿里中间件4大项目连续霸榜！

近日，开源中国公布了2017年度“最受欢迎中国开源软件”榜单，阿里中间件（Aliware）4大开源项目，数据库连接池Druid、JSON解析库Fastjson、分布式服务框架Dubbo、消息中间件Apache RocketMQ再次上榜。

Apache RocketMQ Meetup深圳首秀 引开源爱好者追捧

近日，阿里中间件（Aliware），阿里巴巴技术协会，联合开源中国和开源社在深圳举办了Apache RocketMQ毕业后的首次线下Meetup。报名启动后，300个线下参会名额被迅速注册一空，其后报名的开源爱好者们在线观看了现场直播。

数十万应用结点全息监控，ARMS新上线的应用监控神器到底有多牛？

就在不久前，2017年阿里双11刚刚创下电商史上的新销售奇迹，24小时交易金额达1682亿，每秒交易创建峰值325000，每秒支付峰值256000！在这个海量交易背后是数十万个结点规模的应用的高效运行。

Apache RocketMQ 深圳沙龙报名开启！

Apache RocketMQ深圳沙龙报名正式开启。12月16日，Apache RocketMQ将在深圳举办线下沙龙！届时，社区里的PMC Member、Committer、深度用户，来自各路的资深专家汇聚一堂，就分布式消息引擎的最佳实践、性能优化、流计算集成、开源大数据生态和 OpenMessaging 规范等，为大家带来一场技术上的饕餮盛宴，促进消息领域与社区的进一步发展。

分布式服务框架Dubbo疯狂更新！阿里开源要搞大事情？

最近，开源社区发生了一件大事，那个全国开发使用最广的开源服务框架Dubbo低调重启维护，并且3个月连续发布了3个维护版本。这3个维护版本不仅解决了社区关心的一系列问题和需求，还让整个社区的活跃度得到了大幅提升。

全世界都在关注中国企业的互联网架构？云栖大会道出了真相

一年一度的杭州•云栖大会近日在杭州云栖小镇落下帷幕，从 8年前的阿里云开发者大会，到8年后的科技盛会，云栖大会不断成长的同时也见证了中国互联网科技产业的崛起。本届云栖大会，除了阿里巴巴集团宣布成立达摩院外，在企业互联网转型峰会上，阿里与众多合作伙伴也共同展示了阿里中间件（Aliware）带来的技术红利。

Aliware推出应用配置管理大杀器，分布式架构下配置推送秒级生效！

近日，阿里中间件（Aliware）产品家族又推出了一款工具类产品——应用配置管理（ACM），它的主要功能是解决在分布式架构环境中，对应用配置进行集中管理和推送的问题。

解读OpenMessaging开源项目，阿里巴巴发起首个分布式消息领域的国际标准

OpenMessaging项目由阿里巴巴发起，与雅虎、滴滴出行、Streamlio公司共同参与创立，项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍，随着标准的不断演进，会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

PTS铂金版横空出世！想做双11？简单！

无限接近真实流量的全链路压测，具备超高并发能力，多维动态支持压测场景下的多变环境，1分钟即可设置简单压测场景……这个神奇的压测“黑科技”就是PTS铂金版！

构建全渠道零售平台及营销场景解读

在中国7亿网民线上、线下个性化消费升级的大潮中，如何依靠创新，迎接“新零售”的挑战？

如何快速实现一个基于Nginx的网站监控场景 – 操作篇

还记得小明的老板给他布置的任务吗？本文将具体阐述，如何实现Nginx的监控场景，快来围观，看小明如何破局。

浅谈应用性能测试 PTS

压力测试该如何进行？市面上压测的工具那么多，该选择哪一个？全面、易用、低成本的压测工具是什么样的？

如何高效处理物联网中数据与消息

车联网在技术上具有相当高的门槛，要连接十万、百万量车甚至更多，用传统IT技术很难解决。阿里云在车联网领域具有成熟的解决方案和产品，每个细化领域的龙头企业都采用阿里巴巴的车联网解决方案，不受传统IT技术的局限，随着规模的扩大而水平扩展。

Dubbo 的商业化解决方案

在云环境中，应用发布与管理会变得十分复杂。本地开发完成的应用需要登录到每一台服务器进行发布和部署；后续还会有应用的重启，扩容等。服务器的不断增加对于运维人员将是一个极大的挑战。同时，当应用开发完毕部署到生产环境之后，通常需要对应用运行状态进行一些监控，比如 CPU 使用率、机器负载、内存使用率和网路流量等。

面向万物互联的时序数据库HiTSDB

HiTSDB （High-performance Time Series Database） 是阿里巴巴自主研发的面向物联网及相关领域的高性能时间序列数据库产品，物联网场景下数以百万的设备上千万级数据采集点每秒都在产生时序数据，这些海量时序数据是企业最宝贵的财富，能够帮助企业实时关注数据业务趋势，进行决策分析，监控设备性能和运行情况，帮助企业创造价值；但是业务高并发写入压力，海量数据存储成本，以及低效查询分析能力让传统数据库成为了制约业务发展的羁绊。

EDAS带你快速搞定分布式应用

【EDAS最近更新】 2.13.1 版本：提供对本地方法执行追踪； 支持租户内服务鉴权与授权。 2.13.0 版本：Http流量管理功能上线，提供了对应用运行时线程堆栈和内存分布的查看。 2.12.3 版本：链路分析功能上线全新视觉界面；调用链支持多维查询。

消息队列（MQ）重磅推出MQTT移动物联套件

近期，消息队列（MQ）推出顺序消息消息、MQTT移动物联套件、Kafka企业级消息服务。下述内容将解析消息队列（MQ）顺序消息、车联网、Kafka企业级消息服务的应用场景。

流着码农的血，为突破理论极限值而生 | 阿里中间件性能挑战赛内部赛全记录

本次挑战赛的主题为“挑战双十一万亿级消息引擎”，比赛场景当然离不开大家最熟悉的阿里双11，海量业务场景下的技术需求模拟，赛题本身具有非常强的实战意义。本次内部赛题目主要解决的是NewSQL领域中使用最频繁的一个场景--分页排序，其对应的SQL执行为order by id limit k,n。

打造立体化监控体系的最佳实践

如果将分布式系统比作高速公路网，每个前端的请求就相当于高速上行驶的车辆，而处理请求的应用就是高速上的收费站，在收费站上将车辆通行信息记录成日志，包括时间、车牌、站点、公路、价格等，如果将所有收费站上的日志整合在一起，便可以通过唯一的车牌号确定该车的完整通行记录；分布式调用系统跟踪和监控就是类比这种思想，对每一次请求进行跟踪，进而明确每个请求所经过的应用、耗时等信息。

分布式事务云市场分析

以前多数企业的数据规模、业务复杂度相对较小，很多操作可以单机完成，数据库本地事务可以搞定，所以数据一致问题不那么明显。 随着互联网技术快速发展，数据规模增大，分布式系统越来越普及，采用分布式数据库或者跨多个数据库的应用在中大规模企业普遍存在，服务化也是广泛应用，由于网络的不可靠和机器不可靠，数据不一致问题很容易出现。

企业IT架构转型是大势所趋

经过多年实战和不断创新，阿里巴巴逐渐形成了今天自己的核心系统架构。这不是单一的产品，是很多包括中间件等在内的产品沉淀和体系化的结果。做架构不能考虑当前的一件事情，要从业务持续发展来思考。

以应用为中心的微服务PaaS平台---企业级分布式应用服务 EDAS

本文主要从高速增长的阿里业务开始谈起，讲述当年面对的业务场景和背景，碰到了什么样的技术挑战，且用什么样的思路去解决它。

互联网架构正逐渐成为企业IT发展刚需

“以前，我们的能源是水电煤，而现在，数据成为人类自己创造的新能源、新资源。”马云关于数据已经成为新能源的一番论调，引发了全行业对大数据背后价值蓝海的思考。 不可否认，数据正呈几何指数倍增长，但始终存在一种观点认为大数据并没有给企业带来什么大的变化，而阿里云中间件产品总监赵杰辉认为，要解决这个问题，传统企业IT架构必须为互联网架构让位。

RocketMQ 迈入50万TPS消息俱乐部

如何快速实现一个基于Nginx的网站监控场景----需求篇

最近，小明的老板给小明布置了一个任务，希望把应用服务监控起来，以提高应用运行质量。小明接到任务以后开始着手进行技术选型。 赶紧来看看，小明如何通过另外一种新的思路快速搭建Nginx监控任务。

破解世界性技术难题！ GTS让分布式事务简单高效

分布式系统架构中，分布式事务是一个绕不过去的挑战。什么是分布式事务？简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，分布式事务需要保证这些小操作要么全部成功，要么全部失败。

JStorm 2.2.1 版本正式发布

17.5W秒级交易峰值下的混合云弹性架构之路

构建闭环式的研发运维体系----云效&EDAS DevOps

为了能够更好地支撑业务的创新，如何塑造企业的共享业务中台，如何支撑互联网架构下研发工程效率的提升，将会是企业遇到的核心挑战。面对这些挑战，阿里巴巴旗下一站式研发提效平台云效和阿里巴巴集团中间件EDAS联合推出了一整套研发平台支撑解决方案，步实现DevOps闭环的关键一步。

应运而生！ 双11当天处理数据5PB—HiStore助力打造全球最大列存储数据库

阿里巴巴电商平台历史数据存储与查询相关业务， 大量采用基于列存储技术的HiStore数据库，双11当天HiStore引擎处理数据记录超过6万亿条、原始存储数据量超过5PB。从单日数据处理量上看，该系统已成为全球最大列存储数据库。

阿里开源消息中间件RocketMQ的前世今生

昨天，我们将分布式消息中间件RocketMQ捐赠给了开源软件基金会Apache。 孵化成功后，RocketMQ或将成为国内首个互联网中间件在Apache上的顶级项目。

Spark随谈

Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持.

Spark随谈（一）—— 总体架构

Spark是一个小巧玲珑的项目，由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，充分体现了精简之美。 Spark之依赖 （1）Map Reduce模型 作为一个分布式计算框架，Spark采用了MapReduce

Spark随谈（二）—— 安装攻略

本来安装这件事情，不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情，这和Spark的语言和框架两者有颇大的关系。 Spark是Scala语言写的，所以要先安装Java和Scala，而底层的调度框架是Mesos，Mesos是C++写的，所以又对机器的glibc和gcc环境有一定的要求。

SolrLucene优劣势分析

最早lucene2.4以及以前，追溯到2008年前后，lucene刚刚引起大家的关注，到后来Nutch、solr的出现，lucene变得更加热。Nutch、Solr的发展，极大推动了lucene的升级。对于一些接触过搜索，使用过lucene、solr的人来说，一般都会感觉lucene、solr很牛.

与Linux OOM-killer的第一次亲密接触

受害人口述悲惨的遭遇—— 1、最近一段时间（更换了预发机器后）我负责的一个应用的预发环境(线上稳定得像个婴儿~)特别不稳定，最先是应用频频的过几天就发现提供的接口不工作了，但容器Jetty还在跑得欢，于是jstack/jmap看，发现没有一个线程在跑我的war包中的程序，但是容器里个中间件的sar

Spark随谈——开发指南（译）

本文翻译自官方博客，略有添加：https://github.com/mesos/spark/wiki/Spark-Programming-Guide，谢谢师允tx的校正。希望能够给希望尝试Spark的朋友，带来一些帮助。目前的版本是0.5.0 Spark开发指南 从高的层面来看，其实每一个S

NumericField&NumericRangeQuery原理分析

NumericField和NumericRangeQuery是Lucene 针对数值型区间查询的优化方案。在展开阐述 NumericField 和NumbericRanageQuery 的实现原理之前，对于Lucene范围查询的实现和概念可以参考博文《TermRangeQuery源码解析

关于搜索挖掘所想

SolrQueryLog DataMineSolrQueryLog DataMine 这一块工作非常具有市场和技术价值。尽管现在还没有开源的，有一个付费系统soleami 读作 so ray me。 我个人正在初步积累相关知识，依赖NLP和结构化信息提取虚拟团队，正着手搭建一个通用、可开源的So

Solr schema编写指导

0. 亲，低级错误知多少 "" 写成了“” <br> true 写成了 ture <br> false写成了fasel <br> String 写成了 string <br> userId 写成了userid <br> user_id 写成了 user_Id <

SolrQuery性能压测参考

性能压测本身是一件非常有意义的事情，也是非常复杂的工作。对搜索引擎压测，不仅是数据集构建、查询集构建、 标准参照集构建等麻烦，而且只需一轮测试周期常，测试结果与语言本身有关联，更与集合其他数据有潜在关联，因为排序是 整体的，互关联的。 测试的具体执行环境、执行用例、参数配置和清除、quer

BufferedInputStream 源码学习笔记

BufferedInputStream是一个带有内存缓冲的InputStream. BufferedInputStream是继承自FilterInputStream。 FilterInputStream继承自InputStream属于输入流中的链接流，同时引用了InputStream，将In

Apache MINA (1) 简介

简介： Apache MINA（Multipurpose Infrastructure for Network Applications） 是一个网络应用框架，有助于用户非常方便地开发高性能、高伸缩性的网络应用。它通过Java NIO提供了一个抽象的、事件驱动的、异步的位于各种传输协议（如TCP/

Apache MINA (2) Hello World!

了解完Apach MINA的一些基本概念Apache MINA (1) 简介 ，开始进入MINA相关的代码学习，以一个简单HelloWorld程序开始，完成客户端与服务端之间的通讯。 准备工作： org.apache.mina 版本4.0 org.slf4j 1.6.1 （Simple

树与存储

二叉树： 一个根节点，每个节点下挂着最多2个子节点。、 概念： 度：结点的分支数，二叉树度为2。 深度：树的层次。 二叉排序树： 二叉树的基础上，每个节点上都有一个数字，节点上的数字都比右节点上的大。 应用场景： 基于内存的排序数据结构，写入时将数据写入到对应的位置。数据可能会出现倾

ZooKeeper和Diamond有什么不同

本文主要是讨论下两个类似产品：ZooKeeper和Diamond在配置管理这个应用场景上的异同点。 Diamond，顾名思义，寄寓了开发人员对产品稳定性的厚望，希望它像钻石一样，提供稳定的配置访问。Diamond是淘宝网Java中间件团队的核心产品之一，服务于集团线上很多核心应用。目前已经开源，开