中间件

本次挑战赛的主题为“挑战双十一万亿级消息引擎”，比赛场景当然离不开大家最熟悉的阿里双11，海量业务场景下的技术需求模拟，赛题本身具有非常强的实战意义。本次内部赛题目主要解决的是NewSQL领域中使用最频繁的一个场景--分页排序，其对应的SQL执行为order by id limit k,n。

摄像头输入： Video: h264 (Main), yuvj420p, 640x480 [SAR 1:1 DAR 4:3], 25 fps, 25 tbr, 90k tbn, 50 tbc Audio: pcm_alaw, 8000 Hz, mono, s16, 64 kb/s   摄像头ffm...

本篇主要整理工作中遇到的一些消息中间件的相关知识，包括Kafka, RabbitMQ, RocketMQ, ActiveMQ等，不排除收录其他消息中间件的可能。 这里会持续收录相关知识，包括安装、部署、使用示例、监控、运维、原理等。

中间件简介 django 中的中间件（middleware），在django中，中间件其实就是一个类，在请求到来和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法。 在django项目的settings模块中，有一个 MIDDLEWARE_CLASSES 变量，其中每一个...

什么是事务？大家最熟悉的莫过于数据库事务，一大堆SQL操作一个DB，要么同时成功、要么同时失败。（GTS支持ACID，特此公告，不再解释） 什么是分布式事务？一大堆SQL操作N个DB，或者一大堆服务操作1个或多个DB，要么同时成功、要么同时失败。

阿里巴巴叕开源了!

　　数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。 　　一、模型分类 　　（1）联邦式数据库系统（Federated Distributed Database System），这种分布式数据库的特点是结点自治和没有全局数据模式，每个结点所看到的数据模式仅仅限于此结点所用到的数据。

由阿里巴巴集团主办，阿里云天池大数据平台承办的第二届“阿里中间件性能挑战赛”吸引了1946支队伍报名参加，不但有来自413所知名高校的学生和科研人员，还有来自40余家企业的社会选手，这表明，“阿里中间件性能挑战赛”已经成为影响力巨大的重要技术赛事。

生产者代码： package com.java1234.activemq; import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.Destination; import javax.jms.JMSException; import javax.jms.MessageProdu

“大流量高并发互联网应用实践在线峰会”将于9月20-21日20：00-21：30召开，届时10位淘宝开放平台和阿里云技术大V将为广大开发者分享阿里的第一手实践。来自阿里巴巴集团的产品专家倪超（花名：银时），将在本次峰会中为大家带来《支撑海量用户的阿里中间件技术》的分享，下面是议题详情，供大家参考。

首届阿里巴巴在线技术峰会（Alibaba Online Technology Summit），将于7月19日-21日 20:00-21:30 在线举办。本次峰会邀请到阿里集团9位技术大V，分享电商架构、安全、数据处理、数据库、多应用部署、互动技术、Docker持续交付与微服务等一线实战经验。

目录 目录 一 准备工作 1 RocketMQ部署架构1 2 环境配置 二 安装RocketMQ 1 下载编译好的RocketMQ 2 解压缩并进入bin目录 3 启动name server 4 启动broker 5 MQ安装完毕 三 验证MQ是否安...

由阿里中间件与天池平台联合举办的“阿里中间件性能挑战赛”，大赛不仅为选手们开放双十一实时交易真实场景，还提供了丰厚奖金、诱人激励，欢迎社会人才加入挑战。大赛主要考察选手的网络编程能力和性能调优能力。我们希望通过大赛吸引和沉淀优秀的编程高手，加强内外部技术人员的交流与碰撞，并让技术发声。

继《如何设计开发一个可用的web容器》之后又一如何系列文章，《如何设计一个数据库中间件》 ==========广告时间========== 鄙人的新书《Tomcat内核设计剖析》已经在京东预售了，有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。

Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持.

受害人口述悲惨的遭遇—— 1、最近一段时间（更换了预发机器后）我负责的一个应用的预发环境(线上稳定得像个婴儿~)特别不稳定，最先是应用频频的过几天就发现提供的接口不工作了，但容器Jetty还在跑得欢，于是jstack/jmap看，发现没有一个线程在跑我的war包中的程序，但是容器里个中间件的sar

本文翻译自官方博客，略有添加：https://github.com/mesos/spark/wiki/Spark-Programming-Guide，谢谢师允tx的校正。希望能够给希望尝试Spark的朋友，带来一些帮助。目前的版本是0.5.0 Spark开发指南 从高的层面来看，其实每一个S

NumericField和NumericRangeQuery是Lucene 针对数值型区间查询的优化方案。在展开阐述 NumericField 和NumbericRanageQuery 的实现原理之前，对于Lucene范围查询的实现和概念可以参考博文《TermRangeQuery源码解析

SolrQueryLog DataMineSolrQueryLog DataMine 这一块工作非常具有市场和技术价值。尽管现在还没有开源的，有一个付费系统soleami 读作 so ray me。 我个人正在初步积累相关知识，依赖NLP和结构化信息提取虚拟团队，正着手搭建一个通用、可开源的So

简介： Apache MINA（Multipurpose Infrastructure for Network Applications） 是一个网络应用框架，有助于用户非常方便地开发高性能、高伸缩性的网络应用。它通过Java NIO提供了一个抽象的、事件驱动的、异步的位于各种传输协议（如TCP/

了解完Apach MINA的一些基本概念Apache MINA (1) 简介 ，开始进入MINA相关的代码学习，以一个简单HelloWorld程序开始，完成客户端与服务端之间的通讯。 准备工作： org.apache.mina 版本4.0 org.slf4j 1.6.1 （Simple

在ZooKeeper的运维过程中，我们经常会碰到这样的问题，就是快照数据文件越来越大，但是ZooKeeper上的数据节点数量并没有相应的增加。 这说明什么问题：一定是有客户端在将ZooKeeper当数据库使用了。长此以往，必然会引起ZooKeeper内存数据过大而影响性能及集群间的数据同步。 那

当大家都在关注搜索的速度的时候，往往伴随业务的快速发展，数据服务质量成为了实时搜索或者垂直搜索中的新问题。实时搜索和垂直搜索是不一样的问题，下面的问题就是垂直场景下得实时搜索问题。也可以理解垂直搜索都不实时，其他的实时先排队吧。问题比较抽象，只谈总体上的现象，对于具体如何解绝问题的细节，不做说明。.

单维度聚合分析，主要解决类似以下场景的问题 (1)同一个用户搜索输入关键词 (2)某个时间段内搜索词排行榜 (3)某些关键词联合出现情况 (4)IP位置 维度下的关键词聚合情况 (5)其他任何参与搜索的单维度搜索请求统计 (6)平均命中率、hits=0、查询平均响应时间 ......

本文主要记录配置安全的Impala集群集成Sentry的过程。Impala集群上配置了Kerberos认证，并且需要提前配置好Hive与Kerberos和Sentry的集成： 使用yum安装CDH Hadoop集群 Hive配置kerberos认证 Impala配置kerberos认证 配置

人们总觉得这个搜索领域很多秘密，门槛如此之高，如此神秘。其实不是那么回事。基本的原理、流程理解了。就可以做到心中不慌。先了解机制，细节和具体才是难点，不要被难在开始！下面就结合实际经验积累，给出参考信息。不针对任何排序模型，只描述粗略内容。具体场景具体怎么高，私下交流。 提示：排序规则务必公开，否

需求: 个性化得分排序：类似 Score= defaultTextScore*facetA + offlineValue*（1-factorA） 方案： 目前直接支持的排序、全部候选方案。推荐1  和2.  参见样例！ 1: sort by (score, offlin

尽管lucene、solr如此的频繁、如此的普遍被使用。仍然有许多人、需要开发者所见即所得的方式，将查询用起来。一方面为了迎合传统sql用户的习惯，另一方面提升通用搜索产品的可用性，也丰富solr的功能接口。有必要实现 类sql的 solr查询实现。   社区总是无比的强大，总是只要你能想到的

查询问题，最直接的反馈就是页面出来的结果。然后牵扯到的问题就一步一步深入了。第一层：queryparse，其中关联分词，关联booleanquery orphrasequery，关联boost。。。。第二层：排序了，关联排序的策略、排序的得分公式第三层：各种转换、过滤、筛选后的页面结果这里重点将q.

弱依赖“并发请求数阀值”这个值设置多少合适？     “并发请求数阀值”在大部分情况下可以理解为同时工作的线程数阀值，这个值不是越大越好，也不是越小越好，而是在最高QPS输出的情况下这个值越小越好。这个也是系统性能优化的一个方向，高QPS，少线程。     线程它是驱动业务逻辑执行的载体，在执行

简单介绍下 在较早版本的 Lucene 中对一定范围内的查询RanageQuery 。该Query 继承于 MulitTermQuery，在重写（rewrite ）Query 树的时候将会遵从一个原则： 根据起始区间值获取term, 然后遍历，根据满足条件的term 的数目来决定重写Query 的

solr调优步骤参考这篇blog主要以实践出发，从顶到底，从大到细的思路来进一步描述，solr优化，并且是基于横向发展来说的（管理更多core），对于纵向的（core内部、搜索核心技术）。 例如分词、queryparse、分词、实时、分布式的优化、排序等偏轻！ 文章有不合理，或者错误的请及时反馈

很久木有和大家见面了，因为博主也需要时间来沉淀。。博主也需要学习和思考。。 好吧，不多废话，进入正题，今天我们谈的东西是一致性和安全性。 一致性这个问题，非常绕，想用语言表述，难度很大，我给别人去讲的时候，一般都是白板，因为白板有类似“动画”的效果，能够帮助别人理解，但使用文字，就没有办法了，只

-------三段提交改----------- 回顾上文，我们已经提到了，在两段提交协议里面有个“死等”的过程，那么我们来看看三段提交协议是怎么解决这个问题的，需要注意的是，3pc只是解决了死等问题，对脑裂没有贡献。用的也不多，我们只把它当做路边的小石头，理解了作为模型的一种，参考一下就行了。

我们已经在上面的分析中，我们已经看到observer模型在多机场景下的问题，所以，paxos模型的目标就是解决这个问题，他解决这个问题的方法就是quorum模型。 我的目标是让大家能弄明白，掌握这些复杂的概念，所以我也会将以前我在淘宝java中间件团队内分享时候，大家经常犯的一些错误，也写到【】里

--------Dynamo and Cassandra ---------- 这两套系统，其实是同源的，我其实不是很愿意来说这两套系统，因为他们用的技术比较学术化，所以比较复杂一些。。Anyway ,I'll try my best !   提到这两个系统，他们在核心思路上是非常类似的，但有

学玩*nux时候，碰到的一些问题，弄明白了后也就过去了。今天看到旁边的同学对目录权限有些模糊，给解释了一下。想想不如把这些问题都记下来。 设计其实包含的是一套约定。能运行、解决问题的约定都是可用的约定。但解决的多种约定方式或说是设计中，作一些比较可以感觉到哪个会更统一更简单。下文提到的两例Linu

Solr2.9.1  代码 下面的分析有点散，围绕solrcore展开，重点是query流程，细入是getSearcher 内容中有一些直接从参考链接里面拷贝的。 【1】SolrCore功能点     0.JMX的初始化—》远程监控使用 进入参考链接http://lucidworks

自从NoSQL概念横空出世，关系数据库似乎就成了众矢之的，似乎一夜之间，关系数据库和SQL就成了低效，高成本，速度慢的数据处理模式的代名词。 在很多地方都能看到类似："我的项目初创，应该选择什么NoSQL产品才能快速的开发？" 这样的问题。    正因有人提出这样的问题，才坚定了我把这篇文章放在

案例1：   <html xmlns="http://www.w3.org/1999/xhtml"> <head>     <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>     <title></title>  

   众所周知，Redis提供了发布订阅功能以及利用List数据结构可以实现消息队列的功能，本来这些也没什么技术难度，但是每次写这些程序时候，生产者和消费者都要写一些重复代码（管理Redis）和一些容易混乱的代码（消费者如何实现发布订阅和消息队列的消费），能不能有个中间件或者一个工具(...