专注java技术,热爱长跑和阅读开源代码 邮箱 lebron374@163.com
参考链接 http://www.cnblogs.com/ahudyan-forever/p/6007458.html 实验代码 System.out.println("---------------------------java.
转自:http://www.cnblogs.com/haippy/archive/2012/07/05/2577233.html maven目录介绍:http://www.cnblogs.com/now-fighting/p/4858982.html Maven 标准目录结构 好的目录结构可以使开发人员更容易理解项目,为以后的维护工作也打下良好的基础。
转自:http://xxgblog.com/2013/07/04/java-urlclassloader-plugin/
转自:http://blog.csdn.net/wangchengsi/article/details/2110647 Java的类型转换异常(ClassCastException),恐怕是开发中最常见的异常之一,比如你把一个本身为String的对象强行转换成List时,就会抛出此异常。
源码分析:http://www.cnblogs.com/micrari/p/7429364.html 继承结构:http://www.cnblogs.com/MOBIN/p/5436482.html 推荐博客:http://www.cnblogs.com/micrari/category/815097.html 关于ThreadPoolExecutors的理解,个人认为需要搞清楚两个过程就可以了,第一个是添加任务的过程,第二是如何获取任务并执行的过程,具体可以参考源码分析的链接。
核心概念理解:elastcsearch整个过程包括匹配+打分,其中匹配根据查询条件进行查询,打分根据查询回来的字段进行打分。 通过Function Score Query优化Elasticsearch搜索结果:http://blog.
转自:http://blog.csdn.net/zwj1030711290/article/details/56678353 maven包含依赖包
转自:http://blog.csdn.net/daiyutage/article/details/53739452
转自:http://www.cnblogs.com/javaee6/p/3714716.html?utm_source=tuicool&utm_medium=referral 1 开门见山 以前曾经看到过一个java的面试题,当时觉得此题很简单,可是自己把代码运行起来,可是结果并不是自己想象的那样。
转自:http://blog.csdn.net/cardinalzbk/article/details/58587218 转自:http://www.dcharm.com/?p=477
转自:http://www.cnblogs.com/xffy1028/p/6383676.html 插件入口: package ttd.ugc.plugin; import org.
转自:http://www.dcharm.com/?p=469 本文讨论ES的自定义排序的两种实现形式:基于groovy脚本的自定义排序和基于native script的自定义排序。
转自:http://blog.csdn.net/kesonyk/article/details/50924489 案例:https://github.com/lebron374/thriftDemo RPC, 远程过程调用(Remote Procedure Call,RPC)是一个计算机通信协议,该协议允许运行于一台计算机的程序程调用另一台计算机的上的程序。
转自:http://www.cnblogs.com/crazy-fox/archive/2012/02/09/2343722.html 我们都知道Maven本质上是一个插件框架,它的核心并不执行任何具体的构建任务,所有这些任务都交给插件来完成,例如编译源代码是由maven- compiler-plugin完成的。
转自:http://blog.csdn.net/moshenglv/article/details/52027176
添加新硬盘 设置 -> Storage -> SATA控制器->右击,选择“添加虚拟硬盘” 然后,根据需求创建合适的硬盘 重启虚拟机 查看现有的磁盘空间 sudo fdisk -l 可看到新加的虚拟硬盘,一般名为:Disk /de...
参考: http://www.cnblogs.com/yanghaolie/p/6274098.html http://www.cnblogs.com/rilley/p/5679049.html
map写数据到本地磁盘过程解析----spill和merge: http://www.cnblogs.com/lz3018/p/4940904.html InputSplit—>RecordReder—>map(key,value,context)的过程解析: http://www.
转自;http://blog.csdn.net/woshiwanxin102213/article/details/19688393 1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。
转自:http://blog.csdn.net/babyfish13/article/details/52527665 1、hadoop1.0时期架构 2、hadoop2.
基于用户的协同过滤算法:http://www.cnblogs.com/qwj-sysu/p/4368874.html 基于商品协同过滤算法:http://blog.
转自:http://blog.csdn.net/zilong_zilong/article/details/51703399
http://blog.csdn.net/u011414200/article/details/50383512
转自: https://my.oschina.net/iamchenli/blog/845850 http://www.cnblogs.com/xing901022/p/5804836.html
转自:https://www.iteblog.com/archives/871.html Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、在已经进入cli时进行参数声明。
创建表的三种方式 第一种创建方式:普通方式(最常用) 创建格式 # 指定标的类型和表的名称 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.
转自:http://blog.csdn.net/gamer_gyt/article/details/51758881 参考博客: http://dongxicheng.
官网配置:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.
安装链接: http://www.cnblogs.com/lion.NET/p/5477899.html http://www.aboutyun.com/thread-9075-1-1.html 官网: http://www.cloudera.com/ 安装方式: 建议离线安装,可以单独下载CM和CDH组件 1、CDH介绍 1.1、什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装。
转自:http://top.jobbole.com/31084/ 在之前的博客中,介绍了Kafka Web Console这个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。
kafka的背景知识已经讲了很多了,让我们现在开始实践吧,假设你现在没有Kafka和ZooKeeper环境。 Step 1: 下载代码 下载0.10.0.0版本并且解压它。
Kafka作为一个分布式的流平台,这到底意味着什么? 我们认为,一个流处理平台具有三个关键能力: 发布和订阅消息(流),在这方面,它类似于一个消息队列或企业消息系统。
作者:半兽人 链接:http://orchome.com/454 来源:OrcHome 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
Flume的下载方式: wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.
1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。
转自:https://my.oschina.net/sunzy/blog/183795 1. 背景介绍 许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征: (1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; (2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统; (3) 具有高可扩展性。
转自:http://lxw1234.com/archives/2015/12/585.htm 关键字:hive、elasticsearch、integration、整合 ElasticSearch已经可以与YARN、Hadoop、Hive、Pig、Spark、Flume等大数据技术框架整合起来使用,尤其是在添加数据的时候,可以使用分布式任务来添加索引数据,尤其是在数据平台上,很多数据存储在Hive中,使用Hive操作ElasticSearch中的数据,将极大的方便开发人员。
参考文章 https://www.confluent.io/product/confluent-platform/ http://blog.csdn.net/amghost/article/details/44258841 http://blog.
环境:windows10、virtualBox、centos6.8、hadoop2.6.0、 jdk1.7.0_79、mysql 本文主要分为4大块,分别是virtualbox下centos安装、hadoop安装、hive安装。
转自:http://blog.csdn.net/lzm1340458776/article/details/45286207 工作进程(Worker Process) Worker是Spout/Bolt中运行具体处理逻辑的进程。
原文链接:http://iaspecwang.iteye.com/blog/1931043 一.概述 定义:虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的java类型。
来源:https://my.oschina.net/editorial-story/blog/883856 分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大、高并发的特点,对数据处理的要求较高,既要保证高效性,也要保证准确性和安全性,相对比较耗时的业务逻辑往往会从中剥离开来进行异步处理。
rpm -qa | grep mysql // 这个命令就会查看该操作系统上是否已经安装了mysql数据库 rpm -e mysql //普通删除模式 rpm -e --nodeps mysql //强力删除模式,如果使用上面命令删除时,提示有依...
参考网址 elasticsearch权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.
原文链接:http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html 延伸阅读:https://my.oschina.net/kiwivip/blog/133498 Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。
elasticsearch安装 参考链接:http://www.jianshu.com/p/058a4a26dce7 kibana安装 下载链接:https://www.
elasticsearch 权威指南在线链接 https://www.elastic.co/guide/cn/elasticsearch/guide/current/_document_oriented.
elasticsearch 安装 1、elasticsearch下载 下载链接:https://www.elastic.co/downloads/past-releases jdk依赖:elasticsearch 2.
jedisCluster的源码分析主要包括两部分,一个是集群的初始化,一个是集群的访问。 集群初始化分析过程 1、调用构造函数初始化 2、创建连接redis集群对象 3、继续调用构造函数初始化 4、...
jedis类简单说明 jedis 3.x的集群模式的客户端主要使用JedisCluster类来进行访问,下面主要是把相关的类的继承关系简单罗列一下,jedisCluster类 访问 jedis类,jedis 访问 client类, client类调用connection类发送命令并获取数据。