小金子
TA的个人档案
个人介绍
热爱分布式技术
擅长的技术
- 高分内容
- 最新动态
- 文章
- 问答
-
发表了文章 2017-05-02
Spark Streaming和Flink的Word Count对比
准备： nccat for windows/linux 都可以 通过 TCP 套接字连接，从流数据中创建了一个 Spark DStream/ Flink DataSream, 然后进行处理, 时间窗口大小为10s 因为 示例需要, 所以 需要下载一个netcat, 来构造流的输入。 代码： spark streaming package cn.kee.spark; public final class JavaNetworkWordCount { private static final Pattern SPACE = Pattern.compile(" "); public static void main(String[] args) throws Exception { if (args.length < 2) { System.err.println("Usage: JavaNetworkWordCount <hostname> <port>"); System.exit(1); } StreamingExamples.setStreamingLogLevels(); SparkConf sparkConf = new SparkConf().setAppName("JavaNetworkWordCount"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(1)); JavaReceiverInputDStream<String> lines = ssc.socketTextStream( args[0], Integer.parseInt(args[1]), StorageLevels.MEMORY_AND_DISK_SER); JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() { @Override public Iterator<String> call(String x) { return Arrays.asList(SPACE.split(x)).iterator(); } }); JavaPairDStream<String, Integer> wordCounts = words.mapToPair( new PairFunction<String, String, Integer>() { @Override public Tuple2<String, Integer> call(String s) { return new Tuple2<>(s, 1); } }).reduceByKey(new Function2<Integer, Integer, Integer>() { @Override public Integer call(Integer i1, Integer i2) { return i1 + i2; } }); wordCounts.print(); ssc.start(); ssc.awaitTermination(); } } Flink DataSream package cn.kee.flink; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.api.java.utils.ParameterTool; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.windowing.time.Time; import org.apache.flink.util.Collector; /** * Example :SocketWindowWordCount * @author keehang * */ public class SocketWindowWordCount { public static void main(String[] args) throws Exception { // the port to connect to final int port = 9999; /*try { final ParameterTool params = ParameterTool.fromArgs(args); port = params.getInt("port"); } catch (Exception e) { System.err.println("No port specified. Please run 'SocketWindowWordCount --port <port>'"); return; }*/ // get the execution environment final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // get input data by connecting to the socket DataStream<String> text = env.socketTextStream("localhost", port, "\n"); // parse the data, group it, window it, and aggregate the counts DataStream<WordWithCount> windowCounts = text .flatMap(new FlatMapFunction<String, WordWithCount>() { @Override public void flatMap(String value, Collector<WordWithCount> out) { for (String word : value.split("\\s")) { out.collect(new WordWithCount(word, 1L)); } } }) .keyBy("word") .timeWindow(Time.seconds(5), Time.seconds(1)) .reduce(new ReduceFunction<WordWithCount>() { @Override public WordWithCount reduce(WordWithCount a, WordWithCount b) { return new WordWithCount(a.word, a.count + b.count); } }); // print the results with a single thread, rather than in parallel windowCounts.print().setParallelism(1); env.execute("Socket Window WordCount"); } } 结果： Spark是一种快速、通用的计算集群系统，Spark提出的最主要抽象概念是弹性分布式数据集(RDD)，它是一个元素集合，划分到集群的各个节点上，可以被并行操作。用户也可以让Spark保留一个RDD在内存中，使其能在并行操作中被有效的重复使用。 Flink是可扩展的批处理和流式数据处理的数据处理平台，设计思想主要来源于Hadoop、MPP数据库、流式计算系统等，支持增量迭代计算。 总结：Spark和Flink全部都运行在Hadoop YARN上，性能为Flink > Spark > Hadoop(MR)，迭代次数越多越明显，性能上，Flink优于Spark和Hadoop最主要的原因是Flink支持增量迭代，具有对迭代自动优化的功能 流式计算比较 它们都支持流式计算，Flink是一行一行处理，而Spark是基于数据片集合（RDD）进行小批量处理，所以Spark在流式处理方面，不可避免增加一些延时。Flink的流式计算跟Storm性能差不多，支持毫秒级计算，而Spark则只能支持秒级计算。 SQL支持 都支持，Spark对SQL的支持比Flink支持的范围要大一些，另外Spark支持对SQL的优化，而Flink支持主要是对API级的优化。 Spark 感觉2.x 后主要在spark sql 这里发展优势,快速Join操作，以及继续扩展sql支持。至于Flink，其对于流式计算和迭代计算支持力度将会更加增强。
-
发表了文章 2016-12-09
System.arraycopy
当我还年幼的时候，我很任性，复制数组也是，写一个for循环，来回倒腾，后来长大了，就发现了System.arraycopy的好处。 为了测试俩者的区别我写了一个简单赋值int[100000]的程序来对比，并且中间使用了nanoTime来计算时间差： 程序如下： int[] a = new int[100000]; for(int i=0;i<a.length;i++){ a[i] = i; } int[] b = new int[100000]; int[] c = new int[100000]; for(int i=0;i<c.length;i++){ c[i] = i; } int[] d = new int[100000]; for(int k=0;k<10;k++){ long start1 = System.nanoTime(); for(int i=0;i<a.length;i++){ b[i] = a[i]; } long end1 = System.nanoTime(); System.out.PRintln("end1 - start1 = "+(end1-start1)); long start2 = System.nanoTime(); System.arraycopy(c, 0, d, 0, 100000); long end2 = System.nanoTime(); System.out.println("end2 - start2 = "+(end2-start2)); System.out.println(); } 为了避免内存不稳定干扰和运行的偶然性结果，我在一开始的时候把所有空间申明完成，并且只之后循环10次执行，得到如下结果： end1 - start1 = 366806 end2 - start2 = 109154 end1 - start1 = 380529 end2 - start2 = 79849 end1 - start1 = 421422 end2 - start2 = 68769 end1 - start1 = 344463 end2 - start2 = 72020 end1 - start1 = 333174 end2 - start2 = 77277 end1 - start1 = 377335 end2 - start2 = 82285 end1 - start1 = 370608 end2 - start2 = 66937 end1 - start1 = 349067 end2 - start2 = 86532 end1 - start1 = 389974 end2 - start2 = 83362 end1 - start1 = 347937 end2 - start2 = 63638 可以看出，System.arraycopy的性能很不错，为了看看究竟这个底层是如何处理的，我找到openJDK的一些代码留恋了一些： System.arraycopy是一个native函数，需要看native层的代码： public static native void arraycopy(Object src, int srcPos, Object dest, int destPos, int length); 找到对应的openjdk6-src/hotspot/src/share/vm/prims/jvm.cpp，这里有JVM_ArrayCopy的入口： JVM_ENTRY(void, JVM_ArrayCopy(JNIEnv *env, jclass ignored, jobject src, jint src_pos, jobject dst, jint dst_pos, jint length)) JVMWrapper("JVM_ArrayCopy"); // Check if we have null pointers if (src == NULL || dst == NULL) { THROW(vmSymbols::java_lang_NullPointerException()); } arrayOop s = arrayOop(JNIHandles::resolve_non_null(src)); arrayOop d = arrayOop(JNIHandles::resolve_non_null(dst)); assert(s->is_oop(), "JVM_ArrayCopy: src not an oop"); assert(d->is_oop(), "JVM_ArrayCopy: dst not an oop"); // Do copy Klass::cast(s->klass())->copy_array(s, src_pos, d, dst_pos, length, thread); JVM_END 前面的语句都是判断，知道最后的copy_array(s, src_pos, d, dst_pos, length, thread)是真正的copy，进一步看这里，在openjdk6-src/hotspot/src/share/vm/oops/typeArrayKlass.cpp中： void typeArrayKlass::copy_array(arrayOop s, int src_pos, arrayOop d, int dst_pos, int length, TRAPS) { assert(s->is_typeArray(), "must be type array"); // Check destination if (!d->is_typeArray() || element_type() != typeArrayKlass::cast(d->klass())->element_type()) { THROW(vmSymbols::java_lang_ArrayStoreException()); } // Check is all offsets and lengths are non negative if (src_pos < 0 || dst_pos < 0 || length < 0) { THROW(vmSymbols::java_lang_ArrayIndexOutOfBoundsException()); } // Check if the ranges are valid if ( (((unsigned int) length + (unsigned int) src_pos) > (unsigned int) s->length()) || (((unsigned int) length + (unsigned int) dst_pos) > (unsigned int) d->length()) ) { THROW(vmSymbols::java_lang_ArrayIndexOutOfBoundsException()); } // Check zero copy if (length == 0) return; // This is an attempt to make the copy_array fast. int l2es = log2_element_size(); int ihs = array_header_in_bytes() / WordSize; char* src = (char*) ((oop*)s + ihs) + ((size_t)src_pos << l2es); char* dst = (char*) ((oop*)d + ihs) + ((size_t)dst_pos << l2es); Copy::conjoint_memory_atomic(src, dst, (size_t)length << l2es);//还是在这里处理copy } 这个函数之前的仍然是一堆判断，直到最后一句才是真实的拷贝语句。 在openjdk6-src/hotspot/src/share/vm/utilities/copy.cpp中找到对应的函数： // Copy bytes; larger units are filled atomically if everything is aligned. void Copy::conjoint_memory_atomic(void* from, void* to, size_t size) { address src = (address) from; address dst = (address) to; uintptr_t bits = (uintptr_t) src | (uintptr_t) dst | (uintptr_t) size; // (Note: We could improve performance by ignoring the low bits of size, // and putting a short cleanup loop after each bulk copy loop. // There are plenty of other ways to make this faster also, // and it's a slippery slope. For now, let's keep this code simple // since the simplicity helps clarify the atomicity semantics of // this Operation. There are also CPU-specific assembly versions // which may or may not want to include such optimizations.) if (bits % sizeof(jlong) == 0) { Copy::conjoint_jlongs_atomic((jlong*) src, (jlong*) dst, size / sizeof(jlong)); } else if (bits % sizeof(jint) == 0) { Copy::conjoint_jints_atomic((jint*) src, (jint*) dst, size / sizeof(jint)); } else if (bits % sizeof(jshort) == 0) { Copy::conjoint_jshorts_atomic((jshort*) src, (jshort*) dst, size / sizeof(jshort)); } else { // Not aligned, so no need to be atomic. Copy::conjoint_jbytes((void*) src, (void*) dst, size); } } 上面的代码展示了选择哪个copy函数，我们选择conjoint_jints_atomic，在openjdk6-src/hotspot/src/share/vm/utilities/copy.hpp进一步查看： // jints, conjoint, atomic on each jint static void conjoint_jints_atomic(jint* from, jint* to, size_t count) { assert_params_ok(from, to, LogBytesPerInt); pd_conjoint_jints_atomic(from, to, count); } 继续向下查看，在openjdk6-src/hotspot/src/cpu/zero/vm/copy_zero.hpp中： static void pd_conjoint_jints_atomic(jint* from, jint* to, size_t count) { _Copy_conjoint_jints_atomic(from, to, count); } 继续向下查看，在openjdk6-src/hotspot/src/os_cpu/linux_zero/vm/os_linux_zero.cpp中： void _Copy_conjoint_jints_atomic(jint* from, jint* to, size_t count) { if (from > to) { jint *end = from + count; while (from < end) *(to++) = *(from++); } else if (from < to) { jint *end = from; from += count - 1; to += count - 1; while (from >= end) *(to--) = *(from--); } } 可以看到，直接就是内存块赋值的逻辑了，这样避免很多引用来回倒腾的时间，必然就变快了。
-
发表了文章 2016-12-09
java轻量级IOC框架Guice
Guice是由Google大牛Bob lee开发的一款绝对轻量级的java IoC容器。其优势在于： 速度快，号称比spring快100倍。 无外部配置(如需要使用外部可以可以选用Guice的扩展包)，完全基于annotation特性，支持重构，代码静态检查。 简单，快速，基本没有学习成本。 Guice和spring各有所长，Guice更适合与嵌入式或者高性能但项目简单方案，如OSGI容器，spring更适合大型项目组织。 注入方式 在我们谈到IOC框架，首先我们的话题将是构造，属性以及函数注入方式，Guice的实现只需要在构造函数，字段，或者注入函数上标注@Inject，如： 构造注入 public class OrderServiceImpl implements OrderService { private ItemService itemService; private PriceService priceService; @Inject public OrderServiceImpl(ItemService itemService, PriceService priceService) { this.itemService = itemService; this.priceService = priceService; } ... } 属性注入 public class OrderServiceImpl implements OrderService { private ItemService itemService; private PriceService priceService; @Inject public void init(ItemService itemService, PriceService priceService) { this.itemService = itemService; this.priceService = priceService; } ... } 函数(setter)注入 public class OrderServiceImpl implements OrderService { private ItemService itemService; private PriceService priceService; @Inject public void setItemService(ItemService itemService) { this.itemService = itemService; } @Inject public void setPriceService(PriceService priceService) { this.priceService = priceService; } ... } Module依赖注册 Guice提供依赖配置类，需要继承至AbstractModule，实现configure方法。在configure方法中我们可以用Binder配置依赖。 Binder利用链式形成一套独具语义的DSL，如： 基本配置：binder.bind(serviceClass).to(implClass).in(Scopes.[SINGLETON | NO_SCOPE]); 无base类、接口配置：binder.bind(implClass).in(Scopes.[SINGLETON | NO_SCOPE]); service实例配置：binder.bind(serviceClass).toInstance(servieInstance).in(Scopes.[SINGLETON | NO_SCOPE]); 多个实例按名注入：binder.bind(serviceClass).annotatedWith(Names.named(“name”)).to(implClass).in(Scopes.[SINGLETON | NO_SCOPE]); 运行时注入：利用@Provides标注注入方法，相当于spring的@Bean。 @ImplementedBy：或者在实现接口之上标注@ImplementedBy指定其实现类。这种方式有点反OO设计，抽象不该知道其实现类。 对于上面的配置在注入的方式仅仅需要@Inject标注，但对于按名注入需要在参数前边加入@Named标注，如： public void configure() { final Binder binder = binder(); //TODO: bind named instance; binder.bind(NamedService.class).annotatedWith(Names.named("impl1")).to(NamedServiceImpl1.class); binder.bind(NamedService.class).annotatedWith(Names.named("impl2")).to(NamedServiceImpl2.class); } @Inject public List<NamedService> getAllItemServices(@Named("impl1") NamedService nameService1, @Named("impl2") NamedService nameService2) { } Guice也可以利用@Provides标注注入方法来运行时注入：如 @Provides public List<NamedService> getAllItemServices(@Named("impl1") NamedService nameService1, @Named("impl2") NamedService nameService2) { final ArrayList<NamedService> list = new ArrayList<NamedService>(); list.add(nameService1); list.add(nameService2); return list; } Guice实例 下面是一个Guice module的实例代码：包含大部分常用依赖配置方式。更多代码参见github . package com.github.greengerong.app; /** * *************************************** * * * Auth: green gerong * * Date: 2014 * * blog: http://greengerong.github.io/ * * github: https://github.com/greengerong * * * * **************************************** */ public class AppModule extends AbstractModule { private static final Logger LOGGER = LoggerFactory.getLogger(AppModule.class); private final BundleContext bundleContext; public AppModule(BundleContext bundleContext) { this.bundleContext = bundleContext; LOGGER.info(String.format("enter app module with: %s", bundleContext)); } @Override public void configure() { final Binder binder = binder(); //TODO: bind interface binder.bind(ItemService.class).to(ItemServiceImpl.class).in(SINGLETON); binder.bind(OrderService.class).to(OrderServiceImpl.class).in(SINGLETON); //TODO: bind self class(without interface or base class) binder.bind(PriceService.class).in(Scopes.SINGLETON); //TODO: bind instance not class. binder.bind(RuntimeService.class).toInstance(new RuntimeService()); //TODO: bind named instance; binder.bind(NamedService.class).annotatedWith(Names.named("impl1")).to(NamedServiceImpl1.class); binder.bind(NamedService.class).annotatedWith(Names.named("impl2")).to(NamedServiceImpl2.class); } @Provides public List<NamedService> getAllItemServices(@Named("impl1") NamedService nameService1, @Named("impl2") NamedService nameService2) { final ArrayList<NamedService> list = new ArrayList<NamedService>(); list.add(nameService1); list.add(nameService2); return list; } } Guice的使用 对于Guice的使用则比较简单，利用利用Guice module初始化Guice创建其injector，如： Injector injector = Guice.createInjector(new AppModule(bundleContext)); 这里可以传入多个module，我们可以利用module分离领域依赖。 Guice api方法： public static Injector createInjector(Module... modules) public static Injector createInjector(Iterable<? extends Module> modules) public static Injector createInjector(Stage stage, Module... modules) public static Injector createInjector(Stage stage, Iterable<? extends Module> modules) Guice同时也支持不同Region配置，上面的State重载，state支持 TOOL,DEVELOPMENT,PRODUCTION选项;默认为DEVELOPMENT环境。
-
发表了文章 2016-11-17
ES问题
Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。此外，它还为Java、PHP、Perl、Python以及Ruby等各种语言提供了原生的客户端类库。下面是总结了一下使用 elasticsearch所遇到的各类问题以及相关的解决方案。 1、out of memory错误问题 因为默认情况下es对字段数据缓存(Field Data Cache)大小是无限制的，查询时会把字段值放到内存，特别是facet查询，对内存要求非常高，它会把结果都放在内存，然后进行排序等操作，一直使用内存，直到内存用完，当内存不够用时就有可能出现out of memory错误。 解决方法： (1)设置es的缓存类型为Soft Reference，它的主要特点是据有较强的引用功能。只有当内存不够的时候，才进行回收这类内存，因此在内存足够的时候，它们通常不被回收。另外，这些引 用对象还能保证在Java抛出OutOfMemory 异常之前，被设置为null。它可以用于实现一些常用图片的缓存，实现Cache的功能，保证最大限度的使用内存而不引起OutOfMemory。在es 的配置文件加上index.cache.field.type: soft即可。 (2)设置es最大缓存数据条数和缓存失效时间，通过设置index.cache.field.max_size: 50000来把缓存field的最大值设置为50000，设置index.cache.field.expire: 10m把过期时间设置成10分钟。 2、抛出异常，错误如下： 1org.elasticsearch.transport.RemoteTransportException: Failed to deserialize exception response from stream 原因：es节点之间的JDK版本不一样 解决方式：统一JDK版本和环境 3、抛出异常，错误如下： org.elasticsearch.client.transport.NoNodeAvailableException: No node available (1)端口错误 client = new TransportClient().addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300)); 端口9300写成9200的报错No node available 或者查看连接的是不是本地计算机，如果是远程的话查看一下IP地址是否正确。 (2)jar包报错误的话可能是引用包不匹配，开启的服务是什么版本最好对应相应的jar包。 (3)修改了集群名称，设置了集群名字导致出现问题，设置操作如下： Settings settings = ImmutableSettings.settingsBuilder().put("cluster.name", "yoodb").build(); client = new TransportClient(settings).addTransportAddress(new InetSocketTransportAddress(ipAddress, 9300)); (4)集群超过5s没有响应，解决方式如下： 1)设置client.transport.ping_timeout超时时间，增大一些 2)代码内嵌入，如下： while (true) { try { bulk.execute().actionGet(getRetryTimeout()); break; } catch (NoNodeAvailableException cont) { Thread.sleep(5000); continue; } } 4、由gc引起节点脱离集群 因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次(zen discovery默认ping失败重试3次)不通后就会把该节点剔除出集群，从而导致索引进行重新分配。解决方法如下： (1)优化gc，减少gc时间。 (2)调大zen discovery的重试次数(es参数：ping_retries)和超时时间(es参数：ping_timeout)。后来发现根本原因是有个节点的系统所在硬盘满了。导致系统性能下降。 5、无法创建本地线程问题 es恢复时报错，如下： RecoverFilesRecoveryException[[index][3] Failed to transfer [215] files with total size of [9.4gb]]; nested: OutOfMemoryError[unable to create new native thread]; ]] 刚开始以为是文件句柄数限制，但想到之前报的是too many open file这个错误，并且也把数据改大了。查资料得知一个进程的jvm进程的最大线程数为：虚拟内存/(堆栈大小*1024*1024)，也就是说虚拟内存越大或堆栈越小，能创建的线程越多。重新设置后还是会报那这错，按理说可创建线程数完全够用了的，就想是不是系统的一些限制。后来在网上找到说是max user processes的问题，这个值默认是1024，这个参数单看名字是用户最大打开的进程数，但看官方说明，就是用户最多可创建线程数，因为一个进程最少有一个线程，所以间接影响到最大进程数。调大这个参数后就没有报这个错了。 解决方法： (1)增大jvm的heap内存或降低xss堆栈大小(默认的是512K)。 (2)打开/etc/security/limits.d/90-nproc.conf，把soft nproc 1024这行的1024改大就行了。 6、集群状态为黄色时并发插入数据报错，错误如下： [7]: index [index], type [index], id [1569133], message [UnavailableShardsException[[index][1] [4] shardIt, [2] active : Timeout waiting for [1m], request: org.elasticsearch.action.bulk.BulkShardRequest@5989fa07]] 这是错误信息，当时集群状态为黄色，即副本没有分配。当时副本设置为2，只有一个节点，当你设置的副本大于可分配的机器时，此时如果你插入数据就有可能报上面的错，因为es的写一致性默认是使用quorum，即quorum值必须大于(副本数/2+1)，我这里2/2+1=2也就是说要要至少插入到两份索引中，由于只有一个节点，quorum等于1，所以只插入到主索引，副本找不到从而报上面那个错。 解决方法：(1)去掉没分配的副本。(2)把写一致性改成one，即只写入一份索引就行。 7、错误使用api导致集群卡死 其实这个是很低级的错误。功能就是更新一些数据，可能会对一些数据进行删除，但删除时同事使用了deleteByQuery这个接口，通过构造 BoolQuery把要删除数据的id传进去，查出这些数据删除。但问题是BoolQuery最多只支持1024个条件，100个条件都已经很多了，所以这样的查询一下子就把es集群卡死了。 解决方法：用bulkRequest进行批量删除操作。 8、设置jvm锁住内存时启动警告 当设置bootstrap.mlockall: true时，启动es报警告Unknown mlockall error 0，因为linux系统默认能让进程锁住的内存为45k。 解决方法：设置为无限制，linux命令：ulimit -l unlimited 博文出处：http://www.yoodb.com/article/display/246
-
发表了文章 2016-10-10
elasticsearch命令
1.如何关闭ES，elasticsearch关闭办法 1.使用head插件 找到想关掉的节点进行关停 2.使用命令kill杀掉服务器的ES进程即可 1.查找ES进程 ps -ef | grep elastic 2.杀掉ES进程 kill -9 2382（进程号） 3.重启ES sh elasticsearch -d 2.如何重启ES 没有重启的办法，只有参考上面关闭->开启这样。 以下是详细的操作过程 1.首先是查找服务器是否有ES进程，无果ES没有开启，也就不用关闭了，如果开启，则杀死进程就行 1.查找进程命令 ps -ef | grep elastic [root@bjdhj-125-203 _site]# ps -ef | grep elastic //然后可以看到如下的进程号，2382,2583之类的，之后kill掉就可以啦。 root 2382 1 0 Jan05 ? 00:10:57 /opt/soft/jdk/jdk1.7.0_80/bin/java -Xms2g -Xmx2g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8 -Delasticsearch -Des.path.home=/opt/soft/elasticsearch-1.5.2-2 -cp :/opt/soft/elasticsearch-1.5.2-2/lib/elasticsearch-1.5.2.jar:/opt/soft/elasticsearch-1.5.2-2/lib/*:/opt/soft/elasticsearch-1.5.2-2/lib/sigar/* org.elasticsearch.bootstrap.Elasticsearch root 2583 1 0 Jan05 ? 00:10:24 /opt/soft/jdk/jdk1.7.0_80/bin/java -Xms2g -Xmx2g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8 -Delasticsearch -Des.path.home=/opt/soft/elasticsearch-1.5.2 -cp :/opt/soft/elasticsearch-1.5.2/lib/elasticsearch-1.5.2.jar:/opt/soft/elasticsearch-1.5.2/lib/*:/opt/soft/elasticsearch-1.5.2/lib/sigar/* org.elasticsearch.bootstrap.Elasticsearch root 8682 8564 0 18:04 pts/0 00:00:00 grep elastic 2.杀掉进程 kill -9 2382（进程号） //杀掉杀掉统统杀掉，如果不确定进程号，可以看看上面信息里面的进程路径地址，防止杀错 [root@bjdhj-125-203 _site]# kill -9 2382 [root@bjdhj-125-203 _site]# ps -ef | grep elastic root 2583 1 0 Jan05 ? 00:10:24 /opt/soft/jdk/jdk1.7.0_80/bin/java -Xms2g -Xmx2g -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Dfile.encoding=UTF-8 -Delasticsearch -Des.path.home=/opt/soft/elasticsearch-1.5.2 -cp :/opt/soft/elasticsearch-1.5.2/lib/elasticsearch-1.5.2.jar:/opt/soft/elasticsearch-1.5.2/lib/*:/opt/soft/elasticsearch-1.5.2/lib/sigar/* org.elasticsearch.bootstrap.Elasticsearch root 8684 8564 0 18:05 pts/0 00:00:00 grep elastic 3.重启命令 sh elasticsearch -d [root@bjdhj-125-203 elasticsearch-1.5.2]# ls bin config data lib LICENSE.txt logs NOTICE.txt plugins README.textile [root@bjdhj-125-203 elasticsearch-1.5.2]# cd bin [root@bjdhj-125-203 bin]# ./elasticsearch -d -bash: ./elasticsearch: Permission denied [root@bjdhj-125-203 bin]# sh elasticsearch -d link /opt/soft/jdk/jdk1.7.0_80 to /opt/soft/java User=root SourceJDKFileBase=10.126.103.198 JDKBasePath=/opt/soft/jdk Timeout=2 DefaultVer=jdk1.6.0_45 CurrentVer=jdk1.7.0_80 Initialize jdk(jdk1.7.0_80) done Current jdk version = 1.7.0_80 [root@bjdhj-125-203 bin]# ps -ef | grep elastic
滑动查看更多
暂无更多信息
-
发表了文章
2013-03-17
github
-
发表了文章
2013-03-17
html5
-
发表了文章
2013-10-04
用AJAX刷新一个DIV中的jsp内容
-
发表了文章
2013-10-04
JSP动作 解析
-
发表了文章
2013-12-31
算法——bing字典问题
-
发表了文章
2013-12-31
算法_三元组的数量
-
发表了文章
2014-01-20
字符串排序
-
发表了文章
2014-05-29
html5-俄罗斯方块分析
-
发表了文章
2014-06-12
F(M,N)求解不大于N的自然数和是M的组成序列个数
-
发表了文章
2014-06-16
集群
-
发表了文章
2014-06-16
递归实现n皇后问题
-
发表了文章
2014-06-16
迷宫探索
-
发表了文章
2014-06-16
压缩字符串
-
发表了文章
2014-06-16
NS2
-
发表了文章
2014-06-16
NS2机制
-
发表了文章
2014-06-16
NS2调试
-
发表了文章
2014-06-16
NS2原理
-
发表了文章
2014-06-16
仿真
-
发表了文章
2014-06-16
NS2网络性能参数分析
-
发表了文章
2014-06-18
10个重要算法C实现
滑动查看更多
-
提交了问题
2016-07-09
多个consumer会出现错误
-
回答了问题
2016-07-09
Customer Group已存在问题
ReCustomer Group已存在问题多个consumer会报错！你解决了吗赞0 踩0 评论0 -
回答了问题
2016-07-09
突然拉不到数据了！！！！求助
Re突然拉不到数据了！！！！求助配置了teamcode 的 以前是可以拉去消息的，增加了consumer后就报错
https://github.com/alibaba/RocketMQ/issues/40 上说是：错误提示不太准确， 你start前设置一个不同的instance name赞0 踩0 评论0 -
提交了问题
2016-07-09
突然拉不到数据了！！！！求助
-
提交了问题
2016-07-01
关于第二题的100G数据！官方可否给大于100G的模拟数据
-
回答了问题
2016-07-01
tair超时问题但是可以put/get
回 1楼浅墨的帖子:
网络没有问题呀。
:
就是它自检的时候ping有问题。赞0 踩0 评论0 -
提交了问题
2016-07-01
tair超时问题但是可以put/get
-
回答了问题
2016-06-29
关于测评精度问题
回 1楼玄弟的帖子你好！老师，如何pc/无线 无线是0 怎么办？会出现这种情况吗赞0 踩0 评论0 -
提交了问题
2016-06-28
第二题环境问题
-
提交了问题
2016-06-20
为什么运行老是Failed to get master from ZK呢.本地模式可以运行
-
回答了问题
2016-06-19
为什么运行老是Failed to get master from ZK呢.本地模式可以运行
Re为什么运行老是Failed to get master from ZK呢.本地模式可以运行HELP ME!!!!!!!!!!!!!!!!!!!!!!
Fail to run nimbus
java.lang.IllegalStateException: instance must be started before calling this method
at com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[guava-16.0.1.j
ar:na]
at org.apache.curator.framework.imps.CuratorFrameworkImpl.getChildren(CuratorFrameworkImpl.
java:390) ~[curator-framework-2.5.0.jar:na]
at com.alibaba.jstorm.zk.Zookeeper.getChildren(Zookeeper.java:184) ~[jstorm-core-2.1.1.jar:
na]
at com.alibaba.jstorm.cluster.DistributedClusterState.get_children(DistributedClusterState.
java:130) ~[jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.cluster.StormZkClusterState.active_storms(StormZkClusterState.java:32
9) ~[jstorm-core-2.1.1.jar:na]
-------------------------
Re为什么运行老是Failed to get master from ZK呢.本地模式可以运行[ERROR 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:137 main] Fail to run nimbus
java.lang.IllegalStateException: instance must be started before calling this method
at com.google.common.base.Preconditions.checkState(Preconditions.java:176) ~[guava-16.0.1.j
ar:na]
at org.apache.curator.framework.imps.CuratorFrameworkImpl.getChildren(CuratorFrameworkImpl.
java:390) ~[curator-framework-2.5.0.jar:na]
at com.alibaba.jstorm.zk.Zookeeper.getChildren(Zookeeper.java:184) ~[jstorm-core-2.1.1.jar:
na]
at com.alibaba.jstorm.cluster.DistributedClusterState.get_children(DistributedClusterState.
java:130) ~[jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.cluster.StormZkClusterState.active_storms(StormZkClusterState.java:32
9) ~[jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusUtils.cleanupCorruptTopologies(NimbusUtils.java:2
90) ~[jstorm-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.init(NimbusServer.java:168) [jstorm-core-2
.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.launchServer(NimbusServer.java:132) [jstor
m-core-2.1.1.jar:na]
at com.alibaba.jstorm.daemon.nimbus.NimbusServer.main(NimbusServer.java:95) [jstorm-core-2.
1.1.jar:na]
[INFO 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:295 main] Notify to quit nimbus
[INFO 2016-06-19 19:51:12 c.a.j.d.n.NimbusServer:142 main] Quit nimbus赞0 踩0 评论0
滑动查看更多