大数据,数据分析,机器学习,架构等相关系统名称名词解释
常用的一些软件或其他
1.日志(日志收集,日志处理)
风来了.fox
1.1 Logstash
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
1.2 Filebeat
Filebeat是一个开源的文件收集器,主要用于获取日志文件,并把它们发送
Elasticsearch Index Setting一览表
索引的配置项按是否可以更改分为static属性与动态配置,所谓的静态配置即索引创建后不能修改。
1、索引静态配置
index.number_of_shards索引分片的数量。在ES层面可以通过es.index.max_number_of_shards属性设置索引最大的分片数,默认为1024,index.number_of_shards的默认值为Math.min(es.index.max_number_of_shards,5),故通常默认值为5。
基于 Tracing 数据的拓扑关系生成原理
背景
随着互联网架构的流行,越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力,开发者可以完整地了解一次请求的执行过程和详细信息。
Awesome Python
Awesome Python
A curated list of awesome Python frameworks, libraries, software and resources.
【Spark Summit EU 2016】在Spark集群中内置Elasticsearch
本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,在使用ES-Hadoop进行开发的过程中,使Elasticsearch运行在Spark集群外部是一件非常繁琐的事情,为了在开发过程中更好地Elasticsearch实例,并且尽可能地降低开发团队之间的依赖关系,使用ES快照作为团队合作的接口,并且提高QA的效率,所提提出了在Spark集群中内置Elasticsearch的方式。