• SLS多云日志采集、处理及分析

    本文根据用户业务场景不同分别采用Logtail和Log producer写入阿里云日志服务,针对未使用其他日志采集服务的用户,推荐在第三方云平台或线下IDC服务器安装logtail采集并使用DCDN安全传输;针对已使用其他日志采集...
    文章 2020-02-21 348浏览量
  • 日志服务接入方式之log producer library

    日志服务(原SLS)团队提供LogHub Producer Library方便客户端接入日志,Producer Library和Consumer Library是对LogHub功能的包装,降低数据收集与消费的门槛。Producer Library解决的问题: 客户端日志不落盘:既...
    文章 2016-06-24 5297浏览量
  • SLS多云日志采集、处理及分析

    针对已使用其他日志采集工具并且已有日志服务需要继续服务的情况,可以通过Log producer SDK写入日志服务(开启DCDN安全加速)。解决问题 第三方云平台或线下IDC客户需要使用阿里云日志服务生态的用户。第三方云平台...
    文章 2020-02-13 789浏览量
  • IoT日志利器:嵌入式日志客户端(C Producer)发布

    其中阿里云日志服务发布的嵌入式日志采集客户端(C Producer Library)就是其中解决物联网日志采集、分析难的利器。系列文章: IOT/智能设备日志解决方案(1):概述 IOT/智能设备日志解决方案(2):全方位数据采集 ...
    文章 2017-12-21 6159浏览量
  • 日志服务(原SLS)2018-2 月功能发布

    日志服务提升了查询引擎处理能力,除英文字符外新增中文字符支持,在中英文混杂或全中文日志中,只要打开爆开中文选项就会自动解析日志中的中文部分,并对日志和查询条件进行智能分词,提升日志查询友好度与准确性。...
    文章 2018-03-01 3780浏览量
  • 日志上云利器-Aliyun LOG Java Producer

    阿里云日志服务是日志类数据的一站式服务平台,其核心组件 LogHub 凭借着高吞吐、低延迟、可自动伸缩等特性,逐渐成为大数据处理领域特别是实时数据处理场景下的基础设施。那些运行在 Flink、Spark、Storm 等大数据...
    文章 2018-12-26 5971浏览量
  • 使用Kafka Connect 同步Kafka数据到日志服务

    借助于日志服务提供的Kafka Connect插件,我们可以使用Kafka Connect 把Kafka里面的数据同步到阿里云日志服务,利用日志服务强大的查询能力与丰富的可视化图表类型,对数据进行分析与结果展示。环境准备 如果还没有...
    文章 2020-02-23 5351浏览量
  • Aliyun LOG Golang Producer 原理剖析

    使用简单-在整个使用过程中,producer给提供了3个方法,start,send和close,用户启动producer 以后只需要调用send方法即可发送日志producer 提供不同的send 的方法,用来满足用户的发送需求。结果可控制-用户可以...
    文章 2019-05-14 1553浏览量
  • IOT/智能设备日志解决方案(2):全方位数据采集

    针对以上问题,日志服务联合阿里云CDN推出了一款全球数据上传自动加速方案:“基于阿里云CDN硬件资源,全球数据就近接入边缘节点,通过内部高速通道路由至LogHub,大大降低网络延迟和抖动”。该方案有如下特点: 全...
    文章 2018-09-10 4457浏览量
  • Aliyun LOG Java Producer 快速入门

    想要更深入地了解 producer 的功能和原理可参考文章日志上云利器-Aliyun LOG Java Producer,本文将聚焦于 producer 的使用上。使用步骤 使用 producer 可归结为如下图所示的三个步骤,下面分别为您介绍。创建 ...
    文章 2018-12-26 16169浏览量
  • 日志服务(原SLS)2017-12 月功能发布

    可以方便、快捷Flink开发环境中进行日志服务LogHub中数据开发,包括消费者(Consumer)和生产者(Producer)两个部分。Flink Connector支持如下特性: 设置消费起始位置,方便用户进行消费点的设置 监控,实时获取当前...
    文章 2018-01-04 3474浏览量
  • 游戏日志分析2:全方位数据采集

    全球化部署,设备部署具有全球化、边缘化特点日志服务提供C Producer系列日志库,用于采集各种硬件设备的日志。优势如下: 客户端高并发写入:可配置的发送线程池,支持每秒数十万条日志写入,详情参见性能测试。低...
    文章 2018-05-22 4227浏览量
  • 日志服务Flink Connector《支持Exactly Once》

    Flink log connector是阿里云日志服务提供的,用于对接flink的工具,包括两部分,消费者(Consumer)和生产者(Producer)。消费者用于从日志服务中读取数据,支持exactly once语义,支持shard负载均衡.生产者用于将数据...
    文章 2017-12-11 4302浏览量
  • Java日志上云三剑客:Log4J/LogBack/Producer Lib

    通过Appender可以在不改任何代码情况下,通过Config就能够非常容易完成日志实时采集工作,日志服务提供的Java系列Appender有如下几大优势: 无需修改程序,修改配置即生效 异步化+断点续传:IO不影响主线程,支持...
    文章 2018-01-29 23058浏览量
  • 日志收集之kafka篇

    Kafka 是一个分布式的,可划分的,多订阅者,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。如果对时时性要求较高的话,可以使用这种方案。它具备以下特点: 同时为发布和订阅提供高吞吐量。据了解,...
    文章 2016-08-29 11020浏览量
  • 从Kafka实时同步数据到日志服务指南

    在此之上,作为阿里云上被广泛使用的日志分析产品,日志服务还提供了支持大规模数据集的实时查询分析能力,非常丰富的数据可视化报表,实时告警等功能。对于已经采集到Kafka中的数据,支持实时同步到日志服务中进行...
    文章 2020-06-15 909浏览量
  • Kafka实战-实时日志统计流程

    Flume是一个分布式的、高可用的海量日志收集、聚合和传输日志收集系统,支持在日志系统中定制各类数据发送方(如:Kafka,HDFS 等),便于收集数据。Flume提供了丰富的日志源收集类型,有:Console、RPC、Text、Tail...
    文章 2016-04-25 5870浏览量
  • Kafka实战-实时日志统计流程

    Flume提供了丰富的日志源收集类型,有:Console、RPC、Text、Tail、Syslog、Exec等数据源的收集,在我们的日志系统中目前我们所使用的是spooldir方式进行日志文件采集,配置内容信息如下所示: producer.sources.s....
    文章 2017-11-20 747浏览量
  • 数字IT基础-数据采集总线

    日志服务是阿里自产自用的产品,在双十一、双十二和新春红包期间承载阿里云/蚂蚁全站、阿里电商板块、云上几千商家数据链路,每日处理来自百万节点几十PB数据,峰值流量达到每秒百GB,具备稳定、可靠、低成本,生态...
    文章 2018-11-22 6152浏览量
  • 日志服务(原SLS)2018-1 月功能发布

    日志服务提供Appender有如下几大优势: 无需修改程序,修改配置即生效 异步化+断点续传:IO不影响主线程,支持一定网络和服务容错 高并发设计:满足海量日志写入需求 支持上下文查询功能:写入支持支持在服务端还原...
    文章 2018-02-07 4083浏览量
  • IOT/智能设备日志解决方案(1):概述

    设备端(IOT/智能设备)和服务端的日志分别通过C Producer和Logtail统一采集到日志服务中。C Producer最低只占用4KB内存;针对全球数据采集场景,日志服务专门提供了全球采集加速功能。采集到日志服务的数据,使用...
    文章 2018-09-10 3837浏览量
  • Kafka(分布式发布订阅消息系统)

    这些浏览日志,存数据库浪费,直接存硬盘又怕到时候操作效率低。此时,消息系统就是一个选择。1.组件 Broker ['brəʊkə]n.经纪人 Kafka集群包含一个或多个服务器,这种服务器被称为broker。Topic 每条发布到Kafka...
    文章 2015-04-17 1973浏览量
  • 数据采集新形态-全球加速

    其他通过Web Tracking,Android SDK,IOS SDK,Producer 等访问日志服务的方式均可通过替换endpoint获得加速效果:将endpoint替换为log-global.aliyuncs.com。加速效果 在我们的日志上传基准测试中,全球7个区域对比...
    文章 2018-07-30 2945浏览量
  • 5分钟了解阿里云日志平台

    日志服务(Log Service,简称 LOG)是针对日志类数据的一站式服务,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。关键定义 日志(Log) ...
    文章 2019-05-06 2013浏览量
  • Flume-Kafka日志平台整合

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可...
    文章 2018-03-21 1826浏览量
  • 消息队列MQ新增3把武器

    应用场景:异步发送一般用于链路耗时较长,对 RT 响应时间较为敏感的业务场景,例如用户视频上传后通知启动转码服务,转码完成后通知推送转码结果等。单向(Oneway)发送 原理:单向(Oneway)发送特点为只负责发送...
    文章 2017-04-05 2694浏览量
  • 数据源管理|Kafka集群环境搭建,消息存储机制详解

    public Producer producer(){ Properties props=new Properties();省略其他配置. 添加拦截器 List<String>interceptors=new ArrayList<gt;();interceptors.add(...
    文章 2020-06-11 802浏览量
  • Kafka整体结构以及模块分析

    Api:该模块主要负责交互数据的组装,客户端与服务端交互数据编解码 client:该模块比较简单就一个类,Producer读取kafka broker元数据信息topic和partitions,以及leader cluster:该模块包含几个实体类,Broker,...
    文章 2015-12-29 824浏览量
  • 高效采集与快速分析,SLS 为小天才提供一站式解决方案

    针对智能设备的数据采集,日志服务提供了Android、IOS的SDK用于智能机的日志采集,也具备了C-Producer采集各类IoT及智能设备的能力。可以很好的适应于小天才智能产品的终端设备采集需求。同时日志服务采集功能具备的...
    文章 2021-04-12 353浏览量
  • 阿里云日志服务(SLS)安装使用方法简介

    登录阿里云后进入控制台,选择产品与服务-日志服务,根据提示开通日志服务 创建日志配置 日志服务开通后,跳转到控制台,点击创建project 填入project相关属性,注意所属区域要填成你申请的阿里云服务器(ECS)对应...
    文章 2017-04-07 14728浏览量
1 2 3 4 ... 9 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化