日志的发布历史有哪些?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

日志的发布历史有哪些?

轩墨 2017-10-20 14:14:33 1937


2017/9



新功能



2017/8



性能优化



新功能



Logtail



2017/6



新功能

  • 日志服务OSS Shipper支持CSV格式投递:使用说明支持投递CSV格式数据,可以选择额外压缩。
  • 支持丰富的CSV格式选项,如delimiter、quote、escape、header、null等。
  • 存储于OSS的CSV数据可以通过HybridDB、MaxCompute、EMR或开源工具进行消费。
消费进度告警功能: 使用说明
  • 在云监控中查看日志库(Logstore)下每个消费组(ConsumerGroup)消费点位与最新数据之间时间差,以衡量当前计算的实时性。
  • 支持对Storm、Spark Streaming、Flink等计算系统消费延迟监控与告警。
Logtail :
  • 采集目录支持通配符模式(参见文档):日志采集目录支持通配符模式,便于用户以更细的粒度、更加灵活的方式指定日志采集目录。
  • 格式新增多字符分隔符模式(参见文档):日志格式新增多字符分割符模式,相对复杂的单字符分隔符日志,配置方式更加简洁、对日志格式要求更低。
  • 上传支持绑定网卡(参见文档):日志上传增加绑定指定网卡功能,适用于多网卡服务器中业务数据与日志数据分离、日志采集网络QoS控制等场景。


功能优化


优化 上下文查询功能体验。
  • 日志查询过程中还原任意一条日志精确上下文。
  • 提供线程号字段过滤筛选功能。


2017/5 详情



新渠道



新功能

  • 支持SQL进行日志实时分析:使用例子查询语法聚合查询支持自适应展示图表或原始日志。
  • 新增表格,饼图可视化结果展示。
完善 Go SDK:增加Example、案例以及说明Logtail :新增 环境检查工具

限制调整

  • 单用户:可创建Project上限调整为30个。
  • 单Project:可创建Shard调整为200个。
  • 日志保存天数:上限从90天调整为365天。


2017/4 详情



新地域


新增8个Region( 完整Region入口列表),向国内用户提供完整基础设施出海,海外用户也可以直接使用阿里云全球节点进行服务
  • 增加香港、迪拜、悉尼、法兰克福、东京、新加坡、美西硅谷
  • 新增国内张家口节点
  • 国际站/国内站均已对外开放


新功能


OSS投递支持Parquet存储( 使用方法
  • 控制台直接配置即可生成开源Parquet格式文件,方便与开源社区对接
  • Parquet存储对接E-MapReduce/MaxCompute消费方式(使用方法


2017/3 详情



新功能


支持数值类(Double/Long)索引与查询, 使用说明
  • 对于日志中延时、位置和精度等数据提供多维度过滤
  • 支持与文本类数据进行多维数据查询(最大30维)


计费调整


通过技术大幅优化降低了成本,启用 新计费模式(3月20日生效,费用下降10%-85%), 与其他方案成本对比
  • 与开源搭建的日志查询方案对比:是Elastic Search(ELK)成本 20%,Hive成本 50%
  • 自定义TTL时长,具备100 PB 级长时间存储能力


2017/1



功能优化

  • LogShipper新增投递OSS自定义Partition功能,根据计算需求定义存储格式,参考投递OSS章节
  • 控制台新增Logtail错误诊断功能:快速诊断日志采集错误与原因,参考logtail采集错误查询
  • 简化报警功能:无需通过RAM授权,具体请参考报警设置
  • 优化日志查询页面体验:保存每页条数、排序方式、是否换行等参数后会持续生效


计费预告


计费模式即将调整:提供免费额度;索引费用下降(最大84%),参见 计费模式预告

2016/12 详情



查询增强

  • 性能提升10+倍:十亿级日志多关键词查询秒级返回(非Cache情况)
  • 实时性提升(30S->1S):99.9%场景写入1秒即可查询,最大3秒
  • 新增上下文功能(业界首创):定位关键日志时,提供严格精确上下文内容(无论是Docker、T4、ECS或物理机),参见上下文功能文档
  • 新增模糊查询 (支持:*, ?等语法) ,参见查询语法
  • 新增多Topic、全Topic查询(空改为查询Logstore下所有Topic),参见查询语法
  • 新增根据时间段分布聚合功能,参见查询语法
  • 成本优化:全文索引+键值索引只计算一份流量


存储增强

  • 提供生命周期管理(TTL):支持动态调整时长
  • LogHub生命周期与LogSearch统一
多拷贝技术/机架级容灾:
  • SLA > 99.95%
  • 数据安全性 > 99.99999999%
极为低廉成本(针对索引查询场景, 参见对比):
  • ELK(搜索方案)方案10%
  • Hadoop类方案30%


生态支持

  • 对查询提供另存为功能,参见快速开始
  • 对查询结果进行短信报警: 参见报警设置
  • iOS(Swift/OC)/Android SDK升级:全面支持https


计费预告


计费模式即将调整:提供免费额度;索引费用下降(最大84%),参见 计费模式预告

2016/09



产品发布

  • 9.1 深圳金融云发布


新功能发布



2016/07



产品发布

  • 7.1 上海Region正式启用


新功能发布

  • 发布Log4J Appender支持Java开发用户,使用手册
  • 发布LogHub Producer Library支持客户端高并发写,使用手册
  • 发布IOS/Android 客户端:iOS, Android
  • Logtail支持根据IP等自定义字段,Hash映射Logstore Shard,实现保序功能,请工单联系我们开通
  • LogHub与TS(表格存储)打通,使用手册


功能优化

  • 控制台支持关闭全文索引、按需配置索引,参考步骤


2016/6



产品发布



新功能发布



功能优化

  • 与MaxCompute投递支持自动授权建表
  • 控制台支持子账号操作Project


2016/05



新功能发布



2016/03



新功能发布



2016/02



新功能发布

  • 提供数据投递OSS功能,帮助用户在OSS做长期数据存储或通过其它系统(如E-MapReduce)消费OSS数据来发掘日志的更大价值
  • 数据投递ODPS功能支持用户自定义ODPS表结构导入,实现日志服务到ODPS的字段级别的映射,用户使用ODPS加工数据更方便
  • 支持Shard扩容、缩容、删除,Logstore资源具备弹性伸缩能力
  • 发布基于新API的SDK,支持查看、重试错误ODPS/OSS投递任务,包含:Java, Python
  • 对LogHub消费者提协同消费模式loghub consumer library,解决多个消费者同时消费logstore时自动分配shard、按序消费等问题,使用户只需专注在自己业务逻辑上,而无需关心shard分配、CheckPoint、Failover等事宜。


2016/01



行为变更



数据模型变更

  • 数据模型变更,原API格式依然兼容,推荐用户使用新的API。
    1. [backcolor=transparent] Category
    变更为
    1. [backcolor=transparent]LogStore
  • SLS接口文档


离线投递行为变更

  • 离线投递行为变更:由投递到ODPS公共表变更为直接导入用户指定表。在此之前,用户已经设定的投递到公共表配置依然在后台兼容,但不可再增加配置,推荐用户使用新的投递方式。
  • 在ODPS中查看导入日志


预留写入吞吐容量变更

  • 公测阶段,单个Project预留写入吞吐容量由10MB/s变更为1MB/Min。在此之前,用户已经建立的Project预留数值不变,即600MB/Min。


可创建Project数量变更

  • 由允许用户创建1个Project,变更为允许用户创建10个Project。


新功能发布

  • 发布基于新API的SDK,包含:Java, .NET, PHP, PythonSLS SDK
  • 发布日志采集客户端Logtail的Windows版本Windows Logtail
  • 支持key-value对的查询SLS 查询语法
  • 提供离线投递任务管理页面,用于查询任务状态及失败重试。


2015/12



行为变更



新增LogHub接口



新功能发布

  • 发布基于新API SDK,包含:Java, Python


客户端Logtail安装方式

  • 安骑士远程安装功能已关闭,目前只支持自助安装Logtail客户端
  • 具体安装方式请参考安装说明


2015/01 详情



新功能发布


  • 发布基于新API的SDK,包含:Java, .NET, PHP, PythonSLS SDK

  • 发布日志采集客户端Logtail的Windows版本Windows Logtail

  • 支持key-value对的查询SLS 查询语法

  • 提供离线投递任务管理页面,用于查询任务状态及失败重试。
存储 分布式计算 Java API MaxCompute 开发工具 对象存储 索引 Windows Python
分享到
取消 提交回答
全部回答(0)
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

推荐文章
相似问题
推荐课程