AI 助理
文档备案控制台
开发者社区 云存储 文章 正文

日志服务数据加工最佳实践: 日期时间处理

2019-08-05 2237
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，OSS 加速器 50 GB 1个月
简介： 本文介绍日志服务数据加工最佳实践: 日期时间处理, 覆盖日志互转实践, 时区转换, 日期偏移等

场景1：Unix时间戳、日期时间字符串和日期时间对象的相互转换

LOG DSL语法中的日期时间处理主要涉及三种数据类型：Unix时间戳、日期时间字符串和日期时间对象。它们的相互转换方式如下图：
image

子场景1：日期时间对象和Unix时间戳的相互转换

1）日期时间对象转为Unix时间戳

  • dt_parsetimestamp智能转换函数，可以将日期时间对象或日期时间字符串转化为Unix时间戳。
  • dt_totimestamp，只支持将日期时间对象转化为Unix时间戳。

2）Unix时间戳转为日期时间对象

  • dt_parse智能转换函数，可以将Unix时间戳或日期时间字符串转化为日期时间对象
  • dt_fromtimestamp，只支持将Unix时间戳转化为日期时间对象。

子场景2：日期时间对象和日期时间字符串的相互转换

1）日期时间对象转为日期时间字符串

  • dt_str智能转换函数，可以将日期时间对象、Unix时间戳和日期时间字符串转化为制定格式的日期时间字符串。
  • dt_strftime，只支持将日期时间对象转化为日期时间字符串。

2）日期时间字符串转为日期时间对象

  • dt_parse智能转换函数，可以将日期时间字符串或Unix时间戳转化为日期时间对象。
  • dt_strptime，只支持将日期时间字符串转化为日期时间对象。

子场景3：日期时间字符串和Unix时间戳的相互转换

1）日期时间字符串转为Unix时间戳

  • dt_parsetimestamp智能转换函数，可以将日期时间字符串或日期时间对象转化为Unix时间戳。

2）Unix时间戳转为日期时间字符串

  • dt_str智能转换函数，可以将Unix时间戳、日期时间对象和日期时间字符串转化为制定格式的日期时间字符串。
  • dt_strftimestamp，只支持将Unix时间戳转化为日期时间字符串。

子场景4： 理解dt_parse等智能转换函数的应用场景

上述的转化过程中，大多数转化都有两种方式，一种使用智能转换函数，另一种使用该转换的专用函数。以dt_parse为代表的智能转换函数（参考日期时间函数）可以接受Unix时间戳、日期时间对象以及日期时间字符串等不同类型的参数，实现智能转换，例如：

原始日志1

time1: 1562741899
time2: 2019-07-10 06:58:19

LOG DSL编排

e_set("time3", dt_parse(v("time1"), tz="Asia/Shanghai"))
e_set("time4", dt_parse(v("time2"), tz="Asia/Shanghai")

编排后日志

time1: 1562741899
time2: 2019-07-10 06:58:19
time3: 2019-07-10 06:58:19+08:00
time4: 2019-07-10 06:58:19+08:00

但是有一些场景下，智能转换函数就无法满足用户的需求。如对于用户自定义的特殊日期格式，dt_parse等智能转换函数无法自动解析日志，此时需要使用dt_strptime来进行指定格式的解析。如下：

原始日志2

time1: 2019-07-10 06:58:19
time2: 2019/07/10 06-58-19

LOG DSL编排

e_set("time3", dt_parsetimestamp(v("time1")))
e_set("time4", dt_parsetimestamp(dt_strptime(v("time2"), fmt="%Y/%m/%d %H-%M-%S")))

编排后日志

time1: 2019-07-10 06:58:19
time2: 2019/07/10 06-58-19
time3: 1562741899
time4: 1562741899

结论

  • 智能转换函数可以对不同类型的参数进行自动转换，因此默认推荐使用智能转换函数。
  • 智能转换函数也有缺点，对于一些特殊的用户自定义日期格式，智能转换函数无法自动解析，需要使用dt_strptime来进行解析。

场景2： 理解时区的概念

子场景1： 理解时间字符串的含义

LOG DSL语法中的日期时间字符串主要分为两种形式：

  • 带有时区信息的日期时间字符串，如2019-06-02 18:41:26+08:00。
  • 不带时区信息的日期施时间字符串，如2019-06-02 10:41:26。

带有时区信息的日期时间字符串通过在日期时间后添加额外的时差信息来表达时区：

  • 2019-06-02 18:41:26+08:00表示该时间是东8区时区下的2019-06-02 18:41:26。
  • 2019-06-02 18:41:26-07:00表示该时间是西7区时区下的2019-06-02 18:41:26。

对于不带有时区信息的日期时间字符串，如果时区信息不同，该时间字符串表达的时间也不同。如果没有传递时区参数，默认为UTC时区下的时间。以2019-06-02 18:41:26为例：

  • 默认情况下是UTC时区下的时间，即该时间字符串表达的时间是UTC时区下的时间，等价于2019-06-02 18:41:26+00:00。
  • 如果交代了时区是东8区，该时间字符串表达的时间是东8区下的时间，等价于2019-06-02 18:41:26+08:00。

子场景2： 将日期时间转化为Unix时间戳

不带时区信息的日期时间

对于不带时区信息的日期时间字符串(如'2019-06-02 18:41:26')，将给定日期时间转化为Unix时间戳，需要指定该日期时间是哪个时区下的时间，不同的时区转化得到的Unix时间戳的值是不一样的。

原始日志

{ 'time': '2019-06-02 18:41:26''}

LOG DSL编排

e_set("Shanghai_timestamp", dt_parsetimestamp(v("time"), tz="Asia/Shanghai"))
e_set("Los_Angeles_timestamp", dt_parsetimestamp(v("time"), tz="America/Los_Angeles"))
e_set("UTC_timestamp", dt_parsetimestamp(v("time")))
  • 指定tz="Asia/Shanghai"表示time字段所表达的时间是上海所在时区对应的时间。
  • 如果不指定时区，默认将给定日期时间当做UTC时区下的日期时间。
  • 时区参数tz=时区字符串中所有可选时区字符串的值参考所有时区列表。可使用Ctrl + F搜索目标时区字符串。

加工后日志

{
  'Shanghai_timestamp': '1559472086',
  'Los_Angeles_timestamp': '1559526086',
  'UTC_timestamp': '1559500886'
}

带有时区信息的日期时间

对于带有时区信息的日期时间字符串(如'2019-06-02 18:41:26+08:00')，则无须指定时区参数。

原始日志

{ 'China_time': '2019-06-02 18:41:26+08:00',
  'America_time': '2019-06-02 3:41:26-07:00',
  'UTC_time': '2019-06-02 10:41:26+00:00'
}

LOG DSL编排

e_set("timestamp1", dt_parsetimestamp(v("China_time")))
e_set("timestamp2", dt_parsetimestamp(v("America_time")))
e_set("timestamp3", dt_parsetimestamp(v("UTC_time")))

加工后日志

{
  "timestamp1": "1559472086",
  "timestamp2": "1559472086",
  "timestamp3": "1559472086"
}

子场景3： 不同时区下的日期时间相互转换

不带时区信息的日期时间

对于不带时区信息的日期时间字符串(如'2019-06-02 18:41:26')，可以通过Unix时间戳为媒介，实现不同时区下的日期时间的相互转换。

加工需求

  • 将洛杉矶时区下的日期时间转换为上海时区下的日期时间

原始日志

#已知time字段的值的时间是洛杉矶时间
{'time': '2019-06-04 2:41:26'}

LOG DSL编排

e_set("timestamp", dt_parsetimestamp(v("time"), tz="America/Los_Angeles"))
e_set("Shanghai_time", dt_parse(v("timestamp"), tz="Asia/Shanghai"))

加工后日志

{
  'time': '2019-06-04 2:41:26',
  'Shanghai_time': '2019-06-04 17:41:26+08:00'
}

带有时区信息的日期时间

对于带有时区信息的日期时间字符串(如'2019-06-02 18:41:26+08:00'')，可直接通过dt_astimezone实现不同时区下的日期时间的相互转换。

原始日志

{'time': '2019-06-04 2:41:26+08:00'}

LOG DSL编排

e_set("new_time", dt_astimezone(v("time"), tz="America/Los_Angeles"))

加工后日志

{
  'time': '2019-06-04 2:41:26+08:00',
  'new_time': '2019-06-03 11:41:26-07:00'
}

场景3： 理解日期时间和Unix时间戳的应用场景

LOG DSL编排中涉及到的日期时间主要有两种形式Unix时间戳和日期时间(字符串或对象)。

日期时间

日期时间形式主要是为了便于展示以及提升用户可读性等。

unix_time: 1562741899
date_time: 2019-07-10 06:58:19

Unix时间戳

Unix时间戳是从1970年1月1日（UTC/GMT的午夜）开始所经过的秒数，它的主要应用场景有：

1. 表示系统时间

  • 如日志事件中表示日志产生时间的元字段__time__，表示日志接收时间的字段__receieve_time__等，这些字段的值都使用Unix时间戳来表示对应的系统时间。
__source__:  1.2.3.4
__tag__:__receive_time__:  1562741899
__topic__: 
__time__: 1562731122

2. 便于时间相关的计算。

  • 由于Unix时间戳是从1970年1月1日开始所经过的秒数，因此在很多场景下便于直接进行日期时间相关的计算。

原始日志

time1: 1562741899
time2: 1562731122

LOG DSL编排

e_set("time3", op_sub(v("time1"), v("time2")))

加工后日志

time1: 1562741899
time2: 1562731122
time_diff: 10777

场景4： 使用dt_add做灵活的日期偏移

dt_add函数支持在特定时间粒度上修改（增加、减少、覆盖）日期时间的值。dt_add的参数如下

dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=None, microsecond(s)=None, weeks(s)=None, weekday=None)

子场景1：理解year(s),month(s)区别

  • year(s), month(s),day(s)等参数的后面都带有(s)，表示这些参数可以有两种形式，即year和years，month和months等。
  • 以year和years为例，如果参数传递的是year，表示在年份粒度上覆盖为year参数的值；如果传递的是years，表示在年份粒度上增加years参数的值。（可参考下面的例子）

原始日志

"time1": "2019-06-04 2:41:26"

LOG DSL编排1

e_set("time2", dt_add(v("time1"), year=2018))

编排后日志

"time1": "2019-06-04 2:41:26"
"time2": "2018-06-04 02:41:26"

LOG DSL编排2

e_set("time2", dt_add(v("time1"), years=2018))

编排后日志

"time1": "2019-06-04 2:41:26"
"time2": "4037-06-04 02:41:26"

子场景2：理解weekday参数用法

  • weekday参数通常和dt_MO，dt_TU等参数一起使用，表示特定星期几的偏移。具体可参考dt_MO。

原始日志

#2019-06-04是周二

"time1": "2019-06-04 2:41:26"

LOG DSL编排

#time1的下一个星期一对应的日期
e_set("nex_Monday", dt_add(v("time1"), weekday=dt_MO(1)))

#time1的上一个星期二对应的日期
e_set("previous_Tuesday", dt_add(v("time1"), weekday=dt_TU(op_neg(1))))

#time1的下下一个星期六对应的日期
e_set("nex_next_Saturday", dt_add(v("time1"), weekday=dt_SA(2)))

#time1的上上一个星期日对应的日期
e_set("previous_previous_Sunday", dt_add(v("time1"), weekday=dt_SU(op_neg(2))))

编排后日志

"time1": "2019-06-04 2:41:26",
"next_Monday": "2019-06-10 02:41:26",
"previous_Tuesday": "2019-06-04 2:41:26",
"next_next_Saturday": "2019-06-15 02:41:26",
"previous_previous_Sunday": "2019-05-26 02:41:26"
  • 需要注意的是，如果time1对应的日期是周二，那么它的上一个周二和下一个周二都是time1本身。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

文章标签：
日志服务
云解析DNS
Unix
监控
关键词：
日志服务数据
日志服务最佳实践
日志服务加工
日志服务日期
日志服务数据加工
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
成喆
目录
相关文章
阿里云云原生
|
5月前
|
SQL 人工智能 监控
SLS Copilot 实践：基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践，展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
阿里云云原生
1110 83
阿里云云原生
|
5月前
|
数据采集 运维 监控
不重启、不重写、不停机：SLS 软删除如何实现真正的“无感数据急救”？
SLS 全新推出的「软删除」功能，以接近索引查询的性能，解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
阿里云云原生
402 41
HELLO程序员
|
5月前
|
Prometheus 监控 Java
日志收集和Spring 微服务监控的最佳实践
在微服务架构中，日志记录与监控对系统稳定性、问题排查和性能优化至关重要。本文介绍了在 Spring 微服务中实现高效日志记录与监控的最佳实践，涵盖日志级别选择、结构化日志、集中记录、服务ID跟踪、上下文信息添加、日志轮转，以及使用 Spring Boot Actuator、Micrometer、Prometheus、Grafana、ELK 堆栈等工具进行监控与可视化。通过这些方法，可提升系统的可观测性与运维效率。
HELLO程序员
538 1
日志收集和Spring 微服务监控的最佳实践
运维有小邓
|
5月前
|
负载均衡 监控 安全
5 个 IIS 日志记录最佳实践
IIS日志记录是监控Web服务器性能与安全的关键。本文介绍启用日志、应用池配置、负载均衡、敏感数据防护、日志集中管理及保留策略等五大最佳实践，助力高效分析与合规审计。
运维有小邓
347 1
墨祤
|
6月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台，致力于通过埋点、采集、计算构建流量数据闭环，助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战，平台采用Flink+Paimon+StarRocks技术方案，实现高吞吐写入与秒级查询，优化存储成本与扩展性，提升日志分析效率。
墨祤
843 1
赵渝强老师
|
6月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL（预写日志）是保证数据完整性的关键技术。在数据修改前，系统会先将日志写入WAL，确保宕机时可通过日志恢复数据。它减少了磁盘I/O，提升了性能，并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下，采用16进制命名规则。此外，PostgreSQL提供pg_waldump工具解析日志内容。
赵渝强老师
604 0
游客gtkntzrnvinvk
|
6月前
|
数据采集 运维 监控
还在被日志折磨过？防火墙日志分析自动化工具，助力解析各类日志数据
一款防火墙日志分析自动化工具
游客gtkntzrnvinvk
388 0
阿里云云原生
|
9月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践：链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS)，解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent（iLogtail/LoongCollector）在海外场景的应用，推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案，包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等，并提供了成本优化策略和多目标发送配置指导，帮助企业构建稳定、低成本、高可用的全球日志系统。
阿里云云原生
962 54

云存储

热门文章

最新文章

  • 1
    OSS跨域资源共享(CORS)错误及排除
  • 2
    开放分布式追踪（OpenTracing）入门与 Jaeger 实现
  • 3
    使用阿里云极速型NAS构建高可用的GitLab
  • 4
    阿里云文件存储NAS跨VPC挂载
  • 5
    时间序列数据的存储和计算 - 概述
  • 6
    IDEA 下如何修改 Elasticsearch 源码
  • 7
    自建ELK vs 日志服务(SLS)全方位对比
  • 8
    亿级消息系统的核心存储：Tablestore发布Timeline 2.0模型
  • 9
    阿里云文件存储SMB协议服务及其申请和使用指南
  • 10
    表格存储Tablestore权威指南（持续更新）
  • 1
    Alibaba Cloud OSS: From Object Storage to AI-Native Data Infrastructure with Vector Bucket & Metaquery
    95
  • 2
    如何使用python的boto库和SES发送电子邮件？
    55
  • 3
    新突破！阿里云携手技威时代共同开启 IPC 智能化新阶段
    100
  • 4
    C# 继承：复用父类功能的核心技巧
    78
  • 5
    C# 文件操作：读取与写入文本文件
    96
  • 6
    C# 构造函数：初始化对象的快捷方式
    126
  • 7
    C# 条件判断：if-else 与 switch 的实用场景
    129
  • 8
    C# 变量与数据类型：3 分钟入门核心用法
    70
  • 9
    C# 数组与集合：List<T> 最常用场景
    80
  • 10
    C# 方法：如何定义可复用的功能模块
    65

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS 构建可观测体系实战
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！