linux工具之jq

简介:

简介

在linux下进行日常的开发时,我们经常需要对json格式的数据进行处理分析。jq是一个开源的JSON格式数据处理工具,它提供了很多灵活的语法,功能非常强大。

安装

  • macOS:
brew install jq
  • Ubuntu
apt-get install jq

jq语法

基础用法

假设文本test_json中有如下字符串

{
    "name":"xiaoming",
    "age":21,
    "birthday":"10th August",
    "email":"yj.xxxx@xxxx.com",
    "skills":[
        {
            "name":"C++",
            "level":2
        },
        {
            "name":"Python",
            "level":1
        }
    ]
}

通过key筛选

jq 表达式

cat test_json | jq ".name"

输出

"xiaoming"

通过index筛选

jq 表达式

cat test_json | jq ".skills[0]"

输出

{
  "name": "C++",
  "level": 2
}

遍历数组

jq表达式

cat test_json | jq ".skills[]"

输出

{
  "name": "C++",
  "level": 2
}
{
  "name": "Python",
  "level": 1
}

通过Pipe("|")筛选

jq表达式

cat test_json | jq ".skills[] | .level"

输出

2
1

构造数组Array

jq表达式

cat test_json | jq "[.age, .email]"

输出

[
  21,
  "yj.xxxx@xxxx.com"
]

构造Mapping

jq表达式

cat test_json | jq "{name, skills_2 : .skills}"

输出

{
  "name": "xiaoming",
  "skills_2": [
    {
      "name": "C++",
      "level": 2
    },
    {
      "name": "Python",
      "level": 1
    }
  ]
}

jq表达式

cat test_json | jq "{(.name): .skills}"

输出

{
  "xiaoming": [
    {
      "name": "C++",
      "level": 2
    },
    {
      "name": "Python",
      "level": 1
    }
  ]
}

内建操作符和函数

加法

jq表达式

cat test_json | jq ".age + 1"

输出

22

字符拼接

cat test_json | jq ".age + .name"

输出

"yj.xxxx@xxxx.comxiaoming"

减法 -

jq表达式

echo '["xml", "yaml", "json"]' | jq '. - ["xml", "yaml"]'

输出

[
  "json"
]

Length

jq表达式

echo '[[1,2], "string", {"a":2}, null]' | jq '[.[]| length]'

输出

[
  2,
  6,
  1,
  0
]

keys

jq表达式

cat test_json | jq 'keys'

输出

[
  "age",
  "birthday",
  "email",
  "name",
  "skills"
]

in

jq表达式

echo '["foo", "bar"]' | jq '.[] | in({"foo": 42})'

输出

true
false

map

jq表达式

echo '[1,2,3]' | jq 'map(.+1)'

输出

[
  2,
  3,
  4
]

map_values

jq表达式

echo '{"a": 1, "b": 2, "c": 3}' | jq 'map_values(.+1)'

输出

{
  "a": 2,
  "b": 3,
  "c": 4
}

del

js表达式

echo '{"foo": 42, "bar": 9001, "baz": 42}' | jq "del(.foo)"

输出

{
  "bar": 9001,
  "baz": 42
}

select

jq表达式

echo '[{"id": "first", "val": 1}, {"id": "second", "val": 2}]' | jq '.[] | select(.id == "second")'

输出

{
  "id": "second",
  "val": 2
}

any

jq 表达式

echo '[true, false]' | jq 'any'

输出

true

all

jq表达式

echo '[true, false]' | jq 'all'

输出

false

min、max

jq表达式

echo '[5,4,2,7]' | jq 'min'

输出

2

sort、sort_by

jq表达式

echo '[8,3,null,6]' | jq 'sort'

输出

[
  null,
  3,
  6,
  8
]

jq表达式

echo '[{"foo":4, "bar":10}, {"foo":3, "bar":100}, {"foo":2, "bar":1}]' | jq 'sort_by(.foo)'

输出

[
  {
    "foo": 2,
    "bar": 1
  },
  {
    "foo": 3,
    "bar": 100
  },
  {
    "foo": 4,
    "bar": 10
  }
]

index

jq表达式

echo '["a","b", "c"]' | jq 'index("b")'

输出

1

json

jq 表达式

echo '["a","b","c"]' | jq 'join(";")'

输出

"a;b;c"

条件判断

jq 表达式

echo 2 | jq 'if . == 0 then  "zero" elif . == 1 then "one" else  "many" end'

输出

"many"

参考

目录
相关文章
|
3月前
|
Linux 网络安全 数据安全/隐私保护
Linux 超级强大的十六进制 dump 工具:XXD 命令,我教你应该如何使用!
在 Linux 系统中,xxd 命令是一个强大的十六进制 dump 工具,可以将文件或数据以十六进制和 ASCII 字符形式显示,帮助用户深入了解和分析数据。本文详细介绍了 xxd 命令的基本用法、高级功能及实际应用案例,包括查看文件内容、指定输出格式、写入文件、数据比较、数据提取、数据转换和数据加密解密等。通过掌握这些技巧,用户可以更高效地处理各种数据问题。
384 8
|
23天前
|
监控 安全 Ubuntu
Linux下如何安装配置Fail2ban防护工具
通过以上步骤,可以在Linux系统中成功安装和配置Fail2ban,从而有效保护服务器免受暴力破解等攻击。Fail2ban通过实时监控日志文件,自动更新防火墙规则,为系统安全提供了一层重要的保护。
93 36
|
1月前
|
Rust Ubuntu Java
[Linux工具] Makefile
Makefile是Linux环境下用于自动化编译和链接程序的配置文件,常用于简化大型项目的编译流程。通过定义目标文件、依赖文件及生成命令,Makefile能高效管理编译任务。它不仅适用于C语言项目,还可扩展到其他编程语言和非编程任务中。
58 20
[Linux工具] Makefile
|
9天前
|
Linux API
Linux下载工具wget与curl
`wget` 是一个用于从网络下载文件的命令行工具,支持HTTP、HTTPS和FTP协议。它能自动处理下载中断,并支持递归下载网站内容。基本用法:`wget URL`,可指定文件名(`-O`)、保存目录(`-P`),还支持断点续传(`-c`)、限速(`--limit-rate`)和递归下载(`-r`)。相比之下,`curl` 更侧重于发送各种HTTP请求(如GET、POST),并支持文件上传、自定义请求头和cookie等功能。
42 10
|
6天前
|
存储 Ubuntu 前端开发
Linux软件包管理工具概览
在Linux系统中,dpkg、apt、rpm、yum和dnf是几种常见的包管理工具,它们分别属于不同的Linux发行版或家族,并有着各自的诞生顺序和特点。下面将按照这些工具的诞生顺序,并结合Debian、Red Hat、CentOS、Ubuntu和Kali等系统,进行详细的介绍。
19 4
|
1月前
|
Linux 网络性能优化 网络安全
Linux(openwrt)下iptables+tc工具实现网络流量限速控制(QoS)
通过以上步骤,您可以在Linux(OpenWrt)系统中使用iptables和tc工具实现网络流量限速控制(QoS)。这种方法灵活且功能强大,可以帮助管理员有效管理网络带宽,确保关键业务的网络性能。希望本文能够为您提供有价值的参考。
96 28
|
4月前
|
监控 Unix Linux
Linux系统工具
Linux系统工具
70 6
|
1月前
|
网络协议 Unix Linux
深入解析:Linux网络配置工具ifconfig与ip命令的全面对比
虽然 `ifconfig`作为一个经典的网络配置工具,简单易用,但其功能已经不能满足现代网络配置的需求。相比之下,`ip`命令不仅功能全面,而且提供了一致且简洁的语法,适用于各种网络配置场景。因此,在实际使用中,推荐逐步过渡到 `ip`命令,以更好地适应现代网络管理需求。
42 11
|
1月前
|
安全 网络协议 Linux
结合 `nc` 工具利用笑脸漏洞(Smile Bug)攻击 Metasploitable2 Linux
本文介绍如何使用 `nc`(Netcat)工具结合笑脸漏洞(Smiley Bug)攻击 Metasploitable2 Linux 靶机。首先概述了 `nc` 的基本功能和高级用法,包括建立连接、监听端口、文件传输等操作。接着详细描述了笑脸漏洞的原理及其在网络攻防中的应用,展示了通过 `nc` 发送恶意输入检测漏洞的方法。最后结合 Python 脚本实现更复杂的攻击场景,并强调了合法性和环境隔离的重要性。
54 13
|
2月前
|
运维 监控 Linux
推荐几个不错的 Linux 服务器管理工具
推荐几个不错的 Linux 服务器管理工具
207 6