备案控制台
探索云世界
开发者社区 数据库 文章 正文

【工具】一款基于go语言的agent

2017-05-05 1429
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL Serverless，价值2615元额度，1个月
简介： 一 介绍      在构建数据库自动化运维系统的时候，数据库服务器上必须要有一个agent来执行web服务器端发起的命令，我们研究了好几种技术Celery，Redis Queue 或者基于socket实现，当然还有自己写，因为之前有同事已经完成了一个agent---servant，在和同事沟通之后，我们决定复用servant,不用重复造轮子。
一 介绍
     在构建数据库自动化运维系统的时候，数据库服务器上必须要有一个agent来执行web服务器端发起的命令，我们研究了好几种技术Celery， Redis Queue 或者基于socket实现，当然还有自己写，因为之前有同事已经完成了一个agent--- servant，在和同事沟通之后，我们决定复用servant,不用重复造轮子。 servant是一款基于go语言编写的，通过http协议调用，提供权限认证和远程调用，支持异步执行命令的agent ，满足我们目前数据库备份任务，定时收集数据库元数据信息，定时校验备份的有效性的任务需求。本文是一篇how to 文档，相对比较详细的介绍如何安装和使用servant，希望对读者朋友有所帮助。

二安装
2.1 软件准备
因为该agent是基于go语言编写的，所以要安装 go语言包
  1. yum install -y go
  2. cd /opt/
  3. git clone https://github.com/xiezhenye/servant.git
  4. cd /opt/servant
  5. 方式一 make rpm
  6. 方式二 make
2.2 目录结构
编译之后查看主要的目录结构
bin           # 编译的二进制文件 
conf         # 配置文件目录
example   #
README.md  
scripts     #servantctl 执行文件 用于启停 查看状态等
src          #源代码文件
维护servant的操作命令 
/opt/servant/scripts/servantctl (start|stop|restart|status|help)
启动的时候遇到报错请到/data/logs/servant/servant.log 查看log的信息哪里有错

2.3 配置文件详解
默认在/opt/servant/conf里面有配置文件 servant.xml
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <config>
  3.     <server>
  4.         <listen>:2465</listen>  #监听的端口
  5.         <auth enabled="true">   #调用的时候是否启用 权限 验证，生产环境建议开启
  6.             <maxTimeDelta>30</maxTimeDelta> # 启动权限验证的时候 超时时间，超过30s 则认为该调用无效
  7.         </auth>
  8.         <log>/data/logs/servant/servant.log</log> # 日志目录log ，这是有赞标准的日志目录，其他朋友在自己环境需要适当调整
  9.     </server>
  10.     <!-- ...... -->
  11. </config
example 的配置文件，使用的时候需要根据实际情况进行调整
  1. <?xml version="1.0" encoding="utf-8" ?>
  2. <config>
  3.     <server> ##server和/opt/servant/conf/servant.xml 配置是一样的。
  4.         <listen>:2465</listen>
  5.         <auth enabled="0">
  6.             <maxTimeDelta>300</maxTimeDelta>
  7.         </auth>
  8.         <log>servant.log</log>
  9.     </server>
  10. #commands 定义了一个可执行的命令组，其中包含了多个command，其中
  11. lang 可以是exec 或者bash
  12. id 是每一组command的标示，runas标示以什么样的用户执行。
  13. background="true" 标示以后台方式执行，并且servant 立即返回
  14.     <commands id="db1">
  15.         <command id="foo" runas="mysql" lang="bash">
  16.             <code>echo "hello world $(whoami)"</code>
  17.         </command>
  18.         <command id="grep" lang="exec">
  19.             <code>grep hello</code>
  20.         </command>
  21.         <command id="sleep" timeout="5" lang="exec">
  22.             <code> sleep ${t}</code>
  23.         </command>
  24.     </commands>
  25. # daemon
  26.     <daemon id="daemon1" retries="10" lang="bash">
  27.         <code>sleep 10000</code>
  28.     </daemon>
  29. # 定时器 ，定期执行某一个命令
  30. tick 执行命令的间隔
  31. deadline 命令执行的最长时间，如果为5s 则命令最长执行5s ，超过5s会被kill掉？
  32.     <timer id="xx" tick="5" deadline="5" lang="bash">
  33.         <code>
  34.         <![CDATA[
  35.              date >>/tmp/timer.log
  36.         ]]>
  37.         </code>
  38.     </timer>
  39. #文件操作类，和commands类似，可以配置多个操作文件的命令，主要包含 获取文件内容，创建文件，删除文件，读取指定字节范围
  40. root 表示有权限访问指定的目录，例子中是访问 /tmp/ 目录下的文件。
  41.     <files id="db1">
  42.         <dir id="binlog1">
  43.             <root>/tmp/</root>
  44.             <allow>get</allow>
  45.             <allow>head</allow>
  46.             <allow>post</allow>
  47.             <allow>delete</allow>
  48.             <allow>put</allow>
  49.             <pattern>log-bin\.\d+</pattern> #正则表达式
  50.         </dir>
  51.     </files>
  52. #这个比较少用 访问数据库
  53.     <database id="mysql" driver="mysql" dsn="root:@tcp(127.0.0.1:3306)/test">
  54.         <query id="select_1">select 1;</query>
  55.     </database>
  56. #
  57.     <vars id="vars">
  58.         <var id="foo">
  59.             <value>bar</value>
  60.         </var>
  61.         <var id="hello" expand="true">
  62.             <value>${world}</value>
  63.         </var>
  64.     </vars>
  65. # 配合auth=true的时候一起使用，访问的时候 必须使用和配置文件中指定的user ，否则不能调用servant
  66.     <user id="user1">
  67.         <key>someKey</key>
  68.         <host>192.168.1.0/24</host> #指定允许访问servant 的ip源地址。通常建议使用本地调用，更加安全。
  69.         <files id="db1" />
  70.         <commands id="db1" />
  71.     </user>
  72. </config>
以上针对常用的配置做了解释，更加详细的解释可以参考 servant的readme.md
2.4 具体的测 试用例   为了测试方便，先去掉权限认证。
comand 支持get 和post 两种方式调用
  1. [root@rac4 22:38:05 /opt/servant/conf/extra]
  2. # curl http://127.0.0.1:2465/commands/db1/foo
  3. hello world mysql
  4. [root@rac4 22:40:07 /opt/servant/conf/extra]
  5. # echo "hello world" | curl -XPOST http://127.0.0.1:2465/commands/db1/grep -d @-
  6. hello world
  7. [root@rac4 22:40:08 /opt/servant/conf/extra]
  8. # echo "hxxello world" | curl -XPOST http://127.0.0.1:2465/commands/db1/grep -d @-
文件类型操作
获取文件内容
  1. [root@rac4 22:38:00 /opt/servant/conf/extra]
  2. # curl http://127.0.0.1:2465/files/db1/test/yz.log
  3. youzan ,nihao ,yangyi dba
创建文件
  1. [root@rac4 22:41:56 /opt/servant/conf/extra]
  2. # curl -XPOST http://127.0.0.1:2465/files/db1/test/54.txt -d "hello world "
  3. 验证上面的写入情况
  4. [root@rac4 22:42:03 /opt/servant/conf/extra]
  5. # curl http://127.0.0.1:2465/files/db1/test/54.txt
  6. hello world
更新文件内容
  1. [root@rac4 22:45:13 /opt/servant/conf/extra]
  2. # curl -XPUT http://127.0.0.1:2465/files/db1/test/54.txt -d "yangyi dba"
  3. [root@rac4 22:45:26 /opt/servant/conf/extra]
  4. # curl http://127.0.0.1:2465/files/db1/test/54.txt
  5. yangyi dba
开启权限验证， 生产环境下从安全的角度考虑建议开启权限验证
修改配置文件 启用auth 为true 和设置user 配置
  1. [root@rac4 22:16:50 /opt/servant/conf]
  2. # uri='/commands/db1/foo'
  3. # ts=$(date +%s)
  4. # key=someKey
  5. # curl -H "Authorization: ${user} ${ts} $(echo -n "${user}${key}${ts}GET${uri}"|sha1sum|cut -f1 -d' ')" "http://127.0.0.1:2465${uri}"
  6. [root@rac4 22:30:30 /opt/servant/conf]
log报错 执行失败，因为ts 的实际时间是 22 : 16 : 50，执行的实际时间是22:30:30  超时时间是30s，故调用失败
  1. 2017/05/05 22:30:29 INFO (6) [commands] + 127.0.0.1:42798 GET /commands/db1/foo
  2. 2017/05/05 22:30:30 WARN (6) [commands] - auth failed: timestamp delta too large
重新设置时间 ts  再次执行 成功。
  1. [root@rac4 22:30:58 /opt/servant/conf]
  2. # ts=$(date +%s)
  3. [root@rac4 22:31:02 /opt/servant/conf]
  4. # curl -H "Authorization: ${user} ${ts} $(echo -n "${user}${key}${ts}GET${uri}"|sha1sum|cut -f1 -d' ')" "http://127.0.0.1:2465${uri}"
  5. hello world mysql
  6. 日志输出
  7. 2017/05/05 22:31:05 INFO (7) [commands] + 127.0.0.1:42808 GET /commands/db1/foo
  8. 2017/05/05 22:31:05 INFO (7) [commands] command: [bash -c echo "hello world $(whoami)"]
  9. 2017/05/05 22:31:05 INFO (7) [commands] process started. pid: 27706
  10. 2017/05/05 22:31:05 INFO (7) [commands] - execution done
2.5 安装过程中遇到的问题
1 安装的时候 需要创建 
mkdir -p /opt/servant/conf/extra
2 认证权限问题
因为默认的/opt/servant/conf/servant.xml 的auth =true ,需要改为false。
不然使用curl 执行命令
curl http://127.0.0.1:2465/commands/db1/foo 
日志里面报错
2017/05/05 21:52:30 INFO (3) [commands] + 127.0.0.1:41988 GET /commands/db1/foo
2017/05/05 21:52:31 WARN (3) [commands] - auth failed: bad auth header

三 总结
  总体上而言 ，servant能够满足大部分的agent需求，欢迎大家使用，如果有任何问题 可以联系我反馈或者联系 作者  
如果您觉得对你的devops有帮助 ，可以赞助 一瓶饮料。
文章标签：
云数据库 RDS MySQL 版
日志服务
关系型数据库
数据库
Go
Shell
MySQL
关键词：
Go语言
工具通义星尘
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
yangyi_dba
目录
相关文章
长梦
|
1天前
|
安全 Go 开发者
Golang深入浅出之-Go语言中的CSP模型：深入理解并发哲学
【5月更文挑战第1天】Go语言基于CSP理论，借助goroutines和channels实现独特的并发模型。Goroutine是轻量级线程，通过`go`关键字启动，而channels提供安全的通信机制。文章讨论了数据竞争、死锁和goroutine泄漏等问题及其避免方法，并提供了一个生产者消费者模型的代码示例。理解CSP和妥善处理并发问题对于编写高效、可靠的Go程序至关重要。
长梦
7 2
长梦
|
1天前
|
设计模式 Go 调度
Golang深入浅出之-Go语言中的并发模式：Pipeline、Worker Pool等
【5月更文挑战第1天】Go语言并发模拟能力强大，Pipeline和Worker Pool是常用设计模式。Pipeline通过多阶段处理实现高效并行，常见问题包括数据竞争和死锁，可借助通道和`select`避免。Worker Pool控制并发数，防止资源消耗，需注意任务分配不均和goroutine泄露，使用缓冲通道和`sync.WaitGroup`解决。理解和实践这些模式是提升Go并发性能的关键。
长梦
12 2
长梦
|
1天前
|
JSON 监控 安全
Golang深入浅出之-Go语言中的反射（reflect）：原理与实战应用
【5月更文挑战第1天】Go语言的反射允许运行时检查和修改结构，主要通过`reflect`包的`Type`和`Value`实现。然而，滥用反射可能导致代码复杂和性能下降。要安全使用，应注意避免过度使用，始终进行类型检查，并尊重封装。反射的应用包括动态接口实现、JSON序列化和元编程。理解反射原理并谨慎使用是关键，应尽量保持代码静态类型。
长梦
10 2
长梦
|
1天前
|
Go
Golang深入浅出之-Go语言代码质量与规范：遵循Gofmt与Linting
【5月更文挑战第1天】本文讨论了如何使用`gofmt`和Lint工具提升Go代码质量。`gofmt`负责自动格式化代码，保持风格统一，而Lint工具如`golint`、`govet`、`staticcheck`则进行静态分析，检查潜在错误和未使用的变量。通过集成`gofmt`检查到CI/CD流程，避免格式冲突，并使用Lint工具发现并修复问题，如未处理的错误、不规范命名。遵循这些最佳实践，可提高代码可读性、团队协作效率和可维护性。
长梦
9 3
长梦
|
2天前
|
JSON 安全 Java
2024年的选择：为什么Go可能是理想的后端语言
【4月更文挑战第27天】Go语言在2024年成为后端开发的热门选择，其简洁设计、内置并发原语和强大工具链备受青睐。文章探讨了Go的设计哲学，如静态类型、垃圾回收和CSP并发模型，并介绍了使用Gin和Echo框架构建Web服务。Go的并发通过goroutines和channels实现，静态类型确保代码稳定性和安全性，快速编译速度利于迭代。Go广泛应用在云计算、微服务等领域，拥有丰富的生态系统和活跃社区，适合作为应对未来技术趋势的语言。
长梦
8 0
长梦
|
2天前
|
Go 开发者
Golang深入浅出之-Go语言项目构建工具：Makefile与go build
【4月更文挑战第27天】本文探讨了Go语言项目的构建方法，包括`go build`基本命令行工具和更灵活的`Makefile`自动化脚本。`go build`适合简单项目，能直接编译Go源码，但依赖管理可能混乱。通过设置`GOOS`和`GOARCH`可进行跨平台编译。`Makefile`适用于复杂构建流程，能定义多步骤任务，但编写较复杂。在选择构建方式时，应根据项目需求权衡，从`go build`起步，逐渐过渡到Makefile以实现更高效自动化。
长梦
12 2
长梦
|
2天前
|
存储 Go
Golang深入浅出之-Go语言依赖管理：GOPATH与Go Modules
【4月更文挑战第27天】Go语言依赖管理从`GOPATH`进化到Go Modules。`GOPATH`时代，项目结构混乱，可通过设置多个工作空间管理。Go Modules自Go 1.11起提供更现代的管理方式，通过`go.mod`文件控制依赖。常见问题包括忘记更新`go.mod`、处理本地依赖和模块私有化，可使用`go mod tidy`、`replace`语句和`go mod vendor`解决。理解并掌握Go Modules对现代Go开发至关重要。
长梦
11 2
长梦
|
2天前
|
安全 测试技术 Go
Golang深入浅出之-Go语言单元测试与基准测试：testing包详解
【4月更文挑战第27天】Go语言的`testing`包是单元测试和基准测试的核心，简化了测试流程并鼓励编写高质量测试代码。本文介绍了测试文件命名规范、常用断言方法，以及如何进行基准测试。同时，讨论了测试中常见的问题，如状态干扰、并发同步、依赖外部服务和测试覆盖率低，并提出了相应的避免策略，包括使用`t.Cleanup`、`t.Parallel()`、模拟对象和检查覆盖率。良好的测试实践能提升代码质量和项目稳定性。
长梦
8 1
长梦
|
2天前
|
运维 监控 Go
Golang深入浅出之-Go语言中的日志记录：log与logrus库
【4月更文挑战第27天】本文比较了Go语言中标准库`log`与第三方库`logrus`的日志功能。`log`简单但不支持日志级别配置和多样化格式，而`logrus`提供更丰富的功能，如日志级别控制、自定义格式和钩子。文章指出了使用`logrus`时可能遇到的问题，如全局logger滥用、日志级别设置不当和过度依赖字段，并给出了避免错误的建议，强调理解日志级别、合理利用结构化日志、模块化日志管理和定期审查日志配置的重要性。通过这些实践，开发者能提高应用监控和故障排查能力。
长梦
8 1
长梦
|
2天前
|
安全 Go
Golang深入浅出之-Go语言标准库中的文件读写：io/ioutil包
【4月更文挑战第27天】Go语言的`io/ioutil`包提供简单文件读写，适合小文件操作。本文聚焦`ReadFile`和`WriteFile`函数，讨论错误处理、文件权限、大文件处理和编码问题。避免错误的关键在于检查错误、设置合适权限、采用流式读写及处理编码。遵循这些最佳实践能提升代码稳定性。
长梦
7 0

热门文章

最新文章

  • 1
    招募！阿里云x魔搭社区发起Create@AI创客松邀你探索下一代多维智能体应用
  • 2
    Multi-Agent实践第6期：面向智能体编程：狼人杀在AgentScope
  • 3
    Multi-Agent实践第7期：智能体的高效协作
  • 4
    Agent调研--19类Agent框架对比（上）
  • 5
    【AI的未来 - AI Agent系列】【MetaGPT】0. 你的第一个MetaGPT程序
  • 6
    【AI的未来 - AI Agent系列】【MetaGPT】1. AI Agent如何重构世界
  • 7
    【AI的未来 - AI Agent系列】【MetaGPT】5. 更复杂的Agent实战 - 实现技术文档助手
  • 8
    【AI Agent系列】【阿里AgentScope框架】1. 深入源码：详细解读AgentScope中的智能体定义以及模型配置的流程
  • 9
    【AI Agent系列】【MetaGPT多智能体学习】3. 开发一个简单的多智能体系统，兼看MetaGPT多智能体运行机制
  • 10
    AI 智能体相关的 Prompt
  • 1
    Go语言：多重返回值的神奇之处
    31
  • 2
    什么是协程（Goroutine）？探索Go语言并发的奇妙世界
    33
  • 3
    Go语言中如何判断map中是否包含某个key？
    64
  • 4
    Go语言中tag的用处及详细介绍
    36
  • 5
    Go语言中的int和int32：同一个概念吗？
    70
  • 6
    Go语言的接口比较：两个interface能否比较？
    95
  • 7
    Go语言GC(垃圾回收)的工作原理
    32
  • 8
    Go语言协程泄漏(Goroutine Leak)：原因和解决方案
    59
  • 9
    Go面向对象是如何实现的？
    31
  • 10
    Go中的GMP状态详解
    35

    • 相关课程

    更多
  • Go语言核心编程 - 数据结构和算法
  • Go语言核心编程 - 基础语法、数组、切片、Map
  • Go语言核心编程 - 面向对象、文件、单元测试、反射、TCP编程
  • Go语言完全自学手册图文教程
  • 【Python入门】Python数据处理编程基础
  • Python Web开发基础

    • 相关电子书

    更多
  • Go语言路上踩过的坑
  • gohbase ：HBase go客户端
  • Go构建日请求千亿级微服务实践

    • 相关实验场景

    更多
  • 快速体验智能体API应用
  • 语言入门-1：环境构建
  • 阿里云平台上进行Java程序的编译与运行
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • 使用 Fleet 管理 Elastic Agent 监控应用
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考