开发者社区 > 大数据与机器学习 > 检索分析服务 Elasticsearch版 > 正文

成功采集项目概况数据后,采集和分析其它类型的数据具体如何操作?

已解决

成功采集项目概况数据后,采集和分析其它类型的数据具体如何操作?

展开
收起
甜甜的嘻嘻嘻 2022-09-08 15:22:04 728 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    1) 从示例 filebeat.yml 配置文件中,复制一段目标的配置参数段落,粘贴到测试 机的 Filebeat 配置文件中;

    2) 修改 request.url,token 和 fields.project 等关键字段;

    3) 在浏览器中再次确认修改后的 request.url 是否能正常访问,排除 GitHub 网站服务不好的情况。或者在命令行里使用 curl 命令测试;

    4) 运行./filebeat test output 测试后端 Elasticsearch 服务器的服务是否正常;

    5) 运行./filebeat-e 开始当前这个新分类的数据采集;

    6) 等待命令行日志停止滚动,除了 issues 和 pulls 之外,其它分类数据,应该在分钟级别的就可以完成首次采集。对于数据量大的项目,issues 和 pulls 都可能会耗时一小时,或者更长时间;

    7) filebeat 采集的滚动日志在命令行里静止的时候,按 ctrl+c 结束数据采集;

    8) 在 Kibana 中,进入 Discovery,点击 open 菜单,选中对应的查询视图;可能需要先调整一下时间控件的时间设置,例如选择最近一年,观察数据在时间上的分布,观察采集到了多少条该类数据,将采集到的文档数与在 GitHub 上该项目页面上的数据做比对确认。也很可能需要多个采集周期才能追平这类数据的条数;

    9) 打开单个文档,观察和熟悉这类数据都有那些字段,思考还有那些是值得分析 的字段,可以将其添加到当前的数据表格中;对于 issues 和 pull 数据文档,还需要观察 project-age 这个实时计算字段的数值,它是一个以分钟为单位的计 时器,issue 和 pull rquest 的状态为 closed 后就不会变化;

    10) 尝试用右上角的时间选择控件改变时间分析区间,观察其他时间分析区间的数据分布特性和数值;

    11) 返回 Dashboard–>GitHub Project Analysis 开源项目分析看板,查看相关类别数据的分析图表,也可能需要微调某数据显示控件。选择不同的时间跨度,浏 览项目数据的完整性。有些项目概况数据是保持不变的。

    以上内容摘自《Elastic(中国)产品应用实战》电子书,点击https://developer.aliyun.com/ebook/download/7787可下载完整版

    2022-09-08 15:56:24
    赞同 展开评论 打赏

阿里云检索分析服务Elasticsearch版兼容开源ELK功能,免运维全托管,提升企业数据检索与运维分析能力。

热门讨论

热门文章

相关电子书

更多
数据采集:日志数据上传 立即下载
日志数据采集与分析对接 立即下载
百度大规模时序指标自动异常检测实战 立即下载