基于python从redmine-api中获取项目缺陷数据(1)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 1.引言本文主要内容是将如何利用 Python 对 Redmine缺陷进行缺陷数据获取操作。目前统计缺陷数据时基本是根据项目手动去redmine获取缺陷数据,至少要花费一个工作日去完成,目前的目标是通过python脚本通过 Redmine-API快速去获取各个维度的缺陷数据...

1.引言

本文主要内容是将如何利用 Python 对 Redmine缺陷进行缺陷数据获取操作。目前统计缺陷数据时基本是根据项目手动去redmine获取缺陷数据,至少要花费一个工作日去完成,目前的目标是通过python脚本通过 Redmine-API快速去获取各个维度的缺陷数据

需求:

需要输出 产品质量数据(总BUG数,每日新建bug数,每日关闭bug数,bug修复周期,bug提交者统计、bug严重程度比)

实现方案:

1.redmine API形式发布不同维度的缺陷数据统计接口
2.采用python调用api接口,获取缺陷数据,并存储在数据库

2.必备环境

Python3
pycharm IDE
mysql
自行安装Python需要的包
redminelib
datetime
json
pandas
charts

3.redmine-api理解

了解各个字段代表的含义,比如新建BUG、关闭BUG,优先级、作者,引入者、BUG状态等字段的定义及获取

4.基于python编码-获取缺陷数据

引入必须的python库及包

#coding=utf-8
#引入所需要的库
from redminelib import Redmine
from pandas import DataFrame;
from string import punctuation
import datetime
import time
import matplotlib
import charts
from mysql_save import Bugcount
import json

定义函数
由于篇幅有限及涉及项目业务,这里只摘抄一部分关键代码

首先定义函数
def __init__(self, userName, passWord):
        self.userName = userName
        self.passWord = passWord
        self.redMineURL = 'http://10.20.11.218:8222/redmine'
        try:
            self.redmine = Redmine(self.redMineURL, username=self.userName, password=self.passWord)
            self.project = self.redmine.project.get('f_project')
        except Exception as ex:
            raise RuntimeError('无法连接到Redmine,请检查网络!\n'+ str(ex))
        self.fields = None


#新建BUG数定义筛选
def creat_list(created_on,subject):
    redmine = MyRedMine("zhangmeiyuan656", "password")
    issues1 = redmine.redmine.issue.filter(
        project_id='f_project',
        created_on='><'+str(created_on)+'|'+str(created_on),
        #closed_on='><'+str(closed_on),
        status_id='*'
        subject=('~'+str(subject)).encode('utf-8'))
    result1=str(len(issues1))
    return result1
    
    #return issues
#关闭BUG数定义筛选
def closed_list(closed_on,subject):
    redmine = MyRedMine("zhangmeiyuan656", "password")
    issues2 = redmine.redmine.issue.filter(
        project_id='f_project',
        closed_on='><'+str(closed_on)+'|'+str(closed_on),
        status_id='*',
        subject=('~'+str(subject)).encode('utf-8'))
    result2=str(len(issues2))
    return result2
#数据处理及时间戳转换使用
if __name__ == '__main__':
    redmine = MyRedMine("zhangmeiyuan656", "PASSDWOR")
    start_time = "2017-08-01 00:00:00"
    end_time = "2017-08-16 00:00:00"
    start_time = int(time.mktime(time.strptime(start_time, "%Y-%m-%d %H:%M:%S")))
    end_time = int(time.mktime(time.strptime(end_time, "%Y-%m-%d %H:%M:%S")))
    c = start_time
    while (c < end_time):
        c = c + 86400
        d = datetime.datetime.utcfromtimestamp(c)
        f=str(d.strftime("%Y-%m-%d")
        #定义类,字典,导入MYSQL数据库
        bugCount = Bugcount()
        bug_data1 = {}
        bug_data1['date_time'] = f
        bug_data1['newbug'] = creat_list(f,"XXXv1.0")
        bug_data1['closebug'] = closed_list(f,"XXXv1.0")
        bugCount.insert_to_db(bug_data1)
        bug_data1_string = json.dumps(bug_data1)
        print ('json:',bug_data1_string)

4.数据存储

MYSQL安装:

在官网上下载mysqlserver 下一步一直安装
mysql配置

  • 1.step1:
    苹果->系统偏好设置->最下边点mysql 在弹出页面中 关闭mysql服务
    (点击stop mysql server)
  • 2.进入终端输入:cd /usr/local/mysql/bin/
    回车后 登录管理员权限 sudo su
    回车后输入以下命令来禁止mysql验证功能 ./mysqld_safe --skip-grant-tables &
    回车后mysql会自动重启(偏好设置中mysql的状态会变成running)
  • 3.输入命令 ./mysql
    回车后,输入命令 FLUSH PRIVILEGES;
    回车后,输入命令 SET PASSWORD FOR 'root'@'localhost' = PASSWORD('你的新密码');
    至此,密码修改完成,可以成功登陆。
    注意测试:mac终端基础操作mysql
    首先手动启动MySQL应用程序
    打开终端输入如下命令: /usr/local/MySQL/bin/mysql -u root -p
    *4、进入编码,新建脚本mysql_sav.py
    由于篇幅有限,这里只摘抄一部分
#coding=utf-8
#引入所需要的库
import pymysql
import json

    #"""docstring for Bugcount"""
    #连接数据库
    connect = pymysql.connect(
        host='localhost',
        user='root',
        passwd='jammy2017',
        db='test',
        port=3306,
        charset='utf8'
        )
    #获取cursor对象来进行操作
    cursor = connect.cursor()

    def __init__(self):
        pass

    #插入数据
    def insert_to_db(self, bug_data):
        self.cursor.execute("use test")
        self.cursor.execute(
            "insert into bug_line(date_time,newbug,closebug) values(%s,%s,%s)", (bug_data.get('date_time'), bug_data.get('newbug'), bug_data.get("closebug")))
        self.connect.commit()

5.数据展现

这里尝试了三种方式
1、一种是将数据通过pands方法转换后以csv格式导出,这种只适用于将获取到的数据导出excel表格
示例如下:

#生成CSV格式导出
# df = DataFrame({
#     '时间周期':['2017-07-24|2017-07-30','2017-07-20|2017-07-23','2017-07-10|2017-07-20'],
#     '每周新建bug数':[str(len(issues)),str(len(issues2)),str(len(issues3))],
#     '每周关闭bug数':[str(len(issues4)),str(len(issues5)),str(len(issues6))]
#     })
# print(df)
# df.to_csv(
#     "/Users/zhangmeiyuan/Desktop/爬虫脚本/bug趋势表格.csv",encoding='gb18030'
#     )

2、通过POTLY库生成图表,不过此方法是在线生成的图表,借助POTLY的服务器,不能存本地

 py.sign_in('jammy0528','erYbv2ED1VmGbWglVhHf')
 new_bug = Scatter(
     x=[1,2,3],
     y=[str(len(issues3)),str(len(issues2)),str(len(issues))],  
 )
 close_bug = Scatter(
     x=[1,2,3],
     y=[str(len(issues6)),str(len(issues5)),str(len(issues4))]
 )
 data = Data([new_bug,close_bug])

 py.plot(data, filename = 'bug-line')

3、通过hightcharts+jupyter生成图表

2C46FA55-FC46-41EC-A40D-8F8A1996F00D.png

6、关于数据可视化,未完待续

后续考虑通过web框架flask将获取到的数据进行web数据可视化

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1天前
|
分布式计算 大数据 Java
如何使用Python的pyodps库来进行跨项目空间重命名表名?
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
28 12
|
1天前
|
供应链 数据挖掘 数据处理
聚合数据,洞察未来!Python聚合术,解锁数据背后的商业密码!
【7月更文挑战第19天】数据聚合整合分散数据,揭示隐藏模式,助力企业决策。Python的Pandas与NumPy库简化了这一过程,提供高效的数据处理。例如,通过Pandas的groupby和agg函数,可以按产品ID和日期聚合销售数据,计算每日销量和收入。聚合后,企业可洞察产品销售趋势、季节性变化,优化策略,预测需求。Python丰富的资源和活跃社区支持各层次用户进行数据探索。
16 7
|
3天前
|
分布式计算 DataWorks API
DataWorks产品使用合集之使用REST API Reader往ODPS写数据时,如何获取入库时间
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
1天前
|
数据采集 机器学习/深度学习 数据挖掘
转换数据,扭转乾坤!Python转换技巧,让你的数据分析如虎添翼!
【7月更文挑战第19天】Python在数据转换中扮演关键角色,借助Pandas库进行数据清洗,如填充缺失值、处理异常值和转换数据类型。数据重塑通过pivot、melt和groupby提供多维度视图。文本数据通过独热编码或标签编码转化为数值。自定义函数解决复杂转换问题,提升数据分析的深度和准确性。掌握这些技巧,能有效挖掘数据价值,助力决策。
16 4
|
1天前
|
数据采集 数据挖掘 数据处理
数据清洗,不只是清洁!Python教你如何挖掘数据中的隐藏价值!
【7月更文挑战第19天】在数据驱动的世界,数据清洗是揭示企业资产价值的关键。Python的Pandas库助力分析师处理电商平台用户购买数据中的缺失值、格式错误和异常值。通过识别缺失值并填充,统一日期格式,以及用IQR法检测和处理异常值,数据变得有序且适合分析,从而能洞察用户行为模式和市场趋势,释放数据的潜力。数据清洗不仅是预处理,更是价值创造的过程。
16 3
|
1天前
|
数据采集 数据挖掘 数据处理
数据转换与聚合,Python的双刃剑!精准切割,深度挖掘,数据世界任你遨游!
【7月更文挑战第19天】Python的Pandas库是数据科学家处理数据的得力工具,它在数据转换和聚合上的功能强大。例如,使用Pandas的`to_datetime`函数能统一日期格式,而`groupby`配合`agg`则可按类别聚合数据,进行统计分析。通过这些方法,可以有效地清洗数据、提取关键信息,助力数据驱动的决策。
|
2天前
|
前端开发 Python
前后端分离的进化:Python Web项目中的WebSocket实时通信解决方案
【7月更文挑战第18天】在Python的Flask框架中,结合Flask-SocketIO库可轻松实现WebSocket实时通信,促进前后端分离项目中的高效交互。示例展示了一个简单的聊天应用:Flask路由渲染HTML,客户端通过Socket.IO库连接服务器,发送消息并监听广播。此方法支持多种实时通信协议,适应不同环境,提供流畅的实时体验。
15 3
|
1天前
|
JSON 中间件 数据处理
实践出真知:通过项目学习Python Web框架的路由与中间件设计
【7月更文挑战第19天】探索Python Web开发,掌握Flask或Django的关键在于理解路由和中间件。路由连接URL与功能,如Flask中@app.route()定义请求响应路径。中间件在请求处理前后执行,提供扩展功能,如日志、认证。通过实践项目,不仅学习理论,还能提升构建高效Web应用的能力。示例代码展示路由定义及模拟中间件行为,强调动手实践的重要性。
|
16天前
|
NoSQL 安全 API
如何有效提升 API 接口的安全性?
**API安全关键在于验证和防刷。通过排序参数、生成签名和MD5加密确保请求合法性。使用Redis限制请求频率,防止接口被恶意刷取。验证和防刷策略结合,保护API免受攻击和滥用。**
36 0
|
21天前
|
JSON 安全 API
如何高效编写API接口:以Python与Flask为例
构建RESTful API的简明教程:使用Python的Flask框架,从环境准备(安装Python,设置虚拟环境,安装Flask)到编写首个API(包括获取用户列表和单个用户信息的路由)。运行API服务器并测试在`http://127.0.0.1:5000/users`。进阶话题包括安全、数据库集成、API文档生成和性能优化。【6月更文挑战第27天】
45 7