使用阿里云函数计算自动同步github fork repo

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 需求背景 在参与一些开源项目的时候,因为工作流的原因,经常需要从upstream的repo同步改动到自己fork的repo中。一般来说可以使用git命令来完成,大致步骤如下: git remote add upstream … git fetch upstream git pull master git rebase upstream/master git push 操作到算不上繁琐,我是本地写了一个shell,自己手动运行。

需求背景

在参与一些开源项目的时候,因为工作流的原因,经常需要从upstream的repo同步改动到自己fork的repo中。一般来说可以使用git命令来完成,大致步骤如下:

git remote add upstream …
git fetch upstream
git pull master
git rebase upstream/master
git push
AI 代码解读

操作到算不上繁琐,我是本地写了一个shell,自己手动运行。

但是有时候工作在多个repo上,可能会忘记更新,特别是有一些项目活跃度很高,要是一两天没有同步,从旧的master开工的pull request可能就要花大量时间去解决冲突。对于团队项目,那还需要大家轮流负责同步的事情,虽然网上有很多服务可以做到自动同步,但是一般都要求上游项目仓库接入,如果自己只是项目的贡献者,还是比较难去操作的。

Github API和阿里云函数计算

最近看Github API文档的时候发现Github的API支持Patch方法,可以做到一个api调用就完成上面的几个git命令,同时流量消耗很小(发送一个json body就行了)。使用git命令完成这个步骤需要本地有完成的项目,而API调用就不需要。

我们以阿里的Dubbo项目为例,首先需要获取上游项目的最新commit sha。

调用地址:https://api.github.com/repos/apache/incubator-dubbo/branches/master
调用方法:Get

然后下一步发送一个PATCH请求到自己fork的库中,以我自己的repo为例,

调用地址:https://api.github.com/repos/htynkn/dubbo/git/refs/heads/master

调用方法:PATCH
调用请求:
{
"sha": sha,
"force": false
}
发送的body中包含两个字段,一个是上一步获得的sha,一个是是否强制更新的标识符。

这里执行了PATCH方法,所以我们需要一个Github token,这个token需要repo权限。

有了这两个API,我们就可以写一个脚本来手动运行同步操作。如果需要自动化这个步骤,还需要一个云平台来运行。

阿里云函数计算是事件驱动的全托管计算服务。使用函数计算只需编写并上传代码。函数计算支持定时触发,而且只需为任务实际消耗的资源付费。现在的免费额度挺大的,对于调用次数,每月前100万次调用免费;对于执行时间,每月前400000GB-秒费用免费。基本上只需要支付流量费用,但是你看两个API调用,这个流量开销真的很小。

完整代码

代码我是用node写的,依赖了async和request库。运行在阿里云函数计算nodejs 8的环境,运行超时时间是10s,内存限制是128M。

定时触发设置的是每天凌晨1点,如果有需要可以运行密集一些。

var request = require("request");
var async = require("async")
 
var targets = { 
    "htynkn/spring-boot": "spring-projects/spring-boot",
    "htynkn/incubator-dubbo": "apache/incubator-dubbo",
    "htynkn/angel": "Tencent/angel",
    "htynkn/spark": "apache/spark",
};
 
module.exports.handler = function (event, context, callback) {
    var options = {
        headers: {
            "User-Agent": "Upriver",
            "Authorization": "token 你的token"
        }
    };
    var execResult = [];
    async.forEachOf(targets, function (value, key, eachCallback) {
        async.waterfall([
            function (cb) {
                request.get("https://api.github.com/repos/" + value + "/branches/master", options, function (error, response, body) {
                    if (error) {
                        cb(error)
                    }
                    var sha = JSON.parse(body).commit.sha;
                    cb(null, sha);
                }
                )
            },
            function (sha, cb) {
                request.patch("https://api.github.com/repos/" + key + "/git/refs/heads/master", {
                    headers: options.headers,
                    json: {
                        "sha": sha,
                        "force": false
                    }
                }, function (error, response, body) {
                    if (error) {
                        cb(error)
                    }
                    cb(null, body);
                })
            }], function (err, result) {
                if (err) {
                    eachCallback(err)
                } else {
                    execResult.push({
                        target: key,
                        time: new Date(),
                        result: result.object,
                    });
                    eachCallback();
                }
            }
        );
    }, function (err) {
        if (err) {
            callback(err)
        } else {
            console.log(execResult);
            callback(null, execResult);
        }
    })
};
AI 代码解读

这个是这个月的计量数据,函数计算的开销真的很小
github_function_usage

说明和参考

本文首发在我的个人博客,经过修改后发布于云栖社区。

Github API:https://developer.github.com/v3/
Github Token:https://help.github.com/articles/creating-a-personal-access-token-for-the-command-line/
阿里云函数计算:https://help.aliyun.com/product/50980.html

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
打赏
0
0
0
0
2
分享
相关文章
【2023-08-20】最新PDF.js PDF批注注释插件库:创建、保存和管理PDF注释批注(高亮、文本框、绘图、截屏、历史记录、橡皮檫)-pdf.js
探索基于pdf.js-dist开发的纯Javascript PDF批注插件库,支持保存、导出、导入和管理PDF文件中的批注。多个功能模块为您提供丰富的PDF注释体验。
787 0
【2023-08-20】最新PDF.js PDF批注注释插件库:创建、保存和管理PDF注释批注(高亮、文本框、绘图、截屏、历史记录、橡皮檫)-pdf.js
DataWorks产品使用合集之如何复制工作空间里的业务流程
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
探索Java RESTful中的GET请求:资源的获取与无状态通信
在现代Web应用开发中,HTTP的GET请求是一种常见而重要的通信方式。它是RESTful架构中的核心操作之一,用于获取资源的信息。本文将带您深入了解Java中使用GET请求来构建RESTful API,探讨其特点、实现方式、用例以及在实际应用中的优势。
Apache AirFlow开篇
1.简述 Airflow Platform是用于描述,执行和监控工作流的工具。基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行;airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理。
2789 0
阿里云内网可用的dns
来自于阿里云技术支持工单 如果你要自己设置dns,可用: ```bash nameserver 100.100.2.136 nameserver 100.100.2.138 nameserver 223.
9671 0
用 Github Actions 自动部署阿里云函数计算 FC
介绍了如何配置阿里云函数计算(FC)与GitHub Actions集成以实现自动部署。首先在阿里云创建函数,然后在项目根目录创建`s.yaml`文件配置Serverless Devs。接着在GitHub仓库中设置 Secrets 存储阿里云账号信息,并创建名为`aliyun-fc-deploy.yaml`的工作流文件来定义GitHub Actions。当代码推送到`master`分支时,Actions会自动部署到函数计算。最后,成功配置后,提交代码会触发自动部署,并可在GitHub Actions和阿里云控制台查看部署状态。
836 3
SQLite和MySQL指南
【5月更文挑战第18天】了解如何使用Python连接SQLite和MySQL数据库。首先,安装必要的库,如`sqlite3`(Python自带)和`mysql-connector-python`。接着,连接SQLite数据库,创建表、插入和查询数据。对于MySQL,同样建立连接,但需提供额外的连接信息。使用参数化查询防止SQL注入,并处理异常以增强程序稳定性。可选ORM框架如SQLAlchemy简化操作。考虑使用内存数据库、连接池、异步库(如`aiosqlite`)以优化性能。使用环境变量或配置文件安全管理连接信息,并实施安全性措施保护数据库。通过本文,提升Python数据库编程技能。
228 1
新的一年,带给你全新的DataV
2023已经到来,我们正在迎来春暖花开的新时节。在这新年到来之际,我们给广大的DataV用户带来了一份新年礼物 - 全新的DataV 7.0版本,下面小编就带大家看一看新版本中有哪些激动人心的升级。
新的一年,带给你全新的DataV
函数计算搭建 Serverless Web 应用(四)- 三分钟搭建 Web 应用
本文对使用自定义域名 + HTTP 触发器搭建 Web 应用的步骤进行详细介绍,手把手带您三分钟搭建稳定可靠的 Web 应用。
4380 0
函数计算搭建 Serverless Web 应用(四)- 三分钟搭建 Web 应用

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问