使用阿里云函数计算自动同步github fork repo

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 需求背景 在参与一些开源项目的时候,因为工作流的原因,经常需要从upstream的repo同步改动到自己fork的repo中。一般来说可以使用git命令来完成,大致步骤如下: git remote add upstream … git fetch upstream git pull master git rebase upstream/master git push 操作到算不上繁琐,我是本地写了一个shell,自己手动运行。

需求背景

在参与一些开源项目的时候,因为工作流的原因,经常需要从upstream的repo同步改动到自己fork的repo中。一般来说可以使用git命令来完成,大致步骤如下:

git remote add upstream …
git fetch upstream
git pull master
git rebase upstream/master
git push

操作到算不上繁琐,我是本地写了一个shell,自己手动运行。

但是有时候工作在多个repo上,可能会忘记更新,特别是有一些项目活跃度很高,要是一两天没有同步,从旧的master开工的pull request可能就要花大量时间去解决冲突。对于团队项目,那还需要大家轮流负责同步的事情,虽然网上有很多服务可以做到自动同步,但是一般都要求上游项目仓库接入,如果自己只是项目的贡献者,还是比较难去操作的。

Github API和阿里云函数计算

最近看Github API文档的时候发现Github的API支持Patch方法,可以做到一个api调用就完成上面的几个git命令,同时流量消耗很小(发送一个json body就行了)。使用git命令完成这个步骤需要本地有完成的项目,而API调用就不需要。

我们以阿里的Dubbo项目为例,首先需要获取上游项目的最新commit sha。

调用地址:https://api.github.com/repos/apache/incubator-dubbo/branches/master
调用方法:Get

然后下一步发送一个PATCH请求到自己fork的库中,以我自己的repo为例,

调用地址:https://api.github.com/repos/htynkn/dubbo/git/refs/heads/master

调用方法:PATCH
调用请求:
{
"sha": sha,
"force": false
}
发送的body中包含两个字段,一个是上一步获得的sha,一个是是否强制更新的标识符。

这里执行了PATCH方法,所以我们需要一个Github token,这个token需要repo权限。

有了这两个API,我们就可以写一个脚本来手动运行同步操作。如果需要自动化这个步骤,还需要一个云平台来运行。

阿里云函数计算是事件驱动的全托管计算服务。使用函数计算只需编写并上传代码。函数计算支持定时触发,而且只需为任务实际消耗的资源付费。现在的免费额度挺大的,对于调用次数,每月前100万次调用免费;对于执行时间,每月前400000GB-秒费用免费。基本上只需要支付流量费用,但是你看两个API调用,这个流量开销真的很小。

完整代码

代码我是用node写的,依赖了async和request库。运行在阿里云函数计算nodejs 8的环境,运行超时时间是10s,内存限制是128M。

定时触发设置的是每天凌晨1点,如果有需要可以运行密集一些。

var request = require("request");
var async = require("async")
 
var targets = { 
    "htynkn/spring-boot": "spring-projects/spring-boot",
    "htynkn/incubator-dubbo": "apache/incubator-dubbo",
    "htynkn/angel": "Tencent/angel",
    "htynkn/spark": "apache/spark",
};
 
module.exports.handler = function (event, context, callback) {
    var options = {
        headers: {
            "User-Agent": "Upriver",
            "Authorization": "token 你的token"
        }
    };
    var execResult = [];
    async.forEachOf(targets, function (value, key, eachCallback) {
        async.waterfall([
            function (cb) {
                request.get("https://api.github.com/repos/" + value + "/branches/master", options, function (error, response, body) {
                    if (error) {
                        cb(error)
                    }
                    var sha = JSON.parse(body).commit.sha;
                    cb(null, sha);
                }
                )
            },
            function (sha, cb) {
                request.patch("https://api.github.com/repos/" + key + "/git/refs/heads/master", {
                    headers: options.headers,
                    json: {
                        "sha": sha,
                        "force": false
                    }
                }, function (error, response, body) {
                    if (error) {
                        cb(error)
                    }
                    cb(null, body);
                })
            }], function (err, result) {
                if (err) {
                    eachCallback(err)
                } else {
                    execResult.push({
                        target: key,
                        time: new Date(),
                        result: result.object,
                    });
                    eachCallback();
                }
            }
        );
    }, function (err) {
        if (err) {
            callback(err)
        } else {
            console.log(execResult);
            callback(null, execResult);
        }
    })
};

这个是这个月的计量数据,函数计算的开销真的很小
github_function_usage

说明和参考

本文首发在我的个人博客,经过修改后发布于云栖社区。

Github API:https://developer.github.com/v3/
Github Token:https://help.github.com/articles/creating-a-personal-access-token-for-the-command-line/
阿里云函数计算:https://help.aliyun.com/product/50980.html

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
10天前
|
存储 人工智能 运维
正式收官!阿里云函数计算携手优酷,用 AI 重塑影视 IP 创新边界
近日,阿里云联合优酷发起的 Create@影视 IP x AI 应用创新大赛,将网剧《少年白马醉春风》这一热门影视 IP 与阿里云 AI 技术相结合,由阿里云函数计算提供 AIGC 技术支持参赛者基于网剧《少年白马醉春风》IP 或“少年江湖”精神内核,用 AI 生成角色场景设计、手办设计、破次元合照、数字人等多样化的作品。
|
16天前
|
前端开发 小程序 Serverless
异步任务处理系统问题之阿里云函数计算FC的应用场景有哪些
异步任务处理系统问题之阿里云函数计算FC的应用场景有哪些
|
25天前
|
消息中间件 关系型数据库 Serverless
【阿里云】一键部署创建函数计算服务以处理多媒体文件
通过阿里云的一键部署功能,轻松创建函数计算服务以处理多媒体文件。首先选择地域并配置资源栈名称及其他必要参数,如登录凭证、实例类型及数据库配置。过程中可能需开通相关服务如消息服务MNS,并确保账户有足够的余额。完成配置后,系统自动创建资源栈。当状态显示“创建成功”即部署完毕。最后,通过提供的URL及凭据访问应用,上传PPTX文件进行处理,并下载处理后的结果。
63 5
|
29天前
|
运维 物联网 关系型数据库
关于阿里云Serverless 框架的产品体验
阿里云Serverless框架简化运维,实现5分钟一键部署。弹性伸缩、按需付费等特点让企业专注业务创新,降低成本与运维负担。适用于Web应用、数据分析、物联网等多种场景,支持快速迭代与多语言开发。尽管面临资源配额、网络配置等挑战,其竞争力在于成本节约、功能集成与性能优化,尤其适合追求高效开发与弹性扩展的团队。
74 1
|
14天前
|
存储 运维 安全
函数计算产品使用问题之如何获取到访问其他阿里云服务所需的AccessKey、SecretKey或STS Token
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
16天前
|
Kubernetes Serverless 调度
异步任务处理系统问题之在阿里云函数计算平台上用户提交异步任务的问题如何解决
异步任务处理系统问题之在阿里云函数计算平台上用户提交异步任务的问题如何解决
|
21天前
|
Serverless 数据安全/隐私保护 开发者
Serverless 架构问题之阿里云函数计算在事件生态层面如何解决
Serverless 架构问题之阿里云函数计算在事件生态层面如何解决
29 0
|
22天前
|
Kubernetes Serverless API
Serverless阿里云函数计算问题之使用示例如何解决
本文探讨了Serverless场景下实例Exec功能的关键特性及其与K8S和Docker的主要区别:实例Exec仅适用于存活实例,且请求不占用并发度,被视为InvokeFunction调用并据此计费。此外,还介绍了阿里云函数计算中实例Exec功能的使用方法,包括通过控制台、API及CLI工具的操作流程,并详细解释了WebSocket连接对计费的影响以及如何在控制台上登录函数实例进行问题排查的具体步骤。
35 0
|
24天前
|
缓存 JavaScript Serverless
阿里云云效产品使用合集之如何在Serverless Devs阶段指定Node.js版本
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
24天前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之从GitHub下载代码失败是什么原因
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。

热门文章

最新文章