揭秘!业界创新的代码仓库加密技术

本文涉及的产品
云效 DevOps 流水线,基础版人数 不受限
密钥管理服务KMS,1000个密钥,100个凭据,1个月
云效 DevOps 制品仓库,基础版人数 不受限
简介: 原理与演示。

image.png


01 / 什么是代码加密?


云端加密代码服务是云效团队的自研产品,是目前国内率先支持代码加密的托管服务,也是目前世界范围内率先基于原生Git实现加密方案的代码托管服务。


通过在云端对托管在云效Codeup的代码库进行落盘加密,可以有效避免数据拥有者之外的人接触到用户的明文数据,避免数据在云端发生泄露。同时,代码加密过程对用户完全透明,用户可以使用任意官方Git端(包括但不限于Git、JGit、libgit2等)来访问Codeup上的代码仓库。

02 / Linux社区重大安全性事件回顾

2011年8月底,用于维护和分发Linux操作系统的多台服务器感染了恶意软件,这些恶意软件非常厉害,可以获取root的访问权限,修改其上的系统软件以及登录密码。但社区的维护者称,维护linux的源代码,是未受到漏洞影响的。


这是为什么呢?因为他们使用了Git进行代码维护,对于linux内核代码将近40000个文件来说,每个文件都做了hash来确保唯一性,因此很难在不引起注意情况下,更改旧的版本。


image.png


虽然Git可以解决开源社区关心的源码篡改问题,却解决不了企业担心的数据泄露问题。而对于企业级代码托管来说,今天所面临的问题不但有数据安全、还有可靠性成本问题


当企业规模较小时,对可靠性要求也不高,一个自建的代码托管服务似乎就能满足需求。但随着规模不断扩大,代码量不断增加,可能需要更好的服务器配置,才能满足多人协作的需求,甚至还需要投入专人维护来保证可靠性,这时就不得不思考成本的问题。


而云代码托管服务,有着比自建代码托管服务更高的可靠性及更低的成本,但相比自建代码托管服务而言,由于其并不开放底层存储的直接访问,间接造成了用户不可控的安全心理。


而代码加密技术,正是通过将底层存储的不可控变为近完全可控,解决用户代码上云的顾虑。


03 / 自建真的比上云更安全么?


在回答这个问题之前,让我们一起来了解一些背景知识——Git的存储结构。


image.png


当我们使用Git进行代码提交时,最先接触到的便是提交记录及分支。分支或者标签,可以统称为引用。它们存储在以路径名作为引用名,以及对应版本hash作为内容的单个文件中。由于分支名通常与业务无关,所以可以认为,其中不包含敏感数据的。


除了提交记录commit之外,我们的代码文件被存储到blob对象,文件名及目录等信息,存储到tree对象,带有额外的信息的标签被存储到tag对象。


对象是Git中存储数据的基本单元。通常情况下,对象存储在以内容hash值命名的单个文件中,我们称之为松散对象。而通过执行gc(也就是垃圾回收)之后,这些对象就会被打包到一起,生成一个打包文件packfile。代码内容及文件名,都存储在blob及tree对象当中,所以可以认为,对象中是包含用户的代码内容数据,也就是包含敏感数据的。


Git中的对象存储,为了降低磁盘占用,会通过zlib进行一次数据的压缩。换句话说,只需通过解压缩就可以获取到数据内容,所以可以认为是明文存储。也就是说,任意可以接触到存储的人,都可以查看存储上的代码数据。


明文存储引发的信任问题

回答前面提出的问题,正是由于Git代码非安全存储的特点,自建的代码托管服务,既要防范来自外部的一些攻击风险,还要防范内鬼,因为通常企业代码数据泄露是从内部发生


image.png


而对于云代码托管服务而言,我们可以借助阿里云安全,有效避免来自外部的黑客攻击风险,那么,如何解决用户对云代码托管服务的信任问题,让代码对运维人员不可见呢?


引入代码加密技术,通过使用用户的密钥,加密云端托管的代码数据,既增加了静态存储数据的安全性,又可以阻断代码对运维人员的可见性,从而消除用户上云的顾虑。


04 / 代码加密技术揭秘


我把它分化三个问题去解决:

1.密钥管理

使用一个安全合规的方式托管密钥,密钥存储安全,才能保证加密安全。这个可以借助阿里云的密钥管理服务KMS。


2.密钥使用

Git是一个计算密集型的服务,如果直接使用密钥管理服务的加解密能力,那么这个性能是难以接受的。


那这里还有什么方案呢?我们可以使用信封加密技术。顾名思义,我们可以使用数据密钥,来对我们明文的代码数据进行加密,使用数字信封技术,保证密钥保存、传输、使用过程的安全性。由于我们只存储密文的数据密钥及密文的代码数据,必须通过用户授权,才能完成运行态的代码数据解密。而处于静态存储的代码数据,则无法被运维人员获取。


3.基于原生Git的加密实现

在原生Git的基础上,通过增加代码加密补丁,以在实现加密的能力同时,最大程度地获取到原生Git带来的各种优势。

原生Git是如图所示的这样一个自上而下的分层架构,和我们常见的应用架构非常类似。


image.png


最上层是展现层,包含纷繁复杂的命令行入口,直接暴露给应用服务进行调用。


中间是业务处理层,从数据内容角度,可以分为引用操作及对象操作。通过增加一个加解密的模块,在内存中进行数据加密,将密文数据写入磁盘,从而保证静态数据的安全性。


为了获取最高的性能,仅选择与用户代码资产相关的对象数据进行加密存储,而对于引用列表及对象索引等数据,仍维持明文存储。利用硬件加速,代码加密的额外性能损耗控制在10%左右,在用户使用过程中几乎无感。


本地Git代码加密演示

事先准备好一个配置了代码加密的的仓库。这个仓库是空的。

我们向里面添加一个文件。

通过hexdump -C查看这个文件的二进制内容,我们可以发现,它是以首字节78 01起始,这是一个典型的经过zlib压缩后的文件头。


image.png


接下来,我们开启加密的开关,通过git commit创建一个加密的提交记录。再次查看保存的提交记录二进制内容,发现这时创建的对象数据不再以78 01开始,而是以我们指定的加密标记位开始。


注意,受时间关系,这里我们未进行同一个对象非加密与非加密状态下的直接对比,而是以文件头是否变化来判断加密与否


在完成松散对象加密之后,我们可以通过git gc ,将松散对象转换为打包对象,再看一下打包对象会发生什么样的变化呢?由图中我们可以发现,加密后的打包文件包头版本中,不再是原有的00 00 00 02,而是增加了特定标识的82 00 00 02,并且包头也由原有的12字节扩展为24字节,增加了12字节的NONCE用于增加安全性。


image.png


那么,当我们移除密钥配置之后,是否可以继续访问这个仓库呢?

当我们移除密钥之后,由于缺少密钥,当我们尝试通过git show HEAD 查看当前版本时,会得到一个错误信息,提示未提供密钥。

这个错误是基于我们在原生Git基础上,定制化了代码加密能力补丁,若是没有这个补丁,会有什么样的表现呢?

针对加密的打包文件packfile,会提示当前版本较低,请升级Git版本;若针对松散对象,则提示文件头不正确,因为不是一个zlib的压缩头。

image.png



欢迎大家使用云效代码管理Codeup,全方位保护企业代码资产,帮助企业实现安全、稳定、高效的代码托管和研发管理。点击前往云效Codeup了解产品并使用。


加入我们

如果你是一个懂代码,爱 Git,有技术梦想的工程师,并想要和我们一起打造世界 NO.1 的代码服务和产品,请联系我吧!C/C++/Golang/Java 我们都要!

(=´∀`)人(´∀`=)

If not now, when? If not me, who?

简历投递邮箱:hanxin.hx@alibaba-inc.com

相关文章
|
5月前
|
存储 安全 开发工具
带你读《代码管理实践10讲》——八、揭秘!业界创新的代码仓库加密技术
带你读《代码管理实践10讲》——八、揭秘!业界创新的代码仓库加密技术
63 0
|
5天前
|
SQL 安全 算法
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【9月更文挑战第29天】随着互联网的普及,网络安全问题日益严重。本文将介绍网络安全漏洞、加密技术以及安全意识等方面的内容,帮助读者了解网络安全的重要性,提高自身的网络安全意识。
|
2天前
|
安全 网络协议 网络安全
网络安全与信息安全:漏洞、加密与意识的三重奏
【9月更文挑战第32天】在数字世界的交响乐中,网络安全是那不可或缺的乐章。本文将带您深入探索网络安全的三大主题:网络漏洞的识别与防范、加密技术的奥秘以及安全意识的重要性。通过深入浅出的方式,我们将一起揭开这些概念的神秘面纱,并学习如何在实际生活中应用它们来保护自己的数字足迹。让我们开始这场既刺激又富有教育意义的旅程,提升个人和组织的网络安全防御能力。
|
3天前
|
存储 安全 网络安全
揭秘网络安全的盾牌与剑:漏洞防御与加密技术
【9月更文挑战第31天】在数字时代的浪潮中,网络安全和信息安全成为了保护个人隐私和企业资产的重要屏障。本文将通过浅显易懂的语言和生动的比喻,带你深入了解网络安全漏洞、加密技术的奥秘,以及如何培养安全意识。我们将一起探索网络安全的“盾牌”和“剑”,了解它们如何守护我们的数字世界。
109 61
|
2天前
|
SQL 安全 算法
网络安全的盾牌:揭秘加密技术与安全意识的重要性
【9月更文挑战第32天】在数字时代的浪潮中,网络安全成为维护个人隐私和企业资产的关键防线。本文将深入探讨网络安全漏洞的成因与危害,解析加密技术的核心原理及其在防御策略中的应用,同时强调培养安全意识的必要性。通过深入浅出的方式,带领读者理解网络安全的复杂性,以及如何通过技术和意识的双重保障来构建更为坚固的网络防护墙。
|
1天前
|
存储 安全 算法
网络安全与信息安全:漏洞、加密与意识的三维防线
【9月更文挑战第33天】在数字化浪潮中,网络安全与信息安全成为守护数据宝藏的坚固盾牌。本文将深入探讨网络防御的三大支柱:安全漏洞的识别与防范,加密技术的应用和原理,以及提升个人和组织的安全意识。通过这些知识的分享,我们旨在为读者提供一套全面的网络安全策略,确保数字资产的安全无虞。
|
4天前
|
SQL 安全 程序员
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【9月更文挑战第30天】在数字化时代,网络安全和信息安全已成为全球关注的焦点。本文将探讨网络安全漏洞、加密技术以及提升安全意识的重要性。我们将通过代码示例,深入理解网络安全的基础知识,包括常见的网络攻击手段、防御策略和加密技术的实际应用。同时,我们还将讨论如何提高个人和企业的安全意识,以应对日益复杂的网络安全威胁。
|
1天前
|
SQL 安全 网络安全
网络安全与信息安全:漏洞、加密与意识的三重奏
【8月更文挑战第65天】在数字世界的交响乐中,网络安全和信息安全是不可或缺的乐章。本文将带领读者走进这些乐章的背后,探索它们如何共同奏响保护我们数据安全的和谐旋律。从网络安全漏洞的隐秘角落到加密技术的坚固堡垒,再到安全意识的灯塔,我们将一同航行在这个复杂而精彩的信息安全海洋中。准备好了吗?让我们启航!
|
1天前
|
安全 网络安全 数据安全/隐私保护
网络安全的守护者:漏洞管理与加密技术的实践之路
【9月更文挑战第33天】在数字时代的浪潮中,网络安全成为了维护信息资产安全的关键防线。本文将深入探讨网络安全中的两个核心要素——漏洞管理和加密技术,揭示它们如何协同工作以保护我们的在线世界。我们将通过实际案例,展示这些技术如何在现实世界中发挥作用,并强调安全意识的重要性。无论你是IT专业人士还是普通网民,这篇文章都将为你提供宝贵的知识和启示。
|
3天前
|
存储 安全 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【9月更文挑战第31天】在数字化时代,网络安全和信息安全成为了我们生活中不可或缺的一部分。本文将从网络安全漏洞、加密技术和安全意识等方面进行知识分享,帮助读者更好地了解和保护自己的网络安全。
下一篇
无影云桌面