一、背景介绍
大家在使用 Gitlab 仓库的时候，是不是经常会遇到仓库越来越大的问题？随着项目的不断发展，代码不断地提交、修改，仓库里的历史数据也越来越多，这就导致仓库占用的存储空间越来越大。这不仅会影响仓库的性能，还可能会让你的存储成本增加。所以，我们就需要对 Gitlab 仓库进行瘦身，清理掉那些不必要的历史数据，释放出更多的存储空间。
比如说，一个小型的项目团队，他们的 Gitlab 仓库最初只有几百兆，但是随着项目的推进，不断地有新的代码提交，一些大文件也被不小心提交到了仓库里，几年下来，仓库的大小竟然达到了几个 G。这时候，团队发现仓库的拉取和推送速度变得非常慢，而且存储成本也在不断增加，这就迫切需要对仓库进行瘦身。
二、常见导致仓库变大的原因
1. 大文件提交
有时候，我们在开发过程中可能会不小心把一些大文件，像图片、视频、大型的二进制文件等提交到了 Gitlab 仓库里。这些大文件会一直存在于仓库的历史记录中，即使我们后来把它们删除了，它们的历史版本依然会占用仓库的空间。
举个例子，有一个前端项目，开发人员把一些高清的设计稿图片直接提交到了仓库里，这些图片每个都有几兆甚至几十兆。随着项目的不断迭代，这些图片可能被替换或者删除了，但是它们的历史版本还在仓库里，导致仓库的大小不断增加。
2. 频繁的分支创建和合并
在项目开发过程中，我们经常会创建很多分支来进行不同功能的开发。当这些分支合并到主分支后，分支的历史记录也会被保留在仓库里。如果分支创建和合并的频率很高，仓库的历史记录就会变得非常庞大。
比如，一个大型的软件开发项目，有多个开发团队同时进行不同模块的开发，每个团队都会创建自己的分支。在项目的开发周期内，这些分支会不断地创建、合并，导致仓库的历史记录越来越复杂，占用的空间也越来越大。
3. 重复的提交
有时候，我们可能会因为一些失误或者其他原因，进行了重复的代码提交。这些重复的提交也会增加仓库的历史记录，从而占用更多的存储空间。
例如，开发人员在提交代码时，没有仔细检查，多次提交了相同的代码修改。这些重复的提交虽然对代码本身没有影响，但是会让仓库的历史记录变得冗余，增加仓库的大小。
三、清理历史数据的方法
1. 使用 BFG Repo-Cleaner
BFG Repo-Cleaner 是一个非常好用的工具，它可以帮助我们快速清理 Git 仓库中的大文件和敏感数据。
步骤：
- 首先，我们需要下载 BFG Repo-Cleaner 的 JAR 文件。可以从它的官方网站上下载。
- 然后，克隆要清理的仓库到本地：
# 技术栈：Shell
git clone --mirror git://example.com/my-repo.git # 克隆仓库的镜像
- 使用 BFG Repo-Cleaner 清理大文件，比如要清理所有大于 100MB 的文件：
# 技术栈：Shell
java -jar bfg-1.14.0.jar --strip-blobs-bigger-than 100M my-repo.git
- 最后，将清理后的仓库推送到 Gitlab：
# 技术栈：Shell
cd my-repo.git
git reflog expire --expire=now --all && git gc --prune=now --aggressive
git push
2. 使用 Git 自带的命令
Git 本身也提供了一些命令可以帮助我们清理历史数据。
步骤：
- 找到大文件：
# 技术栈：Shell
git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -10 | awk '{print$1}')"
这个命令可以找出仓库中最大的 10 个文件。
- 删除大文件：
# 技术栈：Shell
git filter-branch --force --index-filter 'git rm --cached --ignore-unmatch path/to/bigfile' --prune-empty --tag-name-filter cat -- --all
这里的 path/to/bigfile 是要删除的大文件的路径。
- 清理引用日志和垃圾回收：
# 技术栈：Shell
git reflog expire --expire=now --all
git gc --prune=now --aggressive
四、应用场景
1. 小型项目团队
对于小型项目团队来说，仓库的大小可能不会成为太大的问题。但是，如果团队成员不小心提交了一些大文件，或者进行了频繁的分支操作，仓库的大小可能会迅速增加。这时候，就需要对仓库进行瘦身，以提高仓库的性能和降低存储成本。
比如，一个只有几个人的创业团队，他们的项目仓库最初只有几百兆，但是由于一次不小心提交了一个大型的数据库备份文件，仓库的大小一下子增加到了几个 G。这时候，团队就可以使用上述的方法对仓库进行清理，释放出更多的存储空间。
2. 大型企业项目
大型企业项目通常会有很多开发人员参与，代码的提交和分支操作非常频繁。随着项目的不断发展，仓库的大小会变得非常庞大。对这类项目的仓库进行瘦身，可以提高开发效率，降低存储成本。
例如，一家大型软件公司的一个核心项目，有上百名开发人员参与开发。经过多年的发展，项目的仓库已经达到了几十 G 的大小。这时候，公司就需要定期对仓库进行清理，以保证仓库的性能和开发效率。
五、技术优缺点
1. BFG Repo-Cleaner
优点：
- 操作简单：只需要几个命令就可以完成仓库的清理，不需要复杂的配置。
- 速度快：相比 Git 自带的命令，BFG Repo-Cleaner 的清理速度更快，可以节省大量的时间。
缺点：
- 可能会影响仓库的历史记录：在清理大文件和敏感数据时，会对仓库的历史记录进行修改，可能会导致一些历史信息丢失。
2. Git 自带命令
优点：
- 灵活性高：可以根据自己的需求，使用不同的命令组合来清理仓库，满足各种不同的清理需求。
- 不会丢失历史信息：虽然清理过程比较复杂，但是可以保证仓库的历史记录完整。
缺点：
- 操作复杂：需要掌握多个 Git 命令，并且需要对 Git 的工作原理有一定的了解。
- 速度慢：相比 BFG Repo-Cleaner，Git 自带命令的清理速度较慢。
六、注意事项
1. 备份仓库
在进行仓库清理之前，一定要对仓库进行备份。因为清理操作可能会对仓库的历史记录进行修改，一旦出现问题，我们可以使用备份来恢复仓库。
2. 通知团队成员
在清理仓库之前，要通知团队的所有成员，让他们知道仓库正在进行清理，避免在清理过程中进行代码提交，导致清理失败。
3. 测试清理效果
在清理完成后，要对仓库进行测试，确保仓库的功能正常，没有出现数据丢失或者其他问题。
七、文章总结
通过对 Gitlab 仓库进行瘦身，清理历史数据，我们可以释放出更多的存储空间，提高仓库的性能，降低存储成本。我们介绍了两种常见的清理方法，分别是使用 BFG Repo-Cleaner 和 Git 自带的命令。这两种方法各有优缺点，我们可以根据自己的需求选择合适的方法。在进行仓库清理时，我们需要注意备份仓库、通知团队成员和测试清理效果等事项，以确保清理操作的顺利进行。
评论