在开发过程中，我们常常会遇到大文件上传的需求。而大文件上传又很容易因为各种原因中断，这时候断点续传就显得尤为重要啦。今天咱们就来聊聊用 C# 和 .NET Core 集成 MinIO 实现大文件分片上传断点续传的事儿，还会说说 SDK 版本兼容的问题。
一、应用场景
在很多业务场景下，我们都需要处理大文件上传。比如说视频网站，用户上传高清视频，这些视频文件往往非常大；还有企业的文件共享平台，员工上传大型的项目文档。在这些场景中，如果上传过程因为网络波动、服务器故障或者用户误操作中断了，要是没有断点续传功能，就得重新上传，这多浪费时间和精力啊。所以，实现断点续传就可以让用户从上次中断的地方继续上传，大大提升了用户体验。
二、MinIO 简介
MinIO 是一个基于对象存储的服务，它可以像阿里云的 OSS、腾讯云的 COS 那样存储大量的非结构化数据，比如图片、视频、文档等。它的优点可不少呢，首先它是开源的，我们可以免费使用，而且可以根据自己的需求进行定制。其次，它的性能非常好，读写速度快，能够快速处理大量的文件上传和下载请求。另外，它的部署也很简单，可以在本地、云端各种环境部署。不过呢，它也有一些缺点，比如和一些专门的云存储服务相比，它的功能可能没有那么全面，在一些复杂的权限管理方面可能需要自己去开发和完善。
三、C#/.NET Core 集成 MinIO
1. 安装 MinIO SDK
在 .NET Core 项目中，我们可以使用 NuGet 包管理器来安装 MinIO SDK。打开 Visual Studio，在项目上右键点击“管理 NuGet 包”，在浏览选项卡中搜索“Minio”，然后安装它。也可以在命令行中使用以下命令来安装：
// 技术栈：C#/.NET Core
// 使用 dotnet CLI 安装 Minio 包
dotnet add package Minio
2. 连接 MinIO 服务器
安装好 SDK 后，我们就可以连接到 MinIO 服务器了。下面是一个简单的示例：
// 技术栈：C#/.NET Core
using Minio;
class Program
{
static async System.Threading.Tasks.Task Main(string[] args)
{
// 创建 MinioClient 实例，需要传入 MinIO 服务器的地址、访问密钥和秘密密钥
var minio = new MinioClient()
.WithEndpoint("play.min.io")
.WithCredentials("Q3AM3UQ867SPQQA43P2F", "zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG")
.Build();
try
{
// 检查存储桶是否存在
var args = new BucketExistsArgs()
.WithBucket("my-bucket");
bool found = await minio.BucketExistsAsync(args).ConfigureAwait(false);
if (!found)
{
// 如果存储桶不存在，则创建它
var mkArgs = new MakeBucketArgs()
.WithBucket("my-bucket");
await minio.MakeBucketAsync(mkArgs).ConfigureAwait(false);
}
}
catch (Exception e)
{
// 捕获异常并输出错误信息
Console.WriteLine($"[Bucket operation] 异常: {e}");
}
}
}
在这个示例中，我们首先创建了一个 MinioClient 实例，然后传入 MinIO 服务器的地址、访问密钥和秘密密钥。接着，我们检查指定的存储桶是否存在，如果不存在就创建它。
四、大文件分片上传与断点续传实现
1. 分片上传原理
大文件分片上传就是把一个大文件分成很多小的片段，然后依次上传这些片段。MinIO 支持 Multipart Upload 方式来实现分片上传。在上传过程中，我们需要记录每个片段的上传状态，这样当上传中断时，就可以知道哪些片段已经上传成功，哪些还没上传，从而实现断点续传。
2. 具体实现步骤
（1）初始化 Multipart Upload
// 技术栈：C#/.NET Core
var initiateMultipartUploadArgs = new InitiateMultipartUploadArgs()
.WithBucket("my-bucket")
.WithObject("large-file.zip");
var uploadId = await minio.InitiateMultipartUploadAsync(initiateMultipartUploadArgs);
这里我们使用 InitiateMultipartUploadAsync 方法来初始化一个 Multipart Upload 任务，并获取一个 uploadId，后续的分片上传都需要使用这个 uploadId。
（2）分片上传
// 技术栈：C#/.NET Core
int partNumber = 1;
List<Part> parts = new List<Part>();
// 假设文件已经被分成了很多小片段，存储在一个列表中
foreach (var chunk in fileChunks)
{
var uploadPartArgs = new UploadPartArgs()
.WithBucket("my-bucket")
.WithObject("large-file.zip")
.WithUploadId(uploadId)
.WithStreamData(chunk)
.WithPartNumber(partNumber)
.WithPartSize(chunk.Length);
var etag = await minio.UploadPartAsync(uploadPartArgs);
parts.Add(new Part(partNumber, etag));
partNumber++;
}
在这个示例中，我们遍历文件的每个片段，使用 UploadPartAsync 方法上传每个片段，并记录每个片段的 etag 和 partNumber。
（3）完成 Multipart Upload
// 技术栈：C#/.NET Core
var completeMultipartUploadArgs = new CompleteMultipartUploadArgs()
.WithBucket("my-bucket")
.WithObject("large-file.zip")
.WithUploadId(uploadId)
.WithParts(parts);
await minio.CompleteMultipartUploadAsync(completeMultipartUploadArgs);
当所有片段都上传完成后，我们使用 CompleteMultipartUploadAsync 方法来完成整个 Multipart Upload 任务。
（4）断点续传
在上传过程中，我们可以把每个片段的上传状态存储到数据库或者文件中。当上传中断后，重新上传时，先读取之前记录的状态，只上传那些还没上传成功的片段。以下是一个简单的示例：
// 技术栈：C#/.NET Core
// 假设我们从数据库中读取了已经上传的片段信息
List<int> uploadedParts = GetUploadedPartsFromDatabase();
int partNumber = 1;
List<Part> parts = new List<Part>();
foreach (var chunk in fileChunks)
{
if (!uploadedParts.Contains(partNumber))
{
var uploadPartArgs = new UploadPartArgs()
.WithBucket("my-bucket")
.WithObject("large-file.zip")
.WithUploadId(uploadId)
.WithStreamData(chunk)
.WithPartNumber(partNumber)
.WithPartSize(chunk.Length);
var etag = await minio.UploadPartAsync(uploadPartArgs);
parts.Add(new Part(partNumber, etag));
// 记录上传成功的片段信息到数据库
SaveUploadedPartToDatabase(partNumber);
}
partNumber++;
}
在这个示例中，我们先从数据库中获取已经上传的片段信息，然后遍历文件片段，只上传那些还没上传的片段，上传成功后再把片段信息记录到数据库中。
五、SDK 版本兼容方案
不同版本的 MinIO SDK 可能会有一些 API 变化，所以在使用时要注意版本兼容问题。在升级 SDK 时，要仔细查看官方的更新文档，了解 API 的变化情况。可以在项目中使用 NuGet 来管理 SDK 版本，锁定到一个稳定的版本，避免因为版本升级带来不必要的问题。如果需要升级版本，可以先在测试环境中进行测试，确保升级后不会影响现有功能。
六、注意事项
1. 内存管理
在处理大文件分片上传时，要注意内存的使用情况。如果一次性把整个文件加载到内存中进行分片，可能会导致内存溢出。可以采用流式处理的方式，逐个读取文件片段进行上传。
2. 并发控制
可以采用并发上传的方式来提高上传速度，但是要注意并发的数量不能太多，否则会给服务器和网络带来过大的压力。可以根据服务器的性能和网络状况来合理设置并发数量。
3. 错误处理
在上传过程中，可能会出现各种错误，比如网络错误、服务器错误等。要对这些错误进行合理的处理，比如进行重试机制，当上传失败时，尝试重新上传一定的次数。
七、文章总结
通过以上的介绍，我们了解了如何使用 C#/.NET Core 集成 MinIO 实现大文件分片上传和断点续传，以及 SDK 版本兼容的问题。大文件上传是很多项目中都会遇到的问题，实现断点续传可以提升用户体验，避免因为上传中断而重新上传的困扰。在实际开发中，我们要根据具体的业务需求和服务器性能，合理地选择技术方案，注意内存管理、并发控制和错误处理等问题。
评论