AWS S3 Multipart Upload

0x00 前言

记录一下S3分段上传相关的内容，主要涉及到原理以及使用方法，还有一些坑什么的。

0x01 如何生成大小合适的垃圾文件？

为了完全覆盖到上传时可能涉及到的边界条件，我们需要构造大小合适的垃圾文件。在这里我们可以使用如下命令生成指定大小的文件：

dd if=/dev/zero of=tonghua.5G bs=1M count=5120

0x02 单文件上传

单文件上传区别于分段上传，就是我一个文件就是一个文件，也不做任何切割，直接把文件整个上传到S3就完事了。单文件上传本质上调用了PutObject这个API，他有一些限制，比如说它最多支持上传5G的文件，大于5G的我们就只能使用分段上传了。
但是这里也不是说我5G以下就只使用这个也是不对的，根据自己的业务场景，选择合适的分段大小可以极大的提到上传效率，也会避免文件过大中途由于网络等问题导致上传失败什么的。
需要留意的是，S3单文件上传最多支持上传5G的文件，大于就不行了。这点可以在官方文档中找到：Uploading Objects

这里我做个演示：

1. 先生成一个5G大小的垃圾文件：

   [root@ip-10-0-0-64 test]# dd if=/dev/zero of=tonghua.5G bs=1M count=5120
   5120+0 records in
   5120+0 records out
   5368709120 bytes (5.4 GB) copied, 81.8725 s, 65.6 MB/s
   [root@ip-10-0-0-64 test]# file tonghua.5G
   tonghua.5G: data
   [root@ip-10-0-0-64 test]# ls -alth tonghua.5G
   -rw-r--r-- 1 root root 5.0G Nov  5 06:09 tonghua.5G

2. 然后将其上传至指定的S3 Bucket中

   [root@ip-10-0-0-64 test]# aws s3api put-object --bucket aaabbb --key test/tonghua.5G --body tonghua.5G
   {
       "ETag": "\"ec4bcc8776ea04479b786e063a9ace45\""
   }
   [root@ip-10-0-0-64 test]# md5sum tonghua.5G
   ec4bcc8776ea04479b786e063a9ace45  tonghua.5G
   [root@ip-10-0-0-64 test]#

可以看到目前已经上传成功了。（md5值也是一样的，说明这个文件是完整的）

3. 那我如果多加1个字节的内容会发生啥事呢？
   可以看到直接报错了，文件过大导致上传失败。

   [root@ip-10-0-0-64 test]# echo 1 >> tonghua.5G
   [root@ip-10-0-0-64 test]# ls -alth tonghua.5G
   -rw-r--r-- 1 root root 5.1G Nov  5 06:59 tonghua.5G
   [root@ip-10-0-0-64 test]# aws s3api put-object --bucket aaabbb --key test/tonghua.5G --body tonghua.5G
   
   An error occurred (EntityTooLarge) when calling the PutObject operation: Your proposed upload exceeds the maximum allowed size
   [root@ip-10-0-0-64 test]#

好了，这块不是重点，知道单文件最大传5个G就完事了，接下来我们看看分段上传。

0x03 S3分段上传原理

分段上传，文档里有提到，最小5M，最大5T。
分段上传拢共分为三步：

1. 初始化
2. 分段上传
3. 组装

这里我拿1G的文件做个测试：

[root@ip-10-0-0-64 test]# dd if=/dev/zero of=tonghua.1G bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 14.9912 s, 71.6 MB/s
[root@ip-10-0-0-64 test]# file tonghua.1G
tonghua.1G: data
[root@ip-10-0-0-64 test]# ls -alth tonghua.1G
-rw-r--r-- 1 root root 1.0G Nov  5 08:10 tonghua.1G
[root@ip-10-0-0-64 test]# aws s3 cp tonghua.1G s3://aaabbb/test/tonghua.1G
upload: ./tonghua.1G to s3://aaabbb/test/tonghua.1G
[root@ip-10-0-0-64 test]# aws s3api get-object --bucket aaabbb --key test/tonghua.1G 233
{
    "AcceptRanges": "bytes",
    "ContentType": "binary/octet-stream",
    "LastModified": "Tue, 05 Nov 2019 08:11:27 GMT",
    "ContentLength": 1073741824,
    "ETag": "\"c789e490a90359de2bd3b09d7e957cfd-128\"",
    "Metadata": {}
}
[root@ip-10-0-0-64 test]# aws s3api head-object --bucket aaabbb --key test/tonghua.1G
{
    "AcceptRanges": "bytes",
    "ContentType": "binary/octet-stream",
    "LastModified": "Tue, 05 Nov 2019 08:11:27 GMT",
    "ContentLength": 1073741824,
    "ETag": "\"c789e490a90359de2bd3b09d7e957cfd-128\"",
    "Metadata": {}
}
[root@ip-10-0-0-64 test]# md5sum tonghua.1G
cd573cfaace07e7949bc0c46028904ff  tonghua.1G

可以看到文件上传成功，通过ETag的内容我们可知其被分成了128段，然后组装在一起了，也就是8M一段，这也是默认的分段大小。

我拿了一个16M/9M的两个文件做了个测试，会被分成两段，至此可以得出结论，cli默认文件大于8M之后就会采用分段上传了。（下面的文档上也写了这一点）

这个也是可以在CLI配置文件中做修改的，具体可以参考这个链接AWS CLI S3 Configuration。

• multipart_chunksize 参数控制一个文件片段为多大
• multipart_threshold 参数控制大于多大的文件会采用分段上传操作

需要提及的是，这个只支持aws s3命令，而不适用与aws s3api命令。

0x04 实践S3分段上传

这里我用s3api演示一下手动分段上传。

1. 先把一个1G的文件拆开(200M一份，拢共6份)：

   [root@ip-10-0-0-64 test]# split -b 200M tonghua.1G
   [root@ip-10-0-0-64 test]# ls -alth
   total 14G
   -rw-r--r--  1 root root  24M Nov  7 06:20 xaf
   drwxr-xr-x  2 root root  182 Nov  7 06:20 .
   -rw-r--r--  1 root root 200M Nov  7 06:20 xae
   -rw-r--r--  1 root root 200M Nov  7 06:20 xad
   -rw-r--r--  1 root root 200M Nov  7 06:20 xac
   -rw-r--r--  1 root root 200M Nov  7 06:20 xab
   -rw-r--r--  1 root root 200M Nov  7 06:20 xaa
   dr-xr-x--- 13 root root 4.0K Nov  7 00:00 ..
   -rw-r--r--  1 root root 9.0M Nov  5 08:56 tonghua.9M
   -rw-r--r--  1 root root  16M Nov  5 08:34 tonghua.16M
   -rw-r--r--  1 root root 1.0G Nov  5 08:28 233
   -rw-r--r--  1 root root 1.0G Nov  5 08:10 tonghua.1G
   -rw-r--r--  1 root root 5.1G Nov  5 06:59 tonghua.5G
   -rw-r--r--  1 root root 5.0G Nov  5 06:04 tmp.5G
   -rw-r--r--  1 root root   89 Oct 30 08:39 1.py
   [root@ip-10-0-0-64 test]#

2. 再做个初始化上传的操作：

   [root@ip-10-0-0-64 test]# aws s3api create-multipart-upload --bucket aaabbb --key tonghua.1G.MTU
   {
       "Bucket": "aaabbb",
       "UploadId": "z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGvtF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.",
       "Key": "tonghua.1G.MTU"
   }
   [root@ip-10-0-0-64 test]#

3. 把刚刚切下来的6段分别上传上去：

   [root@ip-10-0-0-64 test]# aws s3api upload-part --bucket aaabbb --key tonghua.1G.MTU --part-number 1 --body              xaa --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGv             tF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
   {
       "ETag": "\"3566de3a97906edb98d004d6b947ae9b\""
   }
   [root@ip-10-0-0-64 test]# aws s3api upload-part --bucket aaabbb --key tonghua.1G.MTU --part-number 2 --body              xab --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGv             tF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
   {
       "ETag": "\"3566de3a97906edb98d004d6b947ae9b\""
   }
   [root@ip-10-0-0-64 test]# aws s3api upload-part --bucket aaabbb --key tonghua.1G.MTU --part-number 3 --body              xac --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGv             tF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
   {
       "ETag": "\"3566de3a97906edb98d004d6b947ae9b\""
   }
   [root@ip-10-0-0-64 test]# aws s3api upload-part --bucket aaabbb --key tonghua.1G.MTU --part-number 4 --body              xad --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGv             tF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
   {
       "ETag": "\"3566de3a97906edb98d004d6b947ae9b\""
   }
   [root@ip-10-0-0-64 test]# aws s3api upload-part --bucket aaabbb --key tonghua.1G.MTU --part-number 5 --body              xae --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGv             tF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
   {
       "ETag": "\"3566de3a97906edb98d004d6b947ae9b\""
   }
   [root@ip-10-0-0-64 test]# aws s3api upload-part --bucket aaabbb --key tonghua.1G.MTU --part-number 6 --body              xaf --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGv             tF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
   {
       "ETag": "\"77377273b0a4b61febdbf7bbf52b9db9\""
   }
   [root@ip-10-0-0-64 test]#

4. 上传完成之后先确认一下是否全都传上去了：

   [root@ip-10-0-0-64 test]# aws s3api list-parts --bucket aaabbb --key tonghua.1G.MTU --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGvtF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
   {
       "Owner": {
           "DisplayName": "tonghua",
           "ID": "75ca81520a6a8f31111e9ac0a8efec8c3b89076f67d161cdbc7382cb0aadc377"
       },
       "Initiator": {
           "DisplayName": "xxxxx",
           "ID": "arn:aws-cn:iam::297123123419:user/xxxxx"
       },
       "Parts": [
           {
               "LastModified": "2019-11-08T09:05:05.000Z",
               "PartNumber": 1,
               "ETag": "\"3566de3a97906edb98d004d6b947ae9b\"",
               "Size": 209715200
           },
           {
               "LastModified": "2019-11-08T09:05:35.000Z",
               "PartNumber": 2,
               "ETag": "\"3566de3a97906edb98d004d6b947ae9b\"",
               "Size": 209715200
           },
           {
               "LastModified": "2019-11-08T09:05:51.000Z",
               "PartNumber": 3,
               "ETag": "\"3566de3a97906edb98d004d6b947ae9b\"",
               "Size": 209715200
           },
           {
               "LastModified": "2019-11-08T09:06:07.000Z",
               "PartNumber": 4,
               "ETag": "\"3566de3a97906edb98d004d6b947ae9b\"",
               "Size": 209715200
           },
           {
               "LastModified": "2019-11-08T09:06:21.000Z",
               "PartNumber": 5,
               "ETag": "\"3566de3a97906edb98d004d6b947ae9b\"",
               "Size": 209715200
           },
           {
               "LastModified": "2019-11-08T09:06:35.000Z",
               "PartNumber": 6,
               "ETag": "\"77377273b0a4b61febdbf7bbf52b9db9\"",
               "Size": 25165824
           }
       ],
       "StorageClass": "STANDARD"
   }
   [root@ip-10-0-0-64 test]#

5. 确认无误后，将这些文件段组装在一起：
   先创建1个文件fileparts.json

   {
       "Parts": [{
           "ETag": "3566de3a97906edb98d004d6b947ae9b",
           "PartNumber":1
       },
       {
           "ETag": "3566de3a97906edb98d004d6b947ae9b",
           "PartNumber":2
       },
       {
           "ETag": "3566de3a97906edb98d004d6b947ae9b",
           "PartNumber":3
       },
       {
           "ETag": "3566de3a97906edb98d004d6b947ae9b",
           "PartNumber":4
       },
       {
           "ETag": "3566de3a97906edb98d004d6b947ae9b",
           "PartNumber":5
       },
       {
           "ETag": "77377273b0a4b61febdbf7bbf52b9db9",
           "PartNumber":6
       }]
   }

然后执行如下命令将其组装：

[root@ip-10-0-0-64 test]# aws s3api complete-multipart-upload --multipart-upload file://fileparts.json --bucket aaabbb --key tonghua.1G.MTU --upload-id z6NUjopY8OMv0Qd4Uomi9U4L_hs8ceLesZA4hJZzCm2mRwa0FW4U6ndTsnSnJ6gcVWAPYY_xtV6wIwjeb_AYPRqjGvtF6dtv3NOez3boX9.d4cWudryKsnpfieanIl5.
{
    "ETag": "\"9088a3364a043bb55249cda2b0ff5fe1-6\"",
    "Bucket": "aaabbb",
    "Location": "https://aaabbb.s3.cn-north-1.amazonaws.com.cn/tonghua.1G.MTU",
    "Key": "tonghua.1G.MTU"
}
[root@ip-10-0-0-64 test]#

那现在呢，分段上传操作其实就已经完成了。
可以再做一个文件完整性校验，两种方法，一种是将文件下载回来做与大文件做比对，一种是用S3 etag完整性校验做一个比对。

先来看看方法一：

[root@ip-10-0-0-64 test]# aws s3 cp s3://aaabbb/tonghua.1G.MTU tonghua.1G.MTU
download: s3://aaabbb/tonghua.1G.MTU to ./tonghua.1G.MTU
[root@ip-10-0-0-64 test]# md5sum tonghua.1G.MTU
cd573cfaace07e7949bc0c46028904ff  tonghua.1G.MTU
[root@ip-10-0-0-64 test]# md5sum tonghua.1G
cd573cfaace07e7949bc0c46028904ff  tonghua.1G
[root@ip-10-0-0-64 test]#

嗯，没啥毛病。

方法二：
算法就是每一个分段的md5串在一起在求一个md5，完事后面-N就完事了。

[root@ip-10-0-0-64 test]# echo "3566de3a97906edb98d004d6b947ae9b3566de3a97906edb98d004d6b947ae9b3566de3a97906edb98d004d6b947ae9b3566de3a97906edb98d004d6b947ae9b3566de3a97906edb98d004d6b947ae9b77377273b0a4b61febdbf7bbf52b9db9" | xxd -r -p | md5sum
9088a3364a043bb55249cda2b0ff5fe1  -
[root@ip-10-0-0-64 test]# aws s3api head-object --bucket aaabbb --key tonghua.1G.MTU
{
    "AcceptRanges": "bytes",
    "ContentType": "binary/octet-stream",
    "LastModified": "Thu, 07 Nov 2019 06:27:23 GMT",
    "ContentLength": 1073741824,
    "ETag": "\"9088a3364a043bb55249cda2b0ff5fe1-6\"",
    "Metadata": {}
}
[root@ip-10-0-0-64 test]#

至此，手动S3分段上传完成，也校验了文件完整性，感觉问题不大了。

0x05 关于S3多文件上传的一些坑点

1. 我执行cp命令，自动分段上传，中间由于网络或者我手动停止了，我中间上传一半可能就断了，导致这部分残留的object片段不能看到完事还收钱。
   可以用这个命令看到有没有残留的文件片段：

   [root@ip-10-0-0-64 test]# aws s3api list-multipart-uploads --bucket aaabbb                                              {
       "Uploads": [
           {
               "Initiator": {
                   "DisplayName": "11111",
                   "ID": "arn:aws-cn:iam::2971111111111111:user/11111"
               },
               "Initiated": "2019-11-08T13:24:45.000Z",
               "UploadId": "fdsBIrZ4amSsimTB4uzZosKp0toutli9kZr8Twir0YGi.QqVvWTWwsCpjnxazEdHMjAlbSMqsEgcOqku2MO9FTXKsr_guaall14gYFZz5aVze05WSdbscDR07NlCZ09p",
               "StorageClass": "STANDARD",
               "Key": "test_multipart",
               "Owner": {
                   "DisplayName": "tonghua",
                   "ID": "75ca81520a6a8f399c2e9ac0a8efec8c3b89076f67d161cdbc7382cb0aadc377"
               }
           }
       ]
   }
   [root@ip-10-0-0-64 test]#

删除这些残留的文件，通常有两种方法：
方法一：使用cli命令手动删除

[root@ip-10-0-0-64 test]# aws s3api abort-multipart-upload --bucket aaabbb --key "test_multipart" --upload-id "fdsBIrZ4amSsimTB4uzZosKp0toutli9kZr8Twir0YGi.QqVvWTWwsCpjnxazEdHMjAlbSMqsEgcOqku2MO9FTXKsr_guaall14gYFZz5aVze05WSdbscDR07NlCZ09p"
[root@ip-10-0-0-64 test]#

方法二：CCR生命周期规则走一波

保存之后就可以利用CCR定期删除残留的文件片段了。

0x06 后记

大概就是这样，先到这里了，溜了溜了。

0x07 参考链接

• How do I use the AWS CLI to perform a multipart upload of a file to Amazon S3?
• Linux 用dd生成指定大小的文件
• PutObject
• AWS CLI S3 Configuration
• 为大于5GB的文件计算Amazon-S3 Etag的算法是什么？