如何通过Minio搭建私有化对象存储服务

64次阅读
没有评论

共计 4397 个字符,预计需要花费 11 分钟才能阅读完成。

这篇文章主要为大家展示了“如何通过 Minio 搭建私有化对象存储服务”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让丸趣 TV 小编带领大家一起研究并学习一下“如何通过 Minio 搭建私有化对象存储服务”这篇文章吧。

概述

Minio 是建立在云原生的基础上;有分布式和共享存储等功能;旨在多租户环境中以可持续的方式进行扩展的对象存储服务。它最适合存储非结构化数据,如:照片、视频、日志文件、容器 / 虚拟机 / 映像等,单次存储对象的大小最大可达 5TB。

实现架构单节点

根据存储是否为远端,可直接使用 FS 或 NFS 直接操作存储中的 Object

调用 S3 接口,通过 Minio 使用 FS 或 NFS 来操作 Object

如何通过 Minio 搭建私有化对象存储服务

多节点

多节点的 Minio 会根据不同的 Access_key 及 Secret_Key 来区分不同租户,每个租户可操作对应 Server 获取 Object。Minio Server 间可以通过不同的进程模型、容器或是虚拟机来互相隔离。

如何通过 Minio 搭建私有化对象存储服务

分布式

分布式 Minio 在无共享架构中根据需求扩展到尽可能多的服务器,所有节点需要使用相同的 Access_key 及 Secret_key 来登录。分布式 Minio 使用 Web 负载均衡器或 DNS 轮循 (DNS round-robin),在各服务器之间实现负载均衡。

如何通过 Minio 搭建私有化对象存储服务

功能特性

Amazon S3 兼容

Minio 使用 Amazon S3 v2 / v4 API。可以使用 Minio SDK,Minio Client,AWS SDK 和 AWS CLI 访问 Minio 服务器。

数据保护

Minio 使用 Minio Erasure Code 来防止硬件故障。也许会损坏一半以上的 driver,但是仍然可以从中恢复。

高度可用

Minio 服务器可以容忍分布式设置中高达(N / 2)- 1 节点故障。而且,您可以配置 Minio 服务器在 Minio 与任意 Amazon S3 兼容服务器之间存储数据。

Lambda 计算

Minio 服务器通过其兼容 AWS SNS / SQS 的事件通知服务触发 Lambda 功能。支持的目标是消息队列,如 Kafka,NATS,AMQP,MQTT,Webhooks 以及 Elasticsearch,Redis,Postgres 和 MySQL 等数据库。

加密和防篡改

Minio 为加密数据提供了机密性,完整性和真实性保证,而且性能开销微乎其微。使用 AES-256-GCM,ChaCha20-Poly1305 和 AES-CBC 支持服务器端和客户端加密。加密的对象使用 AEAD 服务器端加密进行防篡改。

可对接后端存储

除了 Minio 自己的文件系统,还支持 DAS、JBODs、NAS、Google 云存储和 Azure Blob 存储。

sdk 支持

基于 Minio 轻量的特点,它得到类似 Java、Python 或 Go 等语言的 sdk 支持,

例如: Java 类在使用 Maven 管理 Jar 的情况下,在 pom.xml 中指定 Minio:

dependency 
  groupId io.minio /groupId 
  artifactId minio /artifactId 
  version 3.0.12 /version 
 /dependency

使用

Minio 提供: 包含图形化界面的 Server 端; 使用命令行操作的 Client 端。以下为您介绍 Minio Server 与 Minio Client 的使用。

Minio Server

使用 Access Key 与 Secret Key 登录 Minio。登录成功后进入如下界面

如何通过 Minio 搭建私有化对象存储服务

Access Key 与 Secret Key 可由 Minio Server 随机生成,也可通过变量来自定义。下文自助部署讲述如何定义及获取 Access Key 与 Secret Key。

点击模块 1bucket 对应部分创建一个新的 bucket,可在模块 2 看到所创建 bucket。

在模块 2 选择一个 bucket。点击模块 1upload 对应部分上传文件到已选择 bucket。可在页面白色部分看到对应 bucket 中所上传文件。

鼠标移动到模块 2 任意 bucket,对应 bucket 右侧可点击进行操作 policy、delete 操作。其中 policy 可设置 Prefix 的请求权限。

点击模块 3,查看与设置该 Object 的基本信息:

查看共享地址 Shareable Link

设置到期时间,最大可保存时间为 7 天

对话框上方弹出该 Object 现剩余到期时间

如何通过 Minio 搭建私有化对象存储服务

Minio Client

下载二进制

wget https://dl.minio.io/client/mc/release/linux-amd64/mc
chmod +x mc
./mc --help

基本操作命令

配置已存在 Minio Server

./mc config host add  custom_name   Minio_Server_address   access_key   secret_keyt  S3v4

例:

./mc config host add test http://9000.gr8be71d.grapps.ali-hz.goodrain.net access_key secret_key S3v4

创建 bucket

./mc mb  custom_name /[bucket_name]/[object_name]

例:

./mc mb test/data

查看 Minio Server 的 bucket、object

./mc ls  custom_name /[bucket_name]/[object_name]

例:

./mc ls test/data

上传 / 下载 Object

# cp 到 Minio Server(上传)
./mc cp  object   custom_name /[bucket_name]
# cp 到本地 (下载)
./mc cp  custom_name /[bucket_name]/[object_name]  local_path

例:

./mc cp README.md test/data

删除 Object 或 bucket

./mc rm  custom_name /[bucket_name]/[object_name]

例:

#  删除 bucket,因为 data 下存在名为 README.md 的 object, 故需追加 --force 参数来强制删除 bucket
./mc rm test/data --force

* 共享访问

mc 提供 share 方法,通过授权生成的 URL 可以临时上传或下载 object。

download

指定 Minio Server 中的 Object,生成该 Object 临时下载的 URL。

./mc share download [—expire [h|m|s]]  custom_name /[bucket_name]/[object_name]

例:

# --expire 168h 代表生成的 URL 有效时间仅 168 小时
./mc share download --expire 168h test/data/README.md

upload

指定上传某文件到 Minio Server 后的路径,生成临时可供上传的命令。

./mc share upload [—expire [h|m|s]]  custom_name /[bucket_name]/[object_name]

例:

./mc share upload test/data/README.md

生成类似如下命令:

curl http://9000.gr17b6e1.grapps.ali-hz.goodrain.net/data/ \
-F x-amz-credential=access_key/20180425/us-east-1/s3/aws4_request \
-F x-amz-date=20180425T031310Z \
-F x-amz-signature=68ac9f102afd6a87526ecb9ce6025dee4f85b25cf054f5a7668a73ae0ef9f4dc \
-F bucket=data \
-F policy=eyJleHBpcmF0aW9uIjoiMjAxOC0wNS0wMlQwMzoxMzowOS45MTlaIiwiY29uZGl0aW9ucyI6W1siZXEiLCIkYnVja2V0IiwiZGF0YSJdLFsiZXEiLCIka2V5IiwiaW5zdGFsbC5zaCJdLFsiZXEiLCIkeC1hbXotZGF0ZSIsIjIwMTgwNDI1VDAzMTMxMFoiXSxbImVxIiwiJHgtYW16LWFsZ29yaXRobSIsIkFXUzQtSE1BQy1TSEEyNTYiXSxbImVxIiwiJHgtYW16LWNyZWRlbnRpYWwiLCJhY2Nlc3Nfa2V5LzIwMTgwNDI1L3VzLWVhc3QtMS9zMy9hd3M0X3JlcXVlc3QiXV19 \
-F x-amz-algorithm=AWS4-HMAC-SHA256 \
-F key=README.md \
#  FILE   为需要上传的 Object
-F file=@ FILE

list

查看所创建下载或上传的所有 RUL

./mc share list 
  文件名称:
  文件大小:
  下载声明:本站部分资源来自于网络收集,若侵犯了你的隐私或版权,请及时联系我们删除有关信息。
下载地址:

部署从云市

您可以从云市一键式部署 Minio 应用 (点击获取)。

从云帮

您也可以使用 docker run 命令在云帮自行部署:

进入云帮 - 创建应用界面选择从 Docker 镜像创建应用

编辑 docker run 命令

 docker run -p 9000:9000 \
 -e MINIO_ACCESS_KEY= Custom Access Key  \
 -e MINIO_SECRET_KEY= Custom Secret Key  \
 -v /mnt/data:/data \
 -v /mnt/config:/root/.minio \
 minio/minio:RELEASE.2018-04-19T22-54-58Z \
 server /data

访问 Minio 对象存储时,验证所需要的 Access Key 与 Secret Key,可以根据传入的变量 MINIO_ACCESS_KEY 与变量 MINIO_SECRET_KEY 自定义生成。

我们对云市的 Minio 应用的变量 MINIO_ACCESS_KEY 与变量 MINIO_SECRET_KEY 做了初始化工作,您可以在应用控制台 - 应用依赖信息获取变量对应值,用于登录 Minio 应用。

分布式 Minio

使用分布式的 Minio 可让您将多个驱动(即使在不同的计算机上)合并为一个对象存储服务器。由于驱动可分布在多个节点上,因此分布式 Minio 可以承受多点故障,并且保证数据的安全。

以上是“如何通过 Minio 搭建私有化对象存储服务”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注丸趣 TV 行业资讯频道!

正文完
 
丸趣
版权声明:本站原创文章,由 丸趣 2023-08-25发表,共计4397字。
转载说明:除特殊说明外本站除技术相关以外文章皆由网络搜集发布,转载请注明出处。
评论(没有评论)