minio 支持object搜索方案

minio,支持,object,搜索,方案 · 浏览次数 : 206

小编点评

**内容生成时需要带简单的排版** **1. 使用缩进和格式** 使用缩进和格式可以缩短文本长度，使内容更易读。例如，使用缩进可以缩短文本长度，使“今天是2023年8月28日”更易读。 **2. 使用标题和段落** 标题可以使内容更易读，段落可以将内容更易读。例如，使用标题可以将“今天是2023年8月28日”更易读，段落可以将“今天是2023年8月28日，这是我的博客”更易读。 **3. 使用缩点和引点** 缩点和引点可以使文本更易读，例如使用缩点可以使“今天是2023年8月28日，这是我的博客”更易读。 **4. 使用空行** 空行可以使内容更易读，例如使用空行可以使“今天是2023年8月28日，这是我的博客”更易读。 **5. 使用排版** 排版可以使内容更易读，例如使用排版可以使“今天是2023年8月28日，这是我的博客”更易读。

正文

minio支持上传时对object打标签，查询时可以根据标签做筛选。但是有ftp上传文件的需求，导致无法给object打标签。并且也不清楚minio对于根据标签的筛选性能如何，因此我们打算将object的对象的数据放到数据库。在数据库中对object进行筛选。

docker部署

mkdir -p ~/minio/data

docker run \
   -d \
   --network=host \
   --name minio \
   -v /opt/minio/data:/data \
   -e "MINIO_ROOT_USER=ROOTNAME" \
   -e "MINIO_ROOT_PASSWORD=CHANGEME123" \
   quay.io/minio/minio server /data --console-address ":9090" \
   --address=":9002" \
   --ftp="address=:8021" \
   --ftp="passive-port-range=30000-40000"

9090端口是minio console网页的端口，登录此网页用户名密码就是我们设置的ROOTNAME CHANGEME123

9002是我们程序调用minio sdk的端口，根据自己机器的情况按需设置。

ftp参数表示我们开启ftp，并使用8021最为ftp服务器端口。

登录9090网页后，申请Access key，调用minio sdk时需要secret key、Access key等。

Bucket Notification

我们通过订阅minio的object events来做数据同步。

bucket notification

minio提供了多种方式，我们最终使用的webhook方式，但是我们暂时先说一下mysql方式：

docker run \
   -d \
   --network=host \
   --name minio \
   -v /opt/minio/data:/data \
   -e "MINIO_ROOT_USER=ROOTNAME" \
   -e "MINIO_ROOT_PASSWORD=CHANGEME123" \
   -e MINIO_NOTIFY_MYSQL_ENABLE_PRIMARY="on" \
   -e MINIO_NOTIFY_MYSQL_DSN_STRING_PRIMARY="root:root@tcp(192.168.16.46:3306)/cogent-admin" \
   -e MINIO_NOTIFY_MYSQL_TABLE_PRIMARY="minio_events" \
   -e MINIO_NOTIFY_MYSQL_FORMAT_PRIMARY="namespace" \
   quay.io/minio/minio server /data --console-address ":9090" \
   --address=":9002" \
   --ftp="address=:8021" \
   --ftp="passive-port-range=30000-40000"

MINIO_NOTIFY_MYSQL_DSN_STRING_PRIMARY 配置我们的mysql数据库，然后进入docker容器

docker exec -it minio bash
chmod 777 /opt/bin/mc  
mc alias set myminio http://192.168.16.46:9002 ROOTNAME CHANGEME123
mc admin info --json myminio

mc event add myminio/cogent arn:minio:sqs::PRIMARY:mysql \
  --event put

mc event add myminio/cogent arn:minio:sqs::PRIMARY:mysql \
  --event delete

mc event ls myminio/cogent arn:minio:sqs::PRIMARY:mysql

注意事项：我们必须先至少创建一个bucket才能mc event add。进入容器后，我们要给/opt/bin/mc 执行权限。mc event add 的配置好像会持久化，如果重新启动一个容器，event仍然在，这时就不用在执行mc event add命令了，当然我们可以mc event ls去确定一下evnet是否添加成功

最后我们的结果，minio发送给mysql中的数据：

image-20230908110237965

value：

{
    "Records": [
        {
            "s3": {
                "bucket": {
                    "arn": "arn:aws:s3:::cogent",
                    "name": "cogent",
                    "ownerIdentity": {
                        "principalId": "ROOTNAME"
                    }
                },
                "object": {
                    "key": "jetbra.zip",
                    "eTag": "8943434aec7868e6e16d36209ca47fab",
                    "size": 172138,
                    "sequencer": "177F6C96E9864D53",
                    "contentType": "application/x-zip-compressed",
                    "userMetadata": {
                        "content-type": "application/x-zip-compressed"
                    }
                },
                "configurationId": "Config",
                "s3SchemaVersion": "1.0"
            },
            "source": {
                "host": "192.168.16.148",
                "port": "",
                "userAgent": "MinIO (linux; amd64) minio-go/v7.0.59 MinIO Console/(dev)"
            },
            "awsRegion": "",
            "eventName": "s3:ObjectCreated:Put",
            "eventTime": "2023-08-28T02:56:20.333Z",
            "eventSource": "minio:s3",
            "eventVersion": "2.0",
            "userIdentity": {
                "principalId": "ROOTNAME"
            },
            "responseElements": {
                "x-amz-id-2": "fad4b3083214c3b0ad28cc0f83fd770a8fd5fb5e47b065bc7cae01b61e817e1a",
                "x-amz-request-id": "177F6C96E763B761",
                "x-minio-deployment-id": "d6a44a90-a62c-4605-8aa2-121a85f0d440",
                "x-minio-origin-endpoint": "http://192.168.192.254:9002"
            },
            "requestParameters": {
                "region": "",
                "principalId": "ROOTNAME",
                "sourceIPAddress": "192.168.16.148"
            }
        }
    ]
}

这种格式在mysql中不好查询。因此我使用webhook方式订阅event，这种方式更灵活，我可以提取任何我想要的数据存入数据库。

以下是webhook的方式：

docker run \
   -d \
   --network=host \
   --name minio \
   -v /opt/minio/data:/data \
   -e MINIO_ROOT_USER=ROOTNAME \
   -e MINIO_ROOT_PASSWORD=CHANGEME123 \
   -e MINIO_NOTIFY_WEBHOOK_ENABLE_PRIMARY="on" \
   -e MINIO_NOTIFY_WEBHOOK_ENDPOINT_PRIMARY="http://127.0.0.1:8080/buckets/event" \
   quay.io/minio/minio server /data --console-address ":9090" \
   --address=":9002" \
   --ftp="address=:8021" \
   --ftp="passive-port-range=30000-40000"

mc alias set myminio http://192.168.16.46:9002 ROOTNAME CHANGEME123

mc admin info --json myminio

mc event add myminio/cogent arn:minio:sqs::PRIMARY:webhook --event put

mc event add myminio/cogent arn:minio:sqs::PRIMARY:webhook --event delete

mc event ls myminio/cogent arn:minio:sqs::PRIMARY:webhook

进入容器后，记得要给 /opt/bin/mc 赋予执行权限

以下是我对minio中object进行删除和添加时收到的json：

删除时，webhook的参数：

{
    "EventName": "s3:ObjectRemoved:Delete",
    "Key": "cogent/jetbra (1).zip",
    "Records": [
        {
            "eventVersion": "2.0",
            "eventSource": "minio:s3",
            "awsRegion": "",
            "eventTime": "2023-08-28T05:55:05.275Z",
            "eventName": "s3:ObjectRemoved:Delete",
            "userIdentity": {
                "principalId": "ROOTNAME"
            },
            "requestParameters": {
                "principalId": "ROOTNAME",
                "region": "",
                "sourceIPAddress": "127.0.0.1"
            },
            "responseElements": {
                "content-length": "160",
                "x-amz-id-2": "fad4b3083214c3b0ad28cc0f83fd770a8fd5fb5e47b065bc7cae01b61e817e1a",
                "x-amz-request-id": "177F765801436093",
                "x-minio-deployment-id": "d6a44a90-a62c-4605-8aa2-121a85f0d440",
                "x-minio-origin-endpoint": "http://192.168.192.254:9002"
            },
            "s3": {
                "s3SchemaVersion": "1.0",
                "configurationId": "Config",
                "bucket": {
                    "name": "cogent",
                    "ownerIdentity": {
                        "principalId": "ROOTNAME"
                    },
                    "arn": "arn:aws:s3:::cogent"
                },
                "object": {
                    "key": "jetbra+%281%29.zip",
                    "sequencer": "177F765801E61109"
                }
            },
            "source": {
                "host": "127.0.0.1",
                "port": "",
                "userAgent": "MinIO (linux; amd64) minio-go/v7.0.59 MinIO Console/(dev)"
            }
        }
    ]
}

添加object时，webhook参数

{
    "EventName": "s3:ObjectCreated:Put",
    "Key": "cogent/jetbra (1).zip",
    "Records": [
        {
            "eventVersion": "2.0",
            "eventSource": "minio:s3",
            "awsRegion": "",
            "eventTime": "2023-08-28T05:56:00.485Z",
            "eventName": "s3:ObjectCreated:Put",
            "userIdentity": {
                "principalId": "ROOTNAME"
            },
            "requestParameters": {
                "principalId": "ROOTNAME",
                "region": "",
                "sourceIPAddress": "192.168.16.148"
            },
            "responseElements": {
                "x-amz-id-2": "fad4b3083214c3b0ad28cc0f83fd770a8fd5fb5e47b065bc7cae01b61e817e1a",
                "x-amz-request-id": "177F7664D9E2DAD5",
                "x-minio-deployment-id": "d6a44a90-a62c-4605-8aa2-121a85f0d440",
                "x-minio-origin-endpoint": "http://192.168.192.254:9002"
            },
            "s3": {
                "s3SchemaVersion": "1.0",
                "configurationId": "Config",
                "bucket": {
                    "name": "cogent",
                    "ownerIdentity": {
                        "principalId": "ROOTNAME"
                    },
                    "arn": "arn:aws:s3:::cogent"
                },
                "object": {
                    "key": "jetbra+%281%29.zip",
                    "size": 172138,
                    "eTag": "8943434aec7868e6e16d36209ca47fab",
                    "contentType": "application/x-zip-compressed",
                    "userMetadata": {
                        "content-type": "application/x-zip-compressed"
                    },
                    "sequencer": "177F7664DCA24B86"
                }
            },
            "source": {
                "host": "192.168.16.148",
                "port": "",
                "userAgent": "MinIO (linux; amd64) minio-go/v7.0.59 MinIO Console/(dev)"
            }
        }
    ]
}

漏洞：如果我们Java程序重启，或者说webhook的web程序重启后，这时我们对minio删除或添加修改对象数据，那么此时将监听不到这个事件。因此我们一种方式是停止web服务时，先停止minio。另一种方式是执行定时任务，同步数据，或者说在web程序启动后一分钟内，同步minio 的object数据。当然如果object非常多，web程序更新频繁，我们可以将minio的event放到MQ中，web程序再去消费MQ中event

minio 支持 object 搜索 方案

与minio 支持object搜索方案相似的内容：

minio 支持object搜索方案

minio支持上传时对object打标签，查询时可以根据标签做筛选。但是有ftp上传文件的需求，导致无法给object打标签。并且也不清楚minio对于根据标签的筛选性能如何，因此我们打算将object的对象的数据放到数据库。在数据库中对object进行筛选。 ## docker部署 ``` mkd

minio 支持 object 搜索
206
体验.NET与文件存储服务MinIO

对象文件存储服务(OSS)主要用于存储零散的文件，和直接存储到本地文件系统中相比，有以下的几个优势： 跨服务器可用 兼容Amazon S3 API 横向扩容 高可用 支持加密 MinIO就是一个高性能的文件服务，我们使用.NET来操作一下。 部署MinIO 最简单的办法，就是在Docker上运行Mi

文件 MinIO NET 存储
458
NetMvc通过亚马逊方式服务器端和客户端上传MinIO顺利解决

前言： 1、由于项目是.NET Framework 4.7 MVC LayUI，所以需要找一个资源站点存放项目中静态资源文件； 2、需要支持服务端和客户端都支持上传文件方式； 3、调用简单，涉及库越少越好。 结果： 调用 AWSSDK.S3 和 AWSSDK.Core 实现文件上传到 MinIO ；

netmvc minio
0
[转帖]使用Rclone实现minio数据的迁移

使用Rclone实现minio数据的迁移 一、准备 1.1 使用工具 rclone：开源的对象存储在线迁移工具，用于文件和目录的同步，支持阿里云的oss、minio 、亚马逊S3 等。 1.2 注意事项 1、两台机器的时区及时间要保持一致，最后进行迁移之前，两台机器的时间进行校准。方法如下： #ce

使用 rclone 实现 minio
0
Grafana监控minio的极简方法

# Grafana监控minio的极简方法 ## 背景 ``` 想监控一下minio的部分信息. 使用过程中需要关注的内容挺多的. 只看简单的node感觉已经不够了. 所以想监控易一下. ``` ## 方式和方法 ``` minio其实集成了prometheus 支持的监控指标 只需要在配置文件中放

grafana 监控 minio 方法
47
【ASP.NET Core】在 Mini-API 中注入服务

经过版本更新，Mini API 的功能逐步完善，早期支持得不太好的 mini API 现在许多特性都可以用了，比如灰常重要的依赖注入。 咱们先来个相当简单的注入测试。来，定义一个服务类，为了偷懒，老周这里就不使用 接口 + 实现类 的方式了。 public class MyService : IDi

asp net core mini
0
松灵机器人scout mini小车 自主导航(2)——仿真指南

松灵机器人Scout mini小车仿真指南 之前介绍了如何通过CAN TO USB串口实现用键盘控制小车移动。但是一直用小车测试缺乏安全性。而松灵官方贴心的为我们准备了gazebo仿真环境，提供了完整的仿真支持库，本文将介绍如何上手使用仿真。 官方仓库地址：https://github.com/ag

scout mini
50
MinIO使用记录

探索MinIO：高性能、分布式对象存储解决方案 注：本文除代码外多数为AI生成 最近因为有项目需要换成Amazon S3的云存储，所以把之前做过的minio部分做一个记录，后面也会把基于这版改造的S3方法发出来记录。 MinIO简介 MinIO是一款高性能、分布式对象存储服务器，设计用于在大规模环境

minio
23
初步搭建一个自己的对象存储服务---Minio

MinIO 是一个高性能的对象存储解决方案，类似于 Amazon S3，但它是开源的。MinIO 可以用于存储大规模的不结构化数据，比如照片、视频、备份和日志文件等。它设计为兼容 Amazon S3 API，因此可以很容易地与现有的使用 S3 的应用程序集成。

minio
0
MinIO 图片转文件的分界线RELEASE.2022-05-26T05-48-41Z

前言：本人想用MinIO存储文件，但是不想最新版本Mete文件，于是各种寻找于是终于找到办法了，原来是官方版本更新导致的。需要我们去寻找相应的版本。 1、官网下载网站 https://dl.min.io/server/minio/release/windows-amd64/archive/minio

minio release 26t05 41z
0
# 热门排行
微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
© PmDaddy. 2023 PmDaddy教程网 All rights reserved.