Ceph对象存储方案

什么是GC Garbage Collection缩写GC，简称垃圾回收。在RGW中GC一般都是指一些异步的磁盘空间回收操作，一般下面三种情况会发生GC。 \1. 客户端执行...

利用Logstash实现Nginx日志的监控与告警 1.实现思路 首先将Nginx日志按json格式保存到文件，之后利用rsyslog服务将日志数据推送到Logstash节...

在RGW里面每个存储到rados的Object都需要先计算出对应元数据存储的shard number，之后再将元数据信息更新到shard number对应的Object里面...

需求描述 有线上项目需要对RGW的bucket的访问进行白名单控制，只允许白名单内的IP去访问指定的bucket，简单写了个demo，基本思路是通过openresty写一个...

查看bucket下面的元数据列表 在ceph 10.2.9 下面操作，以修改Object名称为host的content_type属性为例，所有数据操作都有风险，请谨慎操作。...

如何缓解 index shard 过大造成的影响，下面这些都是属于应急操作，属于快速止血止痛，部分操作属高危，一定要谨慎使用。 1、调整OSD的几个op超时参数 下面的几个...

1 bucket index背景简介 bucket index是整个RGW里面一个非常关键的数据结构，用于存储bucket的索引数据，默认情况下单个bucket的index...

1 知己知彼，百战不殆 剖析业务IO模型 了解业务基本存储模型： 最高并发多少，最高读写带宽需求。 并发多少决定了在知道单个RGW最大并发数上限的前提下你需要用多少个RGW...

1 需求描述 用户A需要在上传文件到S3的同时设置允许用户test1可读，上传数据和设置ACL需要一步完成。其目的是尽量减少http请求次数，提高效率。 2 python用...

本文适用于jewel以上版本(含) 本文用到的软件版本如下 1 新建pool 创建数据pool，注意每个pool的pg配置规划，可以参考http://ceph.com/pg...

以rgw服务的main()为入口，查看整个fastcgi的初始化过程，代码如下 再看init()方法构建了一个RGWFCGXProcess，并将rgw_thread_poo...

1 性能计数器实现 性能计数器启动过程 性能计数器参数说明 性能计数器类型定义如下 2 如何使用计数器 方式1 方式2 (使用Dumpling以上版本） 3 自定义计数器源...

请求处理流程图 以civetweb为例  1. rgw_main.cc为整个radosgw服务的入口，main()函数中根据在ceph.conf的rgw frontends...

需求描述:需要关闭某些S3账号的删除权限，但是默认DELETE操作是由bucket WIRTE权限进行控制的，无法单独拆分DELETE操作。 解决思路： 1. 过滤前端HT...

很多新手司机看官方文档AWS2认证部分特别是Authorization怎么生成的总是晦涩难懂，其核心就是StringToSign到底怎么构成 下面以使用bash向S3上传一...

1. 基本原理 操作流程: 1.客户端完成文件切片，之后向API server提交上传操作请求，生成对应的presign URL（步骤1和2，如果想控制客户端上传数量，可以...

1. 基本原理 操作流程: 1.客户端向presign server提交上传操作请求，生成对应的presign URL 2.使用生成的presign URL构造HTTP请求...

需求背景 有项目需要在客户端上传数据，但是出于安全考虑不能在客户端本地任何位置存储secret-key的信息，同时普通的presign上传请求也有局限性，特别是当文件很大的...

开启system特权 关闭system特权 开system特权以后，create_bucket请求的body会返回对应bucket的各种隐藏属性 python的测试代码如下...