Centos7.9离线部署ceph（octopus）
原创文档编写不易，未经许可请勿转载，目前仅发布于博客园，其他平台均为非法转载。文档中有疑问的可以邮件联系我文章。 邮箱：yinwanit@163.com说明文档适用于cenots7.9操作系统下部署ceph octopus版本分布式存储使用。
离线部署的本质是先基于在线环境如vmware workstation虚拟机在线完整的部署一次，以获取部署所需的软件包。
文档可用于在线部署，亦可用于离线部署。
离线部署关键点（注意文章中部署描述）：
[*]准备好所需的rpm包
[*]准备好所需的docker镜像
[*]修改cephadm代码
一、环境说明
1.1Ceph软件架构
https://img2024.cnblogs.com/blog/2062633/202501/2062633-20250114184001899-513160175.png
关键组件释义：
https://img2024.cnblogs.com/blog/2062633/202501/2062633-20250114184159116-1376600203.png
1.2服务器规划
3台虚拟机，每台主机两个网段。管理和业务网络分离部署，3个监控节点。20GB磁盘安装操作系统、40G规格磁盘裸盘配置osd。
https://img2024.cnblogs.com/blog/2062633/202501/2062633-20250114183959047-669263572.png
1.3软件清单
Vmware+centos7+docker+ceph
https://img2024.cnblogs.com/blog/2062633/202501/2062633-20250114185917204-40694445.png
1.4 部署步骤
①、配置基础环境
[*]关闭操作系统安全软件
[*]设置ip地址
[*]设置ntp
[*]设置主机名和hosts解析
[*]禁用swap
[*]配置免密登录
[*]配置yum源
[*]安装依赖软件
②、ceph软件部署
[*]配置cephadm
[*]初始化ceph集群
[*]添加集群节点
[*]设置mon节点
[*]部署osd
[*]部署mds
[*]部署rgw
二、基础环境部署
2.1 关闭安全软件
所有节点均需配置。
##关闭firewalld防火墙# systemctl stop firewalld # systemctl disable firewalld# systemctl mask firewalld ##关闭selinux# setenforce 0# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config2.2 设置ip地址
所有节点均需配置。
##删除当前存在的配置# nmcli conn delete ens33;nmcli conn delete ens36 ##创建新IP地址配置文件ens33# nmcli conn add type ethernetifname ens33 con-name ens33 connection.autoconnect yes ipv4.method manualipv4.gateway "192.168.10.2"ipv4.dns "192.168.10.2" ipv4.addresses"192.168.10.100/24"##创建新IP地址配置文件ens36# nmcli conn add type ethernetifname ens36 con-name ens36 connection.autoconnect yes ipv4.method manual ipv4.addresses"192.168.20.100/24"##手动down，up网卡配置。# nmcli conn down ens33;nmcli conn down ens33;nmcli conn up ens33;nmcli conn up ens332.3 构建ntp服务器（选配）
如果环境中有可用的ntp服务器该步骤可省略，在节点中任选一台机器配置ntp服务器（只在某一台上面操作）
##编辑/etc/chrony.conf配置文件，允许节点网段访问。# vim /etc/chrony.confserver 192.168.20.100 iburstallow 192.168.20.0/24local stratum 10# systemctl restart chronyd# systemctl enablechronyd##查看时间是否同步# chronyc sources2.4 节点配置ntp
所有节点均需配置。可以使用已有的ntp服务器，也可以使用上一步创建的ntp服务器。
##每个节点均需要配置# vim /etc/chrony.confserver 192.168.20.100 iburst# systemctl restart chronyd# systemctl enablechronyd##查看时间是否同步# chronyc sources2.5 配置主机名和hosts解析
所有节点均需配置。
##配置主机名，每个节点均需要配置，红色字体部分按照实际环境替换。# hostnamectl set-hostnameceph01##每个节点均需要配置，添加蓝色字体内容# cat /etc/hosts192.168.10.100 ceph01192.168.10.101 ceph02192.168.10.102 ceph03192.168.20.100 ceph01192.168.20.101 ceph02192.168.20.102 ceph032.6 禁用swap
所有节点均需配置。
##每个节点均需要配置，sed修改后确保/etc/fstab文件中没有swap相关行。# swapoff-a# sed -i '/swap/d'/etc/fstab2.7 配置免密登录
主节点上操作即可。
##生成密钥，传到其他节点上。# ssh-keygen -f /root/.ssh/id_rsa -P ''# ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.100# ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.101# ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.1022.8 配置yum源
所有节点均需配置。
阿里云线上centos7yum源，/etc/yum.repos.d/alibase.repo。
https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gifhttps://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gifname=CentOS-$releasever – Base – mirrors.aliyun.comfailovermethod=prioritybaseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/gpgcheck=0gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#released updatesname=CentOS-$releasever – Updates – mirrors.aliyun.comfailovermethod=prioritybaseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/gpgcheck=1gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that may be usefulname=CentOS-$releasever – Extras – mirrors.aliyun.comfailovermethod=prioritybaseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/gpgcheck=1gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7View Code清华大学octopus版本ceph yum源，/etc/yum.repos.d/qhceph.repo。
https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gifhttps://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gifname=cephbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/x86_64/enabled=1gpgcheck=0name=Ceph noarchbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/noarch/enabled=1gpgcheck=0name=Ceph SRPMSbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/SRPMS/enabled=1gpgcheck=0View Code阿里云线上docker-ce yum源，/etc/yum.repos.d/alidocker-ce.repo。
https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gifhttps://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gifname=Docker CE Stable – $basearchbaseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stableenabled=1gpgcheck=1gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpgbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/SRPMS/enabled=1gpgcheck=0View Code阿里云线上cetos7 扩展yum源，/etc/yum.repos.d/alicetos-epel.repo。
https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gifhttps://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gifname=Extra Packages for Enterprise Linux 7 – $basearchbaseurl=http://mirrors.aliyun.com/epel/7/$basearch#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearchfailovermethod=priorityenabled=1gpgcheck=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7View Code阿里云线上cetos7 k8syum源，/etc/yum.repos.d/alik8s.repo。
https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gifhttps://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gifname=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgView Codeyum源配置完成过后，执行以下命令。
##刷新yum源仓库，载入yum源# yum clean all# yum repolist2.9 安装依赖软件
所有节点均需配置。
##安装必要的依赖软件。# yum install -y python3yum-utilsdocker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin python3-ceph-common python3-ceph-argparse ceph-common ##配置docker-ce软件# cat > /etc/docker/daemon.json
页:
[1]