登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 业界区 › 业界 ›一文详解银河麒麟配置容器运行时及gVisor(runsc)、Kata( ...

一文详解银河麒麟配置容器运行时及gVisor(runsc)、Kata(runv)详细指南

翁真如 2025-6-5 10:04:33
容器运行时介绍

容器运行时核心概念与分类

容器运行时（Container Runtime）是管理容器生命周期（创建、启动、停止、删除）和资源隔离的核心组件，通过与操作系统内核协作实现容器化环境。根据功能层级和技术实现，容器运行时可分为以下三类。
高层运行时（High-Level Runtime）

作用：
高层运行时主要负责镜像管理（如下载、解压、转换镜像）、容器生命周期管理（如创建、启动、停止容器）、存储和网络配置等高级功能。它为容器运行提供基础环境准备，并将镜像转换为低层运行时所需的文件系统和配置。
核心特点：

  • 提供镜像仓库交互、镜像层解压等能力。
  • 集成容器编排系统（如Kubernetes），提供标准化的API接口。
  • 通常与低层运行时配合使用，形成完整的容器管理链。
代表产品与技术：

  • Docker Engine
    特点：包含高层运行时（Dockerd）和低层运行时（runc），提供完整的容器生态（如镜像构建、网络配置）。但因多层封装导致复杂性较高，逐渐被替代
    应用场景：用于应用、镜像测试，或小规模容器管理
  • Containerd
    特点：由Docker分离出的轻量级运行时，专注于核心功能，性能高且稳定。支持OCI标准，与Kubernetes深度集成，已成为Kubernetes默认运行时之一
    应用场景：生产环境、大规模容器集群管理
  • CRI-O
    特点：专为Kubernetes设计的轻量级运行时，符合CRI（容器运行时接口）规范。直接调用低层运行时（如runc），简化与Kubernetes的集成，资源消耗低
    应用场景：Kubernetes环境中替代Docker，适合需要精简架构的场景。
低层运行时（Low-Level Runtime）

作用：
低层运行时直接与宿主机操作系统交互，负责容器进程的隔离与执行，包括设置Linux Namespace、Cgroups资源限制、文件系统挂载等底层操作。它是实际启动容器进程的核心组件。
核心特点：

  • 轻量级，仅关注进程隔离和资源控制。
  • 遵循OCI（开放容器标准）规范，提供标准化接口
代表产品与技术：

  • runc
    特点：最广泛使用的低层运行时，基于Namespace和Cgroups实现容器隔离。作为Docker和Containerd的默认执行引擎，启动速度快但安全性较低（共享内核）。
    应用场景：通用容器场景，需高性能但隔离要求不高的环境
  • runv（Kata Containers/Firecracker）
    特点：基于虚拟化技术（如KVM），通过轻量级虚拟机（MicroVM）实现强隔离。适合多租户和高安全需求场景，但启动速度较慢（约100ms）
    应用场景：金融、云服务等需要严格安全隔离的环境
  • runsc（gVisor）
    特点：通过拦截系统调用实现沙箱化隔离，安全性介于runc和runv之间。资源消耗低，但兼容性受限（部分系统调用不支持）
    应用场景：对安全有中等要求的容器化应用，如公有云多租户服务。
沙盒/虚拟化运行时（Sandboxed Runtime）

作用：
通过虚拟化或沙盒技术增强安全性，适用于多租户和高敏感场景。
代表产品与技术：

  • Kata Containers
    特点：通过轻量级虚拟机（MicroVM）实现容器隔离，每个容器运行在独立的虚拟机内核中，避免了共享宿主机内核的安全风险。这种设计可防御容器逃逸攻击，尤其适用于金融、医疗等对数据隐私要求极高的场景。例如，其与英特尔 VT 技术结合，实现了网络、I/O 和内存的硬件级隔离
  • gVisor
    特点：通过用户空间实现的“沙箱内核”（Sentry）拦截容器系统调用，减少了攻击面。其内核功能由 Go 语言实现，内存安全特性降低了漏洞风险，且无需依赖硬件虚拟化技术，资源消耗低于传统虚拟机
与Kubernetes协作

Kubernetes通过容器运行时接口（CRI）统一管理不同运行时，典型流程如下：

  • kubelet接收Pod创建请求，通过CRI接口调用高层运行时（如containerd）。
  • 高层运行时拉取镜像并解压为rootfs，生成容器配置（config.json）。
  • 低层运行时（如runc）根据配置启动容器进程，设置Namespace和Cgroups。
  • 安全沙箱运行时（如Kata）通过虚拟化层隔离容器，提供额外安全保护。
运行时总结

运行时类型代表工具优势局限性高层运行时Docker轻量、功能丰富性能较低，安全性风险高层运行时Containerd轻量、高性能、Kubernetes原生支持功能相对基础，需搭配其他工具高层运行时CRI-O专为Kubernetes优化，资源消耗低社区生态较新，生产实践较少低层运行时runc启动快、资源占用低共享内核，隔离性弱低层运行时runv（Kata）强隔离（虚拟机级）启动速度慢，资源消耗高低层运行时runsc（gVisor）沙箱化安全，轻量系统调用兼容性有限容器运行时应用

上文介绍完概念，那么这些个底层运行时如何在生产中与高层运行时配合使用呢？
下文以docker、containerd、gVisor、Kata为例来演示，以及和kubernetes的配置使用。
运行时部署

本示例中所有部署均采取二进制方式来演示。
系统环境及组件版本介绍

系统环境
  1. # nkvers
  2. ############## Kylin Linux Version #################
  3. Release:
  4. Kylin Linux Advanced Server Release V10 (Trading)
  6. Kernel:
  7. 4.19.90-89.15.v2401.ky10.x86_64
  9. Build:
  10. Kylin Linux Advanced Server
  11. Release V10 SP3 2403/(Trading)-x86_64-Build03/20240813
  12. #################################################
复制代码
组件版本介绍

服务名称版本备注Docker27.5.1Containerd1.7.25runscrelease-20250331.0containerd-shim-runsc-v11.6.36kata-runtime3.1.3containerd-shim-kata-v21.6.8Kubernetes1.31.0containerd运行时部署

二进制包下载地址：https://github.com/containerd/containerd/releases
下载安装
  1. wget https://github.com/containerd/containerd/releases/download/v2.0.4/containerd-2.0.4-linux-amd64.tar.gz
  2. tar xf containerd-2.0.4-linux-amd64.tar.gz && mv ./bin/* /usr/bin/
复制代码
配置systemd

vim /etc/systemd/system/containerd.service
  1. [Unit]
  2. Description=Containerd Container Runtime
  3. Documentation=https://containerd.io
  4. After=network.target local-fs.target
  6. [Service]
  7. ExecStartPre=-/sbin/modprobe overlay
  8. ExecStart=/usr/bin/containerd
  9. Delegate=yes
  10. KillMode=process
  11. Restart=always
  12. RestartSec=5
  13. LimitNOFILE=infinity
  14. LimitNPROC=infinity
  15. LimitCORE=infinity                                                                                                            
  16. TasksMax=infinity
  18. [Install]
  19. WantedBy=multi-user.target
复制代码
  1. systemctl daemon-reload
  2. # 启动并设置开机自启
  3. systemctl enable --now containerd.service
复制代码
docker运行时部署

二进制包下载地址：https://download.docker.com/linux/static/stable/x86_64/
下载安装
  1. wget https://download.docker.com/linux/static/stable/x86_64/docker-27.5.1.tgz
  2. tar xf docker-27.5.1.tgz
  3. # 这里除去containerd  containerd-shim-runc-v2  ctr三个containerd的文件，其他均mv至/usr/bin/下即可
  4. cd docker && mv docker* runc /usr/bin/
复制代码
配置systemd

vim /etc/systemd/system/docker.service
  1. [Unit]
  2. Description=Docker Application Container Engine
  3. Documentation=https://docs.docker.com
  4. After=network-online.target firewalld.service
  5. Wants=network-online.target
  7. [Service]
  8. Type=notify
  9. ExecStart=/usr/bin/dockerd --containerd=/run/containerd/containerd.sock
  10. ExecReload=/bin/kill -s HUP $MAINPID
  11. TimeoutStartSec=0
  12. Restart=on-failure
  13. StartLimitBurst=3
  14. StartLimitInterval=60s
  15. LimitNOFILE=infinity
  16. LimitNPROC=infinity
  17. LimitCORE=infinity
  18. TasksMax=infinity
  19. Delegate=yes
  20. KillMode=process
  22. [Install]
  23. WantedBy=multi-user.target
复制代码
--containerd=/run/containerd/containerd.sock，指定containerd sock路径，因为直接复用了上一步自己部署的containerd，并没有使用docker包中自带的containerd服务，所以需要加此配置，这也验证了docker是要调用containerd来实现自己的功能的。
  1. systemctl daemon-reload
  2. # 启动并设置开机自启
  3. systemctl enable --now docker.service
复制代码
runsc-gVisor运行时配置

官方部署文档：https://gvisor.dev/docs/user_guide/install/
下载安装

vim install_gvisor.sh
  1. (
  2.   set -e
  3.   ARCH=$(uname -m)
  4.   URL=https://storage.googleapis.com/gvisor/releases/release/latest/${ARCH}
  5.   wget ${URL}/runsc ${URL}/runsc.sha512 \
  6.     ${URL}/containerd-shim-runsc-v1 ${URL}/containerd-shim-runsc-v1.sha512
  7.   sha512sum -c runsc.sha512 \
  8.     -c containerd-shim-runsc-v1.sha512
  9.   rm -f *.sha512
  10.   chmod a+rx runsc containerd-shim-runsc-v1
  11.   sudo mv runsc containerd-shim-runsc-v1 /usr/local/bin
  12. )
复制代码
保存执行
  1. chmod +x install_gvisor.sh && ./install_gvisor.sh
复制代码
kata-containers运行时部署

二进制包下载地址：https://github.com/kata-containers/kata-containers/releases
下载安装

目前kata-containers最新版本为3.15.0，由于银河麒麟v10的自带glibc版本=2.28版本，新版本的kata需要glibc>2.34版本，银河麒麟升级glibc是一个较麻烦的动作，故此安装非最新版本。
kata-containers v3.12.0即可满足glibc的版本问题，但安装kata-static-3.12.0后，虽然检查运行环境能够通过，但在实际使用containerd创建kata运行时容器时，却一直报连接超时的问题，containerd及kata详细报错如下：
  1. level=info arch=amd64 arguments=""features"" commit=39bf10875b4f321d05e6e6a97bd5f0e62ad37993 name=kata-runtime pid=1048 source=runtime version=3.12.0
  2. level=error msg="Invalid command "features"" arch=amd64 name=kata-runtime pid=1048 source=runtime
  3. level=info msg="loaded configuration" arch=amd64 file=/opt/kata/share/defaults/kata-containers/configuration-qemu.toml format=TOML name=kata-runtime pid=2129 source=katautils
  4. level=info msg="IOMMUPlatform is disabled by default." arch=amd64 name=kata-runtime pid=2129 source=katautils
  5. level=info arch=amd64 arguments=""features"" commit=39bf10875b4f321d05e6e6a97bd5f0e62ad37993 name=kata-runtime pid=2129 source=runtime version=3.12.0
  6. level=error msg="Invalid command "features"" arch=amd64 name=kata-runtime pid=2129 source=runtime
  7. level=warning msg="Could not add /dev/mshv to the devices cgroup" name=containerd-shim-v2 pid=2674 sandbox=hello-wrold source=cgroups
  8. level=error msg="qemu-system-x86_64: -chardev socket,id=char-33b63cf7ea0559ba,path=/run/vc/vm/hello-wrold/vhost-fs.sock: Failed to connect to '/run/vc/vm/hello-wrold/vhost-fs.sock': Connection refused" name=containerd-shim-v2 pid=2674 qemuPid=2688 sandbox=hello-wrold source=virtcontainers/hypervisor subsystem=qemu
复制代码
通过查看GitHub issue发现，出现此报错大概率是qemu-system-x86_64和virtiofsd的版本太高，不适配导致的，具体版本如下：
  1. # ./qemu-system-x86_64 -version
  2. QEMU emulator version 9.1.2 (kata-static)
  3. Copyright (c) 2003-2024 Fabrice Bellard and the QEMU Project developers
  5. # ./virtiofsd -V
  6. virtiofsd 1.8.0
复制代码
所以最终安装kata-static-3.1.3版本：
  1. wget https://github.com/kata-containers/kata-containers/releases/download/3.1.3/kata-static-3.1.3-x86_64.tar.xz
  2. tar xf kata-static-3.1.3-x86_64.tar.xz && mv ./opt/kata /opt/
复制代码
检查运行环境
  1. # /opt/kata/bin/kata-runtime check
  2. WARN[0000] Not running network checks as super user      arch=amd64 name=kata-runtime pid=1673 source=runtime                 
  3. System is capable of running Kata Containers                                                                                 
  4. System can currently create Kata Containers  
复制代码
若报错类似以下信息：
  1. # kata-runtime check                                                                                
  2. WARN[0000] Not running network checks as super user      arch=amd64 name=kata-runtime pid=3133 source=runtime                 
  3. ERRO[0000] CPU property not found                        arch=amd64 description="Virtualization support" name=svm pid=3133 sou
  4. rce=runtime type=flag                                                                                                         
  5. WARN[0000] modprobe insert module failed                 arch=amd64 error="exit status 1" module=kvm_amd name=kata-runtime out
  6. put="modprobe: ERROR: could not insert 'kvm_amd': Operation not supported\n" pid=3133 source=runtime                          
  7. ERRO[0000] kernel property kvm_amd not found             arch=amd64 description="AMD KVM" name=kvm_amd pid=3133 source=runtime
  8. type=module                                                                                                                  
  9. ERRO[0000] ERROR: System is not capable of running Kata Containers  arch=amd64 name=kata-runtime pid=3133 source=runtime      
  10. ERROR: System is not capable of running Kata Containers
复制代码
需要打开硬件虚拟化功能，我这里是Virtual Box，执行以下操作即可：
关闭虚拟机，打开硬件虚拟化功能：
1.png

VMware也是一样的操作，在设置中配置即可。
配置环境变量

vim ~/.bashrc
  1. export KATA_PATH=/opt/kata/bin/:/opt/kata/libexec/                                                                           
  2. export PATH=$PATH:$KATA_PATH
复制代码
追加以上信息
  1. source ~/.bashrc
复制代码
配置软连接
  1. # ln -sv /opt/kata/bin/kata-runtime /usr/local/bin/
  2. '/usr/local/bin/kata-runtime' -> '/opt/kata/bin/kata-runtime'
  4. # ln -sv /opt/kata/bin/containerd-shim-kata-v2 /usr/local/bin/
  5. '/usr/local/bin/containerd-shim-kata-v2' -> '/opt/kata/bin/containerd-shim-kata-v2'
复制代码
这一步是因为后续使用--runtime io.containerd.kata.v2指定runtime时需要
至此，四种运行时均已部署完毕，k8s部署过程此文档不再赘述，可参考之前的博文，或者直接参考官网部署文档进行部署。
下文开始配合使用底层、高层运行时。
运行时的应用

docker配置runsc和kata运行时

配置docker识别runsc运行时
  1. /usr/local/bin/runsc install
复制代码
执行完毕后，/etc/docker/daemon.json会生成以下配置：
  1.     "runtimes": {
  2.         "runsc": {
  3.             "path": "/usr/local/bin/runsc"
  4.         }
  5.     }
复制代码
重新加载docker：
  1. systemctl reload docker
复制代码
查看是否识别runsc：
  1. # docker info | grep Runtimes
  2. Runtimes: io.containerd.runc.v2 runc runsc
复制代码
配置docker识别kata运行时

vim /etc/docker/daemon.json
  1.     "runtimes": {
  2.         "runsc": {
  3.             "path": "/usr/local/bin/runsc"
  4.         },
  5.         "kata-runtime": {
  6.             "path": "/opt/kata/bin/kata-runtime"
  7.         }
  8.     }
复制代码
重新加载docker：
  1. systemctl reload docker.service
复制代码
查看是否识别kata：
  1. # docker info | grep Runtimes
  2. Runtimes: io.containerd.runc.v2 kata-runtime runc runsc
复制代码
为docker临时指定低层运行时运行容器
  1. # 临时使用runsc启动容器
  2. docker run -dit --rm --name test-runsc --runtime=runsc nginx
  4. # 临时使用kata启动容器
  5. docker run -dit --rm --name=test-kata --runtime=kata-runtime nginx
复制代码
查看容器Runtime：
  1. # docker inspect test-runsc | grep Runtime
  2.             "Runtime": "runsc",
  4. # docker inspect test-kata | grep Runtime
  5.             "Runtime": "kata-runtime",
复制代码
但是在基于kata运行时创建容器时，出现了以下报错：
  1. # docker run -dit --rm --name=test-kata --runtime=kata-runtime nginx
  2. db6e291450f6c57519b8e87f179a63dd0760d9d07ced84ec2c540f96595a0b91
  3. docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: Invalid command "create": unknown.
复制代码
通过GitHub的issue排查到，报次错的问题大概率为kata的docker不兼容的问题导致的，参考链接：
  1. https://github.com/kata-containers/runtime/issues/3038
  2. https://github.com/kata-containers/kata-containers/issues/10223
复制代码
但是这个issue提及的是kata2.x版本，本文已经在使用kata3.x版本。
我已经在issue末尾跟评了，暂时还没有收到回复，所以是什么原因导致的，暂时不得而知。
为docker指定默认低层运行时

vim /etc/docker/daemon.json
  1.     "runtimes": {
  2.         "runsc": {
  3.             "path": "/usr/local/bin/runsc"
  4.         },
  5.         "kata-runtime": {
  6.             "path": "/opt/kata/bin/kata-runtime"
  7.         }
  8.     },    "default-runtime": "runsc"  //默认运行时配置
复制代码
重新加载配置，查看结果：
  1. # systemctl reload docker.service
  2. # docker info | grep Runtime
  3. Runtimes: io.containerd.runc.v2 kata-runtime runc runsc
  4. Default Runtime: runsc
复制代码
containerd配置runsc和kata运行时

安装配置crictl/nerctl

官网地址：https://github.com/containerd/containerd/blob/main/docs/getting-started.md#interacting-with-containerd-via-cli
  1. wget https://github.com/containerd/nerdctl/releases/download/v2.0.4/nerdctl-2.0.4-linux-amd64.tar.gz
  2. tar xf nerdctl-2.0.4-linux-amd64.tar.gz -C /usr/local/bin/
复制代码
[code]wget https://github.com/kubernetes-sigs/cri-tools/releases/download/v1.32.0/crictl-v1.32.0-linux-amd64.tar.gztar xf crictl-v1.32.0-linux-amd64.tar.gz -C /usr/local/bin/cat >/etc/crictl.yaml  /etc/bashrcecho 'source

使用道具 举报
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
翁真如
2025-6-5 10:04:33

0

粉丝关注

16

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫