Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

3 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Cloud Launcher

Cloud Launcher 是 ZJUSCT Cloud 的 Firecracker 运行组件:在 Kubernetes 分配好的一个 Pod 内运行一台持久 Linux VM。它负责启动和停止 Firecracker、连接已有磁盘以及配置 Pod 内的 VM 网络。

当前状态:v0.1 实验验收版。已在 m600 的隔离环境跑通 Ubuntu 24.04、SSH、Ceph RBD 持久盘、Pod NAT、停止后重启及离线备份恢复。接下来的工作重点是网络发布、个人 L2TP 适配、运行权限收敛和长期稳定性。

架构与职责

门户 / 管理 API
    ↓
CloudVM → cloud-operator → launcher Pod → cloud-launcher → jailer → Firecracker → guest
                         ↑                     │                            │
                Kubernetes scheduler      Pod netns / TAP              已初始化的 RBD 块设备

Operator 管理 CloudVM、Pod、磁盘引用和状态,默认 scheduler 选择节点。Launcher 接收 Operator 的版本化 JSON 配置,在当前 Pod 内启动一台 VM,维护 TAP、guest 网络、就绪探针和退出结果。它不访问 Kubernetes API,也不负责用户、调度、资源配额或镜像下载。

根盘由外部流程初始化,通过 Ceph CSI 以 raw block 设备挂入;launcher 只使用已有盘。VM 停止后磁盘由 Operator / 存储层保留。协议和边界以 operator-contract.md 为准,两仓库独立构建,协议不兼容变更需升级版本并同步双方。

当前已验证的组合

项目 实验配置
宿主 / 架构 m600,Linux / x86_64,KVM
VMM / SDK Firecracker 1.17.0、firecracker-go-sdk 1.0.0
guest 平台提供的 Linux 6.1.188 内核,Ubuntu 24.04 根盘
根盘 现有 Ceph CSI / RBD raw block PVC
网络 Pod netns 内 TAP、IPv4 NAT、DNS relay、SSH TCP relay
资源 端到端验收用每台 1 vCPU / 1 GiB / 8 GiB;密度实验另见报告

现有 10 台 VM 共享 1 个逻辑 CPU 的测试中,轻量网页负载合计 100 RPS 时 P95 为 8.6 ms;20 台合计 100 RPS 时为 11 ms。实验配置、Agent 模拟和更高负载的结果见密度报告。后续需用实际编辑器和 Agent 持续运行测试。

代码布局

cmd/cloud-launcher/       launcher CLI
cmd/cloud-guest-helper/   guest 内关机助手
internal/launcher/        配置校验、VMM 生命周期、Pod 网络和 DNS relay
internal/guestcontrol/    guest 关机协议
testdata/                 协议示例与测试数据
docs/operator-contract.md Operator 与 launcher 的版本化接口
dev/build-root.py         BusyBox 实验根盘构建工具

dev/build-root.py 服务早期一次性测试,正式 Ubuntu 镜像准备和创建 VM 的操作放在 Operator 项目中。

本地开发

需要 Go 1.25 或更新版本。测试可在 macOS / Linux 运行;构建目标为 Linux amd64:

git clone git@github.com:ZJUSCT/cloud-launcher.git
git clone git@github.com:Sushidesu486/cloud-operator.git
cd cloud-launcher
make test
make build

构建产物为 bin/cloud-launcher 和 bin/cloud-guest-helper。当前 go.mod module 与仓库内部 import 仍使用 github.com/Sushidesu486/cloud-launcher;迁移 module 路径需同时修改内部 import 并运行测试。两个仓库没有跨仓库 Go 模块依赖。

本地测试覆盖配置、协议与关机消息;Firecracker、KVM、TAP 和 Ceph 的实际运行需在 Linux/KVM 隔离环境验证。完整操作从配套项目的验收说明开始;请先了解脚本的命名空间和资源范围。验收脚本会创建及操作测试实例和 PVC,使用已有环境时先阅读具体命令。

运行与协议

Operator 通过 CLOUD_LAUNCHER_CONFIG 注入 JSON,并运行 cloud-launcher run。v1 最小配置示例:

{"version":1,"id":"vm","vcpus":1,"memoryMiB":128,"firecracker":"/assets/firecracker","jailer":"/assets/jailer","kernel":"/assets/vmlinux","rootDevice":"/dev/vm-root","workDir":"/work","graceSeconds":12}

路径、设备及资源由受信任的 Operator 配置。validate 做配置校验;ready 检查 VMM 就绪,v2 启用 networkNAT 时还检查 guest SSH banner。console-input 通过受限本地 Unix socket 写入 guest 串口。

v2 网络在独立 Pod netns 中建立 fctap0,guest 测试地址为 192.0.2.2,提供 DNS relay 和 Pod:2222 → guest:22 转发。此转发目前仅支持 SSH;网站 / 任意 TCP 发布还待开发。具体字段、范围、guest 关机协议和结果见接口文档与 testdata/。

收到 SIGTERM / SIGINT 后,launcher 通过 vsock 请求 guest 内 cloud-guest-helper 关机;超时则结束 VMM。退出结果写入 /work/termination.json。当前 guest 内 reboot 和 poweroff 都结束本次运行;平台 restart 使用停止后提交新 bootID。串口 socket 是 guest 控制台入口,接门户前需要对实例归属做鉴权。

当前限制与后续任务

  1. 通用端口转发: 将固定 SSH relay 扩展为受控业务端口配置,与 Operator、Service 和网络策略联调。
  2. 个人校园网络: 和网络负责人验证 guest 内 PPP/L2TP、拨号重连、MTU、SSH 回程以及断线后的出口策略;校园账号由用户在 guest 内配置。
  3. 权限与交付: 当前开发模式使用 privileged Pod 和只读 hostPath;逐步收敛 KVM、TUN、网络配置及资产挂载权限,形成可重复部署方案。
  4. 生命周期: 完善 VMM / SSH 就绪、异常退出、强制关机和 guest reboot 的产品语义,与 Operator 对齐恢复行为。
  5. 持续运行验证: 以真实 Agent、轻量编辑器及多用户负载观察内存、延迟、磁盘 IO 和对 m600 现有服务的影响。
  6. 持久化与恢复协作: launcher 保持单机运行边界;卷归属、备份和跨节点故障恢复与 Operator / 存储负责人共同设计,跨节点恢复前处理旧宿主 fencing。

协作约定

变更先在独立分支开发,按影响范围运行本地测试及必要的隔离集成验证。涉及协议的变更同时更新本仓库和 Operator 的契约、示例及调用方;生产配置通过现有 Argo 流程交付。源码约束见 AGENTS.md。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages