运维生产方案总览(小企业级架构师视角)
来自 I_Kubernetes基础笔记 ~ II_Jenkins_CICD实战笔记 的综合:架构选型、拓扑、部署顺序、容量估算、备份与安全。
适用规模:150 个业务服务 / 节点 1030 台 / 日请求 100w ~ 1000w。
1. 整体拓扑(屋顶图)
┌───────────────────────────────────────────┐
│ 内网办公网 │
│ │
│ ┌──────────┐ ┌──────────────────┐ │
│ │ Gitea │ │ Harbor 镜像库 │ │
│ │ (Git) │ │ harbor.example │ │
│ └────┬─────┘ └────────┬─────────┘ │
│ │ push/PR │ pull │
│ ▼ ▼ │
│ ┌──────────────────────────────────────┐ │
│ │ Jenkins Controller │ │
│ │ (jenkins.example.com, K3s 上跑) │ │
│ └────────────────┬─────────────────────┘ │
│ │ 调度 │
│ ▼ (临时 Agent Pod) │
│ ┌────────────────────────┐ │
│ │ 业务 K3s 集群 │ │
│ │ ┌─────────────────────┐│ │
│ │ │ web / api / frontend ││ │
│ │ │ worker / jobs ││ │
│ │ └─────────────────────┘│ │
│ │ ┌─────────────────────┐│ │
│ │ │ postgresql / redis ││ │
│ │ │ (StatefulSet) ││ │
│ │ └─────────────────────┘│ │
│ └──────────────┬────────────┘ │
│ │ Longhorn │
│ ▼ │
│ ┌──────────────────┐ │
│ │ 块存储节点 │ │
│ └──────────────────┘ │
│ │
│ ┌───────────────────────┐ │
│ │ Rancher 管理控制台 │ │
│ │ rancher.example.com │ │
│ └───────────────────────┘ │
│ │
│ ┌──────────┐ ┌──────────────┐ │
│ │ Prometheus│ │ Grafana │ │
│ │ + Alertmgr│ │ (含仪表盘) │ │
│ └──────────┘ └──────────────┘ │
│ │
│ ┌──────────────────────────────────────┐ │
│ │ Loki + Promtail(日志) │ │
│ └──────────────────────────────────────┘ │
└───────────────────────────────────────────┘
│
▼ 公网(按需)
┌──────────────────────┐
│ 外部 DNS / LB │
│ + cert-manager │
└──────────────────────┘
2. 组件选型小结
| 组件 | 选型 | 引用 |
|---|---|---|
| K8s 发行版 | K3s(HA,3 server) | III_K3s笔记 |
| 集群管理 | Rancher(Helm on K3s) | IV_Rancher笔记 |
| 镜像仓库 | Harbor(Helm on K3s) | Harbor笔记 |
| CI/CD | Jenkins(Helm on K3s)+ K8s plugin | I_Jenkins基础笔记 / II_Jenkins_CICD实战笔记 |
| 存储 | Longhorn | 单独文档(可选) |
| 负载均衡 | servicelb(小)/ MetalLB(生产) | 单独文档 |
| Ingress | Nginx Ingress Controller | 单独文档 |
| 监控 | Prometheus + Grafana(kube-prometheus-stack) | 单独文档 |
| 日志 | Loki + Promtail | 单独文档 |
| 证书 | cert-manager + Let's Encrypt | 单独文档 |
| GitOps(可选) | ArgoCD | 单独文档 |
3. 服务器规划(小企业典型)
**10 台机器(中型)**为示例。可视规模缩减/扩展。
| 角色 | 数量 | 机器规格(建议) | 备注 |
|---|---|---|---|
| Rancher 控制台 | 3 (HA) | 4C8G x3 | 跑 Rancher + 内置数据库或外部 DB |
| K3s server (HA) | 3 | 4C8G x3 | 业务集群 master |
| K3s worker | 3 | 8C16G x3 | 跑 Pod |
| 存储节点 | 3 | 8C16G + 100G SSD x3 | Longhorn 卷副本 |
| Harbor | 2 (主+备份) | 4C16G + 500G SSD x2 | 跑 Harbor + 数据库 |
| Jenkins | 2 (主备) | 4C8G x2 | 跑 Jenkins + 调度 agent pod |
| Gitea | 1 | 2C4G x1 | Git 仓库 |
| 监控 + 日志 | 2 | 4C16G x2 | Prometheus + Grafana + Loki |
| 合计 | ~19 台 | - | 含冗余 |
3.1 容量估算
- 每业务服务 K8s Pod 资源约:0.5
2C / 14G - 50 服务 × 3 副本 = 150 pod
- 假设平均 1C/2G → 总需求 150C / 300G
- worker 10 台每台预留 8C/16G → 足够
- 存储需求:约 1T(DB)+ 500G(应用 logs)→ Longhorn 1.5T 起
3.2 网络规划
| 用途 | CIDR |
|---|---|
| 节点管理网 | 192.168.1.0/24 |
| 存储网 | 192.168.2.0/24 |
| Service 网段(K3s 默认) | 10.43.0.0/16 |
| Pod 网段 | 10.42.0.0/16 |
| MetalLB IP 池 | 192.168.10.0/24 |
4. 部署顺序
严格按以下顺序,前一阶段不稳别进下一阶段。
① 安装 K3s 集群(HA,3 server) ← 半天
↓
② 安装 Helm、kubectl、配置镜像加速 ← 1h
↓
③ 安装 Rancher(Helm on K3s) ← 2h
↓
④ 导入已有 K3s(如有) ← 1h
↓
⑤ 安装 cert-manager(Helm) ← 1h
↓
⑥ 安装 Longhorn(Helm) ← 2h + 副本验证
↓
⑦ 安装 MetalLB(可选,Helm) ← 1h
↓
⑧ 安装 Nginx Ingress Controller(Helm) ← 1h
↓
⑨ 安装 Harbor(Helm,持久化用 Longhorn) ← 2h + 推拉验证
↓
⑩ 安装 Gitea / 对接外部 Git ← 1h
↓
⑪ 安装 Jenkins(Helm,K8s plugin) ← 3h
↓
⑫ 安装 kube-prometheus-stack ← 3h
↓
⑬ 安装 Loki + Promtail ← 2h
↓
⑭ 安装 ArgoCD(可选,开启 GitOps) ← 2h
↓
⑮ 业务系统逐个迁移 ← 持续
5. 安全规范(必须)
5.1 镜像安全
- ✅ 业务镜像全部推 Harbor(不直接用 Docker Hub)
- ✅ Trivy 漏洞扫描:CRITICAL/HIGH 失败则门禁
- ✅ 关键服务(生产)使用 Cosign 签名
- ✅ 镜像镜像签名验证(Kyverno 策略)
- ❌ 禁止
--privileged容器
5.2 RBAC
- ✅ 业务 namespace 加
pod-security.kubernetes.io/enforce: restricted - ✅ 默认用户(Dashboard 默认 SA)不能直接用
- ✅ Rancher 用 LDAP/OIDC 集成
- ✅ Jenkins 用机器人账号(不用真实用户)
5.3 网络隔离
- ✅ 启用 NetworkPolicy(用 Calico/Cilium)
- ✅ namespace 之间默认隔离;显式白名单
- ✅ 内部服务不暴露 NodePort;走 Ingress
5.4 凭据管理
- ✅ 所有凭据走 Vault / ExternalSecrets
- ✅ Jenkins 凭据走 JCasC + Credentials plugin
- ✅ kubeconfig 最小权限:只为对应 namespace
6. 备份与恢复
| 对象 | 方法 | 频率 | 备注 |
|---|---|---|---|
| K3s etcd | k3s etcd-snapshot → S3 | 每 6h | 自动 |
| Harbor 数据 | backup.sh → S3 | 每天 | 含镜像 + 元数据 + 配置 |
| Jenkins 数据 | ThinBackup → S3 | 每天 | 含 job + 凭据(加密) |
| Gitea | pg dump + 备份目录 | 每天 | 全量 |
| 业务数据库 | pg_dump / mysqldump | 每 1h + 全量每天 | 与 Longhorn 快照结合 |
| K8s manifests | Git(GitOps) | 持续 | 真理之源 |
| Longhorn 卷 | 内置 Snapshot + S3 | 每天 | 防勒索 |
6.1 演练
每季度做一次灾备演练:
- 从零搭一个 K3s 集群
- 导入最新 etcd snapshot → 集群数据恢复
- 验证 Harbor / Jenkins / 业务服务的状态
7. 监控告警
7.1 关键仪表盘(Grafana)
- K8s cluster overview
- Node CPU/内存/磁盘/网络
- Pod / Namespace 资源使用
- 关键业务 QPS / 延迟 / 错误率
- 镜像仓库容量 / 拉取速率
- Jenkins Job 运行状态
7.2 告警项(Alertmanager)
| 指标 | 阈值 |
|---|---|
| 节点 CPU > 80% | 5min 持续 → 报警 |
| 节点内存 > 90% | 5min 持续 |
| 节点磁盘 > 85% | 立即 |
| K8s Pod CrashLoopBackOff | 立即 |
| K8s Pod OOMKilled | 立即 |
| 节点 NotReady | 2min 持续 |
| 镜像扫描 CRITICAL | 立即 |
| Jenkins Job 失败 | 立即 |
| Longhorn 卷副本丢失 | 立即 |
| 证书 7 天内过期 | 1 天前提前通知 |
7.3 通知通道
- 飞书 / 钉钉(工作群)
- 邮件(次要)
- 值班 oncall 机器(PagerDuty / 自建系统)
8. 日志聚合
8.1 Loki + Promtail 替代 ELK 的理由
- 资源占用小(10x)
- 与 Grafana / Prometheus 集成天然
- 适合「按 label 筛选」
8.2 落地
helm repo add grafana https://grafana.github.io/helm-charts
helm install loki grafana/loki-stack \
--namespace logging \
--set promtail.enabled=true \
--set loki.persistence.enabled=true \
--set loki.persistence.storageClassName=longhorn \
--set loki.persistence.size=100Gi
应用内日志标准:
env:
- name: TZ
value: Asia/Shanghai
- name: LOG_LEVEL
value: info
应用写 stdout/stderr(不要写文件),Promtail 自动收集。
9. 持续维护清单
9.1 每周
- 看 Grafana 仪表盘,确认无异常
- 看 Jenkins Job 失败列表
- 看 Cert-manager 证书过期列表
9.2 每月
- K3s / Rancher / Jenkins / Harbor 升级评估
- etcd snapshot 演练
- 镜像仓库清理(release 过期的 tag)
- 容量评估(CPU / 内存 / 磁盘)
9.3 季度
- 全量灾备演练
- 安全审计(过期凭据 / 未授权 RBAC)
- 备份归档到冷存储
10. 从零到生产的 8 步实施路径
step 1: 学习 + 本地 minikube / k3d [1 周]
↓
step 2: 部署 K3s 测试集群(1 server) [1 天]
↓
step 3: 部署 Rancher + 接入 K3s 集群 [2 天]
↓
step 4: 部署 Harbor + 配置镜像推送 [1 天]
↓
step 5: 部署 Jenkins + 第一个 Pipeline [3 天]
↓
step 6: 把一个非关键服务迁过来跑 [1 周]
↓
step 7: 优化:监控 + 日志 + 告警 [1 周]
↓
step 8: HA + 灾备 + 安全加固 [1 周]
全过程约 6~8 周 1 人投入(含学习)。
11. 一句话总结
- 小企业 K8s 选 K3s + Rancher,上手快、社区成熟
- CI/CD 选 Jenkins(K8s plugin)+ Harbor + Kaniko + Trivy,生态最全、门禁最严
- 把备份 / 监控 / 安全当基础设施而不是后期补救,按"日备、周演、月审计"做
- GitOps 是省事省心的进阶,强烈推荐
12. 推荐参考阅读
- Kubernetes 官方文档
- K3s 官方文档
- Rancher 官方文档
- Harbor 官方文档
- Jenkins 官方文档
- Longhorn 官方文档
- Loki 官方文档
- cert-manager 官方文档
- Trivy 漏洞扫描器
- Kaniko 构建器
标签:#docker #kubernetes #harbor #jenkins