跳到主要内容

1 篇博文 含有标签「Harbor」

查看所有标签

运维生产方案总览(小企业级架构师视角)

· 阅读需 7 分钟

来自 I_Kubernetes基础笔记 ~ II_Jenkins_CICD实战笔记 的综合:架构选型、拓扑、部署顺序、容量估算、备份与安全。

适用规模:150 个业务服务 / 节点 1030 台 / 日请求 100w ~ 1000w。


1. 整体拓扑(屋顶图)​

┌───────────────────────────────────────────┐
│ 内网办公网 │
│ │
│ ┌──────────┐ ┌──────────────────┐ │
│ │ Gitea │ │ Harbor 镜像库 │ │
│ │ (Git) │ │ harbor.example │ │
│ └────┬─────┘ └────────┬─────────┘ │
│ │ push/PR │ pull │
│ ▼ ▼ │
│ ┌──────────────────────────────────────┐ │
│ │ Jenkins Controller │ │
│ │ (jenkins.example.com, K3s 上跑) │ │
│ └────────────────┬─────────────────────┘ │
│ │ 调度 │
│ ▼ (临时 Agent Pod) │
│ ┌────────────────────────┐ │
│ │ 业务 K3s 集群 │ │
│ │ ┌─────────────────────┐│ │
│ │ │ web / api / frontend ││ │
│ │ │ worker / jobs ││ │
│ │ └─────────────────────┘│ │
│ │ ┌─────────────────────┐│ │
│ │ │ postgresql / redis ││ │
│ │ │ (StatefulSet) ││ │
│ │ └─────────────────────┘│ │
│ └──────────────┬────────────┘ │
│ │ Longhorn │
│ ▼ │
│ ┌──────────────────┐ │
│ │ 块存储节点 │ │
│ └──────────────────┘ │
│ │
│ ┌───────────────────────┐ │
│ │ Rancher 管理控制台 │ │
│ │ rancher.example.com │ │
│ └───────────────────────┘ │
│ │
│ ┌──────────┐ ┌──────────────┐ │
│ │ Prometheus│ │ Grafana │ │
│ │ + Alertmgr│ │ (含仪表盘) │ │
│ └──────────┘ └──────────────┘ │
│ │
│ ┌──────────────────────────────────────┐ │
│ │ Loki + Promtail(日志) │ │
│ └──────────────────────────────────────┘ │
└───────────────────────────────────────────┘
│
▼ 公网(按需)
┌──────────────────────┐
│ 外部 DNS / LB │
│ + cert-manager │
└──────────────────────┘

2. 组件选型小结​

组件选型引用
K8s 发行版K3s(HA,3 server)III_K3s笔记
集群管理Rancher(Helm on K3s)IV_Rancher笔记
镜像仓库Harbor(Helm on K3s)Harbor笔记
CI/CDJenkins(Helm on K3s)+ K8s pluginI_Jenkins基础笔记 / II_Jenkins_CICD实战笔记
存储Longhorn单独文档(可选)
负载均衡servicelb(小)/ MetalLB(生产)单独文档
IngressNginx Ingress Controller单独文档
监控Prometheus + Grafana(kube-prometheus-stack)单独文档
日志Loki + Promtail单独文档
证书cert-manager + Let's Encrypt单独文档
GitOps(可选)ArgoCD单独文档

3. 服务器规划(小企业典型)​

**10 台机器(中型)**为示例。可视规模缩减/扩展。

角色数量机器规格(建议)备注
Rancher 控制台3 (HA)4C8G x3跑 Rancher + 内置数据库或外部 DB
K3s server (HA)34C8G x3业务集群 master
K3s worker38C16G x3跑 Pod
存储节点38C16G + 100G SSD x3Longhorn 卷副本
Harbor2 (主+备份)4C16G + 500G SSD x2跑 Harbor + 数据库
Jenkins2 (主备)4C8G x2跑 Jenkins + 调度 agent pod
Gitea12C4G x1Git 仓库
监控 + 日志24C16G x2Prometheus + Grafana + Loki
合计~19 台-含冗余

3.1 容量估算​

  • 每业务服务 K8s Pod 资源约:0.52C / 14G
  • 50 服务 × 3 副本 = 150 pod
  • 假设平均 1C/2G → 总需求 150C / 300G
  • worker 10 台每台预留 8C/16G → 足够
  • 存储需求:约 1T(DB)+ 500G(应用 logs)→ Longhorn 1.5T 起

3.2 网络规划​

用途CIDR
节点管理网192.168.1.0/24
存储网192.168.2.0/24
Service 网段(K3s 默认)10.43.0.0/16
Pod 网段10.42.0.0/16
MetalLB IP 池192.168.10.0/24

4. 部署顺序​

严格按以下顺序,前一阶段不稳别进下一阶段。

① 安装 K3s 集群(HA,3 server) ← 半天
↓
② 安装 Helm、kubectl、配置镜像加速 ← 1h
↓
③ 安装 Rancher(Helm on K3s) ← 2h
↓
④ 导入已有 K3s(如有) ← 1h
↓
⑤ 安装 cert-manager(Helm) ← 1h
↓
⑥ 安装 Longhorn(Helm) ← 2h + 副本验证
↓
⑦ 安装 MetalLB(可选,Helm) ← 1h
↓
⑧ 安装 Nginx Ingress Controller(Helm) ← 1h
↓
⑨ 安装 Harbor(Helm,持久化用 Longhorn) ← 2h + 推拉验证
↓
⑩ 安装 Gitea / 对接外部 Git ← 1h
↓
⑪ 安装 Jenkins(Helm,K8s plugin) ← 3h
↓
⑫ 安装 kube-prometheus-stack ← 3h
↓
⑬ 安装 Loki + Promtail ← 2h
↓
⑭ 安装 ArgoCD(可选,开启 GitOps) ← 2h
↓
⑮ 业务系统逐个迁移 ← 持续

5. 安全规范(必须)​

5.1 镜像安全​

  • ✅ 业务镜像全部推 Harbor(不直接用 Docker Hub)
  • ✅ Trivy 漏洞扫描:CRITICAL/HIGH 失败则门禁
  • ✅ 关键服务(生产)使用 Cosign 签名
  • ✅ 镜像镜像签名验证(Kyverno 策略)
  • ❌ 禁止 --privileged 容器

5.2 RBAC​

  • ✅ 业务 namespace 加 pod-security.kubernetes.io/enforce: restricted
  • ✅ 默认用户(Dashboard 默认 SA)不能直接用
  • ✅ Rancher 用 LDAP/OIDC 集成
  • ✅ Jenkins 用机器人账号(不用真实用户)

5.3 网络隔离​

  • ✅ 启用 NetworkPolicy(用 Calico/Cilium)
  • ✅ namespace 之间默认隔离;显式白名单
  • ✅ 内部服务不暴露 NodePort;走 Ingress

5.4 凭据管理​

  • ✅ 所有凭据走 Vault / ExternalSecrets
  • ✅ Jenkins 凭据走 JCasC + Credentials plugin
  • ✅ kubeconfig 最小权限:只为对应 namespace

6. 备份与恢复​

对象方法频率备注
K3s etcdk3s etcd-snapshot → S3每 6h自动
Harbor 数据backup.sh → S3每天含镜像 + 元数据 + 配置
Jenkins 数据ThinBackup → S3每天含 job + 凭据(加密)
Giteapg dump + 备份目录每天全量
业务数据库pg_dump / mysqldump每 1h + 全量每天与 Longhorn 快照结合
K8s manifestsGit(GitOps)持续真理之源
Longhorn 卷内置 Snapshot + S3每天防勒索

6.1 演练​

每季度做一次灾备演练:

  • 从零搭一个 K3s 集群
  • 导入最新 etcd snapshot → 集群数据恢复
  • 验证 Harbor / Jenkins / 业务服务的状态

7. 监控告警​

7.1 关键仪表盘(Grafana)​

  • K8s cluster overview
  • Node CPU/内存/磁盘/网络
  • Pod / Namespace 资源使用
  • 关键业务 QPS / 延迟 / 错误率
  • 镜像仓库容量 / 拉取速率
  • Jenkins Job 运行状态

7.2 告警项(Alertmanager)​

指标阈值
节点 CPU > 80%5min 持续 → 报警
节点内存 > 90%5min 持续
节点磁盘 > 85%立即
K8s Pod CrashLoopBackOff立即
K8s Pod OOMKilled立即
节点 NotReady2min 持续
镜像扫描 CRITICAL立即
Jenkins Job 失败立即
Longhorn 卷副本丢失立即
证书 7 天内过期1 天前提前通知

7.3 通知通道​

  • 飞书 / 钉钉(工作群)
  • 邮件(次要)
  • 值班 oncall 机器(PagerDuty / 自建系统)

8. 日志聚合​

8.1 Loki + Promtail 替代 ELK 的理由​

  • 资源占用小(10x)
  • 与 Grafana / Prometheus 集成天然
  • 适合「按 label 筛选」

8.2 落地​

helm repo add grafana https://grafana.github.io/helm-charts
helm install loki grafana/loki-stack \
--namespace logging \
--set promtail.enabled=true \
--set loki.persistence.enabled=true \
--set loki.persistence.storageClassName=longhorn \
--set loki.persistence.size=100Gi

应用内日志标准:

env:
- name: TZ
value: Asia/Shanghai
- name: LOG_LEVEL
value: info

应用写 stdout/stderr(不要写文件),Promtail 自动收集。


9. 持续维护清单​

9.1 每周​

  • 看 Grafana 仪表盘,确认无异常
  • 看 Jenkins Job 失败列表
  • 看 Cert-manager 证书过期列表

9.2 每月​

  • K3s / Rancher / Jenkins / Harbor 升级评估
  • etcd snapshot 演练
  • 镜像仓库清理(release 过期的 tag)
  • 容量评估(CPU / 内存 / 磁盘)

9.3 季度​

  • 全量灾备演练
  • 安全审计(过期凭据 / 未授权 RBAC)
  • 备份归档到冷存储

10. 从零到生产的 8 步实施路径​

step 1: 学习 + 本地 minikube / k3d [1 周]
↓
step 2: 部署 K3s 测试集群(1 server) [1 天]
↓
step 3: 部署 Rancher + 接入 K3s 集群 [2 天]
↓
step 4: 部署 Harbor + 配置镜像推送 [1 天]
↓
step 5: 部署 Jenkins + 第一个 Pipeline [3 天]
↓
step 6: 把一个非关键服务迁过来跑 [1 周]
↓
step 7: 优化:监控 + 日志 + 告警 [1 周]
↓
step 8: HA + 灾备 + 安全加固 [1 周]

全过程约 6~8 周 1 人投入(含学习)。


11. 一句话总结​

  • 小企业 K8s 选 K3s + Rancher,上手快、社区成熟
  • CI/CD 选 Jenkins(K8s plugin)+ Harbor + Kaniko + Trivy,生态最全、门禁最严
  • 把备份 / 监控 / 安全当基础设施而不是后期补救,按"日备、周演、月审计"做
  • GitOps 是省事省心的进阶,强烈推荐

12. 推荐参考阅读​

标签:#docker #kubernetes #harbor #jenkins