跳到主要内容

4 篇博文 含有标签「Jenkins」

查看所有标签

DevOps 基础与文化

· 阅读需 8 分钟

由旧稿重新整理版本。DevOps 系列共 3 篇:本文是概念与文化;小企业DevOps方案笔记 是50~500 人企业主流方案;DevOps工具链选型对比笔记 是工具链横向选型参考。旧稿目录已清理,当前以本文为准。


1. DevOps 是什么​

1.1 定义​

DevOps 是 Development(开发)+ Operations(运维)的合并缩写,是一套文化、实践与工具的组合,目标是缩短系统变更从提交到上线的时间,同时保证质量与稳定性。

核心思想:

  • 打破开发与运维之间的「墙」
  • 把交付过程自动化、可重复
  • 用反馈回路持续改进
  • 把可靠性当成产品的一部分(而非事后靠运维救火)

1.2 不是什么​

  • ❌ 不是某种职位(「DevOps 工程师」)— DevOps 是文化与实践,单设一个职位意味着 DevOps 失败
  • ❌ 不是某个工具(Jenkins / Docker / K8s 都只是支撑)
  • ❌ 不是只搞 CI/CD(CI/CD 只是其中一环)
  • ❌ 不是运维工程师 + 几个脚本

1.3 一句话总结​

DevOps = 让交付从「靠人堆」变成「靠系统自动化」,把责任从运维单独背变成开发从始至终一起承担。


2. DevOps 的核心价值​

2.1 三大指标(Westrum 指标 / DORA)​

Google DORA 团队对软件交付效能的多年研究总结出 4 个指标:

指标EliteLow含义
部署频率(Deployment Frequency)按需(一天多次)几个月一次发布节奏
变更前置时间(Lead Time for Changes)< 1h> 1 month从 commit 到 production
变更失败率(Change Failure Rate)0~15%46~60%上线后回滚或修复的比例
故障恢复时间(MTTR)< 1h> 1 month出问题到恢复

Elite vs Low 的企业,运营表现有 30~50 倍差距(事故数、可用性、业务连续性)。

2.2 商业价值​

  • 更快交付:小步快跑,缩短 idea-to-prod 周期
  • 更高稳定性:自动化测试 + 灰度发布 + 快速回滚
  • 更低成本:减少救火 SLA、减少返工
  • 更高研发幸福感:开发者不再怕上线、值班更有方向
  • 组织敏捷:应对市场变化更快

3. CALMS 框架​

CALMS 是 Damon Edwards 提出的 DevOps 文化框架:

字母含义体现
Culture文化跨职能合作、无指责复盘、共享 oncall
Automation自动化CI/CD、IaC、测试自动化、监控告警自动化
Lean精益减少浪费(小批量、限制在制品 WIP)
Measurement度量DORA 指标、SLI/SLO、用户业务指标
Sharing共享共享库、Wiki、复盘文档、内部技术会议

文化先行(C),技术与工具是支撑(ALMS)。只买工具不改文化 → 工具用不起来。


4. DevOps 成熟度模型​

按阶段划分(0~5):

级别名称特征
L0手动时代手动部署、手动测试、FTP 推代码
L1脚本化Bash 脚本、cron、基础监控
L2CI/CDJenkins/GitHub Actions 自动化构建+测试
L3IaC + 可观测Terraform/Ansible;Prometheus + Grafana;ELK
L4GitOps + 服务网格 + SLOArgoCD/Flux;Istio;SLO 管理;灰度发布
L5自服务 IDP + AIOpsBackstage 内部开发者平台;自动扩缩容;AIOps 异常检测

小企业(50~500 技术人员)目标:稳定 L3,争取 L4。L5 是巨型企业的游戏。


5. DevOps vs SRE vs Platform Engineering​

近年来兴起的几个相邻概念容易混淆:

5.1 DevOps​

  • 范围:文化 + 工具 + 实践
  • 关注点:整个交付链路
  • 组织意义:跨职能合作
  • 负责人:人人(不是某个团队)

5.2 SRE(Site Reliability Engineering,源自 Google)​

  • 范围:生产环境的可靠性工程
  • 关注点:SLO/SLA、错误预算(Error Budget)、oncall、事后复盘(Postmortem)
  • 角色:SRE Engineer(实际岗位)
  • 经典指标:可用性 MTTR MTBF
  • 典型实践:
    • SLO 定义(99.9% 可用 = 每月允许 43 分钟宕机)
    • Error Budget 消耗 100% 后,冻结发布
    • Toil(手动工作)控制
  • 与 DevOps 的关系:SRE 是 DevOps 在「运营可靠性」方向的具体落地

5.3 Platform Engineering(平台工程,2022+ 兴起)​

  • 范围:搭建内部开发者平台(IDP)
  • 关注点:让开发者自助完成常见任务(新服务创建、CI 模板、部署、监控接入)
  • 代表工具:Backstage(Spotify 开源 IDP)
  • 与 DevOps 的关系:当 DevOps 文化成熟后,组织会自然演化出"平台团队"专门搭建 IDP
  • 与 SRE 关系:平台工程给开发者自助工具,SRE 确保生产可靠性

5.4 三者关系图​

┌──────────────────────────┐
│ DevOps(文化层) │
│ 跨职能协作 / 反馈 │
└──────────┬───────────────┘
│
┌────────────┴────────────┐
▼ ▼
┌──────────────────┐ ┌──────────────────────┐
│ SRE(可靠性层) │ │ Platform Eng(平台层)│
│ SLO / oncall / │ │ Backstage / IDP / │
│ postmortem │ │ 自服务化 │
└──────────────────┘ └──────────────────────┘

实际分工:DevOps 是思想,SRE 把「可靠性」做到极致,Platform Eng 把「自助化」做到极致。一个组织往往三者都有。


6. DevOps 与周边概念的关系​

6.1 Agile(敏捷)​

  • 关注需求与产品迭代(Scrum / Kanban)
  • DevOps 关注开发到上线的链路
  • 二者互补:Agile 解决「做正确的事」,DevOps 解决「正确地做事」

6.2 Lean(精益)​

  • 起源于丰田生产方式
  • DevOps 的"L"(Lean):减少浪费(WIP)、缩短反馈
  • 核心观点:构建质量(Build Quality In),而非事后检测

6.3 持续集成(CI)​

  • 频繁合并代码到主干,每次合并自动跑构建+测试
  • 目标:早发现集成问题
  • 是 DevOps 的"A"(Automation)层的一环

6.4 持续交付 / 持续部署(CD)​

  • Continuous Delivery:代码任何时候都可发布(人工决定何时发布)
  • Continuous Deployment:自动化通过所有测试后自动发布到生产
  • 与 CI 是同源概念

6.5 GitOps(详见 II_Jenkins_CICD实战笔记 / 小企业DevOps方案笔记)​

  • 以 Git 为单一真相源
  • 通过 PR/MR 改动生产环境
  • ArgoCD/Flux 是事实标准工具

7. 小企业(50~500 人)做 DevOps 的现实路径​

7.1 当前痛点​

  • 产品迭代快,部署频率赶不上
  • 服务一多,环境/版本混乱
  • 故障定位慢,SLA 压力大
  • 团队各自为政,没有标准化

7.2 落地顺序(按 ROI 由高到低)​

阶段 1(基础):
- Git 工作流规范化(trunk-based 或规范化的 GitFlow)
- CI 流水线(PR 触发自动测试 + 自动化单测)
- 基础监控(接入 APM、链路追踪)

阶段 2(演进):
- 镜像化所有服务 + K8s 容器化
- CD 流水线(自动推镜像、自动部署)
- IaC(Terraform 管理云资源)

阶段 3(治理):
- GitOps(ArgoCD + App-of-Apps)
- SLO 管理 + Error Budget 流程
- 安全门禁(Trivy、OPA、镜像签名)

阶段 4(平台化):
- Backstage IDP
- 内部共享库、模板化新服务
- AIOps、混沌工程、灰度发布

不要一上来就上服务网格 + IDP,从最痛点(部署慢 / 故障多)切入。

7.3 关键组织变化​

  • 运维团队转型:从「纯救火」变「平台建设 + SRE 兼 SRE 思路」
  • 开发承担 oncall:共同对生产负责
  • 建立 blameless postmortem 文化:复盘不追责,找系统问题
  • 共享指标:DORA 4 指标透明、考核按团队而非个人

8. 组织/团队模型​

8.1 反向康威定律​

康威定律:"系统结构反映组织沟通结构"。

DevOps 时代常反向:先决定系统/团队结构,反过来调整组织:

  • 微服务 = 小团队 + 全栈:每个服务由一个 5~9 人小队全权负责(含 oncall)
  • 平台团队:构建 CI/CD 模板、可观测性、镜像仓库
  • 产品团队:聚焦业务,平台能力由平台团队提供

8.2 经典模型​

模型来源适用
Spotify 模型Spotify大型、矩阵化、产品线多
Team TopologiesSkelton & Pais演化出 4 种团队类型:业务流、平台、赋能、复杂子系统
SRE 拓扑Google强 oncall 流程
Platform Engineering2022+ 兴起自服务化优先

Team Topologies 4 类:

  • Stream-aligned team:业务流团队(按业务价值流)
  • Platform team:提供 IDP
  • Enabling team:传帮带
  • Complicated-subsystem team:复杂专门系统(如 ML 平台)

9. 一句话总结​

  • DevOps = 文化(CALMS)+ 自动化 + 度量 + 共享
  • 目标:DORA 4 指标达到 Elite(部署频率高 / 前置时间短 / 变更失败率低 / MTTR 短)
  • 区分 DevOps / SRE / Platform Engineering:文化 / 可靠性 / 自服务
  • 小企业落地分阶段,从痛点切入(CI + 监控),再演进到 L3~L4(IaC + GitOps)

标签:#docker #kubernetes #jenkins #git

DevOps 工具链对比笔记

· 阅读需 8 分钟

来自 小企业DevOps方案笔记 的延伸:按领域横向对比 8 个细分赛道的开源与商业选型。


1. 代码托管(Source Code Management)​

工具类型简介适用
GitHub商业/SaaS + 自托管 EE最广泛的代码托管 + PR + Actions几乎全员
GitLab CE开源自托管"一体化平台"数据本地化、自托管
GitLab EE商业CE + 安全/合规等高级能力大企业、有预算
Gitea开源/轻量用 Go 写的迷你 GitHub资源受限、要轻量
Forgejo开源Gitea 的社区分叉同上、避免 Gitea 商业化
Bitbucket商业/SaaSAtlassian 生态已用 Jira 的团队
Codeberg开源/SaaS公益型 Forgejo个人/小团队
Sourcehut开源/SaaS无 JS、邮件驱动极简主义者

选型建议:

  • 主流 SaaS 团队 → GitHub
  • 自托管 / 数据本地化 → GitLab CE 或 Gitea
  • 阿里云/腾讯云生态 → CodeUp / TAPD
  • 已用 Jira → Bitbucket

2. CI(持续集成)​

工具类型简介适用
GitHub ActionsSaaS + 自托管 runner内置GitHub 生态
GitLab CI内置自托管 / SaaSGitLab 生态
Jenkins开源/Java最老牌、插件最多高度可定制
Drone开源/Go容器化、易上手中小项目
Woodpecker开源Drone 的社区分叉同上
Tekton开源/Cloud NativeK8s 原生、CIDRK8s 重度用户
CircleCISaaS老牌、性能好大 monorepo
BuildkiteSaaS + 自托管 agent灵活、CI as Code私有化
Argo Workflows开源K8s 原生工作流不只是 CI
TeamCity商业JetBrains 出品Kotlin/Java 团队

选型建议:

  • 已用 GitHub → GitHub Actions(小项目)
  • 已用 GitLab → GitLab CI
  • K8s 重度 + 复杂流水线 → Tekton / Argo Workflows
  • 复杂自定义 + 大量 plugin → Jenkins
  • 中小团队 + 简单 + 容器原生 → Drone / Woodpecker

3. CD(持续部署)​

工具类型简介适用
ArgoCD开源K8s GitOps 事实标准K8s 首选
Flux CD开源GitOps Toolkit,比 ArgoCD 轻同上
Spinnaker开源/Netflix 出品多云部署、复杂发布策略大型多云
Harness商业一站式 CD中大型
Codefresh商业K8s CDK8s 中型
Octopus Deploy商业传统应用部署.NET / 老系统
Flagger开源ArgoCD 配套、灰度发布K8s + Argo

选型建议:

  • 用 K8s → ArgoCD(最稳)
  • K8s + 需要轻量 → Flux
  • 多云 + 复杂发布 → Spinnaker
  • 商业、省心 → Harness

4. IaC(基础设施即代码)​

工具类型简介适用
Terraform商业(MPL)行业标准多云
OpenTofu开源Terraform 1.5+ 的开源分叉避免 HashiCorp 许可变更
Pulumi开源/商业用编程语言(TS/Go/Python)写 IaC程序员友好
Ansible开源配置管理 / 简单编排配置管理、轻 IaC
CloudFormation商业(AWS 专)AWS 原生AWS 单一云
ARM Template商业(Azure 专)Azure 原生Azure 单一云
CDK商业CloudFormation 的编程版本程序员
Crossplane开源K8s 原生管理云资源K8s 生态
Helm开源K8s 应用打包K8s 部署

选型建议:

  • 多云 → Terraform / OpenTofu
  • 单一云(AWS) → CloudFormation / CDK
  • 程序员团队 → Pulumi
  • 配置管理、运维自动化 → Ansible
  • K8s 应用 → Helm + Kustomize

5. 容器镜像与制品库(Artifacts)​

工具类型简介适用
Harbor开源/CNCF容器镜像 + 漏洞扫描 + 复制首选(见 Harbor笔记)
AWS ECR商业AWS 容器镜像AWS 单云
Azure ACR商业Azure 容器镜像Azure 单云
GCP Artifact Registry商业GCP 镜像GCP 单云
Docker HubSaaS公有公开镜像
Nexus Repository商业/OSS容器 + Maven + npm + PyPI 全能多语言
Artifactory商业最全商业重型
GitHub PackagesSaaS与 GitHub 集成GitHub 用户

选型建议:

  • 多语言、大企业 → Nexus Repository / Artifactory
  • 纯容器镜像 → Harbor
  • 单一云 → 用云厂商的(ECR/ACR)
  • GitHub 项目 → GitHub Container Registry

6. 可观测性(Observability)​

6.1 Metrics​

工具类型简介
Prometheus开源K8s 监控事实标准
VictoriaMetrics开源高性能 Prometheus 替代
Thanos开源Prometheus 长期存储
Cortex开源Prometheus 集群方案
InfluxDB开源时序数据库
DatadogSaaSSaaS 一体化
New RelicSaaS老牌 APM
DynatraceSaaS企业级自动化
Splunk ObservabilitySaaS来自 Splunk
CloudWatch商业AWS 原生
Azure Monitor商业Azure 原生

6.2 Logs​

工具类型简介
Loki开源Grafana 全家桶
ELK Stack开源经典(Elasticsearch + Logstash + Kibana)
OpenSearch开源ES 分叉(合规)
Grafana Enterprise Logs商业Grafana 商业版
Splunk商业商业重型
Datadog LogsSaaS商业

6.3 Traces​

工具类型简介
Jaeger开源CNCF 毕业
Tempo开源Grafana 出品
Zipkin开源老牌(Twitter)
OpenTelemetry开源/CNCF标准化采集 SDK
Datadog APMSaaS商业
New Relic APMSaaS商业

6.4 整合方案​

  • Grafana Stack(LGTM + Prometheus):最常见的自建
  • Datadog:一体化 SaaS
  • New Relic:一体化 SaaS
  • Dynatrace:企业级

选型建议:

  • 完全自建、Grafana + Loki + Tempo + Prometheus
  • 省心、大预算 → Datadog
  • 多云混合 → Dynatrace
  • Java 重 → New Relic

7. 告警(Alerting)​

工具类型简介
Alertmanager开源Prometheus 标配
Grafana Alerting开源Grafana 内置
Grafana OnCall开源/商业值班调度
PagerDutySaaS值班调度之王
OpsGenieSaaS现被 Atlassian 收,集成 Jira
钉钉 / 飞书 / 企微 机器人SaaS国内常用 webhook
Telegram / SlackSaaS国际常用
Pager开源老牌,PagerDuty 替代品

8. 安全(Security Toolchain)​

8.1 代码 SAST​

工具类型简介
CodeQL开源/商业GitHub 内置
Snyk Code商业多语言
SonarQube开源/商业自托管经典
Semgrep开源轻量规则引擎
Bandit开源Python 专用
gosec开源Go 专用
Checkov开源IaC 安全(Terraform)

8.2 镜像 / 容器​

工具类型简介
Trivy开源全能扫描器(见前文)
Snyk Container商业商业加固
Clair开源/CNCF静态分析
Anchore开源/商业深度合规
Docker ScoutSaaSDocker 官方

8.3 运行时​

工具类型简介
Falco开源/CNCF运行时安全(syscall)
Tracee开源eBPF 运行时安全
Tetragon开源Cilium 出品 eBPF
Aqua Security商业重型商业
Prisma Cloud商业Palo Alto

8.4 策略 / 合规​

工具类型简介
OPA开源策略引擎(Rego)
Gatekeeper开源OPA in K8s
Kyverno开源K8s 策略,YAML 友好
Conftest开源OPA CLI 测试
Falco Rules开源Falco 默认规则

8.5 密钥 / Secret​

工具类型简介
HashiCorp Vault开源业界标准
Sealed Secrets开源Bitnami 出品
External Secrets Operator开源集成云厂商 Secrets
AWS Secrets Manager商业AWS 集成
Azure Key Vault商业Azure 集成

8.6 依赖​

工具类型简介
DependabotSaaSGitHub 内置
Renovate开源自托管 / SaaS
Snyk Open Source商业含已知漏洞库
OWASP Dependency-Check开源Java/Node/.NET

选型建议:

  • 小企业最小集:Trivy + Renovate/Dependabot + Vault + Kyverno
  • 中型:+ Snyk + Falco + OPA

9. 服务网格(Service Mesh)​

工具类型数据面
Istio开源/EnvoyEnvoy(功能最强)
Linkerd开源/ConduitLinkerd-proxy(轻量)
Consul Connect商业/HashiCorpEnvoy
Cilium Service Mesh开源eBPF(内核)
Kuma开源Envoy
AWS App Mesh商业Envoy

选型建议:

  • 中小规模 → Linkerd(轻量) 或 Cilium(性能)
  • 大规模 + 复杂 → Istio
  • 单云 + 已用 ASM → AWS App Mesh

10. 多集群管理(Multi-Cluster Orchestration)​

工具类型简介
Rancher开源/商业见 IV_Rancher笔记
Cluster API开源/K8s sig声明式 K8s 集群生命周期
Clusterpedia开源跨集群查询
ArgoCD ApplicationSet开源ArgoCD 多集群部署
RafaySaaS/商业企业级
NirmataSaaS/商业企业级

11. 平台工程 / IDP​

工具类型简介
Backstage开源/CNCFSpotify 出品,事实标准
CompassSaaSAtlassian
PortSaaS商业
CortexSaaS商业
Roadmap.sh开源/Wiki简单

12. 混沌工程(Chaos Engineering)​

工具类型简介
Chaos Monkey开源/Netflix杀实例
Chaos Mesh开源/PingCAPK8s 混沌
LitmusChaos开源/CNCFK8s 混沌
GremlinSaaS商业
ChaosBlade开源/阿里国内通用

13. 选型速查(按主题一图一表)​

代码: GitHub / GitLab CE / Gitea
CI: GitHub Actions / GitLab CI / Tekton / Jenkins
CD: ArgoCD / Flux / Harness
IaC: Terraform / OpenTofu / Pulumi
镜像: Harbor / ECR / Nexus
日志: Loki / ELK
指标: Prometheus + Grafana
链路: Tempo / Jaeger / OpenTelemetry
告警: Alertmanager + PagerDuty / 飞书
镜像扫描:Trivy / Snyk
运行时:Falco / Tetragon
策略: Kyverno / OPA
密钥: Vault
Mesh: Linkerd / Istio / Cilium
多集群:Rancher / ClusterAPI
IDP: Backstage
混沌: Chaos Mesh / Litmus

14. 一句话总结​

  • 小企业:开源工具够用,重点在整合而非单一工具好坏
  • 17 个细分领域只是参考,实际企业只用到 5~8 个核心
  • 选型原则:
    1. 先用主流(Jenkins / ArgoCD / Trivy / Prometheus),少创新
    2. 自托管 vs SaaS 看团队规模与合规
    3. 工具要统一生态(如 Grafana 全家桶 / Datadog 一体化)
    4. 可替换性:每层解耦,避免绑死某家

标签:#git #docker #kubernetes #jenkins

小企业 DevOps 方案笔记(50~500 技术人员)

· 阅读需 9 分钟

来自 DevOps基础与文化笔记 的延伸。这一规模比前面 K3s+Rancher 笔记里提到的"1030 节点"小企业大了一档——通常有 310 个产品线、多团队、多环境。


1. 典型画像​

1.1 规模指标​

技术人员: 50~500 人
业务产品线: 3~10 个
服务数量: 50~500 个(含微服务 / 单体服务)
迭代并行: 多个产品线同时推进
环境数量: dev / staging / pre-prod / prod 至少 4 套
发布频率: 一日多次(小变更)/ 一天一两次(中等变更)
可用性要求: 99.5%~99.95%(SLA 4~9 个 9 / 月宕机分钟数)

1.2 典型组织​

  • 多个产品研发小组:每组 5~15 人
  • 公共团队:平台组 / SRE 组 / 安全组 / QA 组
  • 业务职能:售前、售后、市场、法务
  • 基础设施:1~3 个公有云(多云) + 自建机房(部分公司)

1.3 典型痛点​

  • 服务一多,环境/版本/CI 配置不一致
  • 多个团队重复造轮子(各建各的 CI、各写各的发布脚本)
  • 故障定位慢,链路长
  • 安全合规靠人工审计,漏洞响应慢
  • 新员工 oncall 成本高,制度不清晰

2. 主流方案对比​

按"代码托管 + CI/CD + 部署"三大支柱,分为三大流派:

2.1 全栈商业平台(最快上手,预算敏感度低时考虑)​

A. GitHub 一栈式​

GitHub ← 代码托管 / PR / Issue
GitHub Actions ← CI/CD(内置)
ArgoCD ← K8s GitOps 部署
EKS / AKS / GKE ← K8s 托管
优势劣势
开发者最熟,文档生态最丰富GitHub Actions 成本高(大 monorepo)
PR/Code Review/Issue 流程完善数据出企业,自托管困难
Actions marketplace 插件多多区域同步差
适合 IT 投资 < 团队规模,devops < 2 人大型 monorepo 速度下降

B. GitLab CE/EE 自托管​

GitLab (CE / EE) ← 代码 + Issue + Wiki + CI + Registry (内置)
ArgoCD ← K8s GitOps(可选)
K8s
优势劣势
全部能力一个平台:CI / Registry / 安全扫描 / Issue升级痛苦(每版本都"半成品升级")
自托管:数据在自己手里EE 收费,CE 缺高级功能(多租户等)
适合喜欢"少技术栈"团队性能比专用工具稍差

C. Azure DevOps(微软生态)​

Azure DevOps Repos ← Git
Azure DevOps Pipelines
Azure DevOps Artifacts
Azure Kubernetes Service + ArgoCD
优势劣势
与 Azure / .NET 生态无缝跨云弱
自带测试管理 / 制品库 / Wiki配置较复杂
Build 分钟数对微软内部免费商业版价格高

2.2 全开源 / 自托管(推荐给小规模技术团队)​

方案 D. "Gitea + Jenkins + Tekton + ArgoCD + K3s"​

Gitea (代码托管) ↘
Drone / Jenkins (CI) ─────────► Harbor (镜像仓库) ──► ArgoCD ──► K8s
Tekton (云原生 CI 可选) ↗
优势劣势
完全可控、所有数据自持运维成本(要管多个组件)
工具都是顶流开源需要有平台工程团队(2~5 人)
灵活:可换组件文档相对不如商业产品一致

方案 E. "GitHub + Jenkins + ArgoCD + K8s(混合)"​

GitHub ← 代码托管(不放心企业用公网的可考虑 Gitea 替代)
Jenkins ← CI(Jenkins on K8s)
ArgoCD ← K8s GitOps
K8s

详细配置见前面 I_Jenkins基础笔记 ~ 小企业运维生产方案总览。


2.3 决策树​

Q1: 必须数据私有 / 合规要求本地部署?
├─ 是 → Q2
└─ 否 → Q3

Q2: 是否有 2~5 人专职平台工程团队?
├─ 是 → 方案 D(全开源)
└─ 否 → 方案 B(GitLab 自托管)+ ArgoCD

Q3: 是否依赖 Azure / 微软生态?
├─ 是 → Azure DevOps
└─ 否 → Q4

Q4: 团队是否熟悉 GitHub?
├─ 是 → GitHub + ArgoCD
└─ 否 → GitLab 一栈式

3. 落地架构​

3.1 经典分层视图​

┌──────────────────────────────────────────────────┐
│ 业务交付层(Developer Experience) │
│ Backstage / 内部门户 / 新服务脚手架 │
└──────────────────────────────────────────────────┘
↑
┌─────────────────┴──────────────────────────────┐
│ 持续交付层(CD) │
│ ArgoCD / Flux / Spinnaker + 灰度发布 │
│ + 制品签名(Cosign)+ 安全门禁(Kyverno/OPA) │
└─────────────────┬──────────────────────────────┘
↑
┌─────────────────┴──────────────────────────────┐
│ 持续集成层(CI) │
│ Jenkins / GitHub Actions / Tekton │
│ + 单元测试 + 集成测试 + 镜像构建 + 漏洞扫描 │
└─────────────────┬──────────────────────────────┘
↑
┌─────────────────┴──────────────────────────────┐
│ 源代码层(SC) │
│ GitHub / GitLab / Gitea │
│ + 评审流程 + 分支策略 │
└──────────────────────────────────────────────────┘

┌──────────────────────────────────────────────────┐
│ 平台底层(Platform) │
│ K8s / 服务网格 / 存储 / 网络 / 证书管理 │
└──────────────────────────────────────────────────┘

┌──────────────────────────────────────────────────┐
│ 可观测性层(Observability) │
│ Metrics(Prometheus)+ Logs(Loki)+ Traces(Jaeger)│
│ + 告警(Alertmanager / PagerDuty) │
└──────────────────────────────────────────────────┘

3.2 典型组合(A 方案:GitHub 一栈式)​

代码: GitHub Enterprise(自托管 GitHub Connect)
CI: GitHub Actions(含 self-hosted runner)
镜像: AWS ECR / Azure ACR / Harbor
CD: ArgoCD(K8s GitOps)
集群: EKS / AKS
可观测:Datadog 或 New Relic(商业)
或: Grafana Cloud(含 LGTM 栈)

4. 多环境与多集群​

4.1 环境分层​

环境用途数据谁能部署
dev开发者自测假数据任何人
stagingQA 测试 / 集成测试假数据或脱敏生产数据QA + 研发
pre-prod上线前最终验证脱敏数据Release Manager
prod生产真实数据自动化或人工审批

4.2 多集群​

50500 人通常 15 个生产集群:

- dev cluster(开发)
- staging cluster(QA)
- prod-east cluster(生产主)
- prod-west cluster(生产灾备/灰度)

管理方式:

工具特性
Rancher多集群 UI / 应用商店 / GitOps 引擎 Fleet
Cluster API声明式集群生命周期
Clusterpedia跨集群资源查询
ArgoCD ApplicationSet跨集群同一应用同步

5. 分支策略​

5.1 trunk-based(推荐小企业)​

main(主干,受保护)
├── feature/xxx(短命分支,1~3 天合并)
└── hotfix/xxx(紧急修复)

策略:
- 小批量合并,频繁集成
- 配合 feature flag 控制风险
- 不需要 release 分支

优势:CI/CD 简单、减少分支冲突

5.2 GitFlow(复杂产品 / 严格管控)​

main(生产)
├── develop(集成)
│ ├── feature/xxx
│ ├── release/x.x(冻结)
│ └── bugfix/xxx
└── hotfix/xxx(生产紧急修复)

适用:版本化产品(如 SDK、桌面软件)或者严格管控的金融场景

5.3 GitHub Flow(互联网产品)​

main
└── feature/xxx(提交 → PR → review → merge → 自动部署)

适用:互联网产品、SaaS、CD 工具链成熟

决策:

  • 持续交付 + 单一版本 → trunk-based
  • 多版本并存 → GitFlow
  • 团队只想用最简单的 → GitHub Flow

6. 服务网格与服务治理​

6.1 服务网格适用场景​

服务网格(Service Mesh)= 把服务间通信从应用层抽到基础设施层(sidecar)。

适用:

  • 服务数量 > 30
  • 多语言(Java / Go / Python / Node 混用)
  • 需要 mTLS、流量管理、可观测性而不改应用代码

不适用:

  • < 10 个服务
  • 单一语言已经能搞定

6.2 选型​

网格优势适用
Istio功能最全大型、复杂需求
Linkerd轻量、rust 数据面中小企业首选
Cilium Service Mesh内核层、eBPF、性能好云原生 + 网络要求高

中小企业推荐从 Linkerd 起步;规模上去再考虑 Istio。


7. 团队模型与组织​

7.1 Team Topologies(推荐)​

4 类团队:

┌───────────────────────────────────────────────────┐
│ Stream-aligned team(业务流团队) │
│ - 直接交付业务价值(5~9 人) │
│ - 包含:PM + 后端 + 前端 + QA(可能 oncall) │
└───────────────────────────────────────────────────┘
│ │
▼ ▼
┌──────────────────┐ ┌──────────────────────────┐
│ Platform team │ │ Enabling team │
│ - 提供 IDP │ │ - 帮业务团队能力建设 │
│ - Backstage │ │ - 教练 / SRE │
│ - CI/CD 模板 │ └──────────────────────────┘
└──────────────────┘

特殊:Complicated-subsystem team
- 处理复杂专门系统(ML、密码学、搜索引擎等)

7.2 SRE 团队规模​

依据 Google《Site Reliability Engineering》:

SRE 团队 = 50% ~ 100% × 研发团队总人数(业务复杂、可靠性要求高时更多)

50500 人技术团队,建议 SRE / 平台团队 515 人。


8. 监控与 SLO​

8.1 SLI/SLO 框架​

SLI(指标):例如「请求延迟 P99」
SLO(目标):例如「99.9% 请求延迟 P99 < 200ms」
SLA(协议):对客户的承诺,含后果

Error Budget = 1 - SLO
→ 错误预算消耗完时,冻结新功能发布,专注稳定性

8.2 推荐目标​

场景SLO 建议
Web API可用性 99.9% / 延迟 P95 < 200ms
Web API(强 SLA)可用性 99.95% / 延迟 P95 < 100ms
后台 Job完成率 99.5%(含重试)
数据 Pipeline当日完成率 > 95%

8.3 监控维度​

  • RED(服务):Rate / Errors / Duration
  • USE(资源):Utilization / Saturation / Errors
  • Four Golden Signals:Latency / Traffic / Errors / Saturation

工具:Prometheus + Grafana + Alertmanager(成熟自建);Datadog / New Relic / Grafana Cloud(商业 SaaS)


9. 安全与合规​

9.1 软件供应链安全(SLSA)​

级别含义
SLSA 1基础 CI、签名镜像
SLSA 2受控构建环境、签名证明
SLSA 3防篡改构建
SLSA 4双人审计、最高保障

建议小企业先到 SLSA 2。

9.2 安全工具链​

阶段工具
代码Snyk / CodeQL / GitGuardian(密钥检测)
镜像Trivy / Anchore / Clair
运行Falco / Tracee(运行时异常)
策略OPA / Kyverno / Gatekeeper
依赖Dependabot / Renovate
网络Cilium / Calico NetworkPolicy

9.3 合规模型​

标准适用
SOC 2通用 SaaS
ISO 27001行业通用
等保国内强制(按等级)
GDPR / CCPA涉及欧盟 / 加州用户
PCI-DSS涉及支付

10. 成本管理​

10.1 FinOps(云财务)​

3 大能力:

  1. Inform:成本可见(每服务、每团队)
  2. Optimize:节省成本(Spot 实例、预留实例、自动关停)
  3. Operate:组织流程(成本问责)

工具:

  • 云原生:KubeCost / OpenCost(开源)
  • 商业:CloudHealth / Vantage / Harness CCM

10.2 常见节省手段​

手段节省
Spot 实例60%~90%
预留 / Saving Plan30%~60%
自动关停 dev/staging60%~80%
镜像瘦身镜像分发时间 ↓
HPA + VPA弹性避免过度配置

11. 演进路线(24 个月建议)​

Month 1~3:基线
- Git 流程规范化
- CI 覆盖率达到 80%
- 接入基础监控(APM)

Month 4~6:标准化
- 镜像化所有服务
- 公共 Helm Chart / 模板
- IaC(Terraform)管云资源

Month 7~12:治理
- GitOps(ArgoCD)+ App-of-Apps
- SLO 全面定义
- 安全门禁(Trivy + Kyverno)
- Harbor 漏洞门禁

Month 13~18:平台化
- Backstage IDP
- 自服务化
- 共享 oncall 流程

Month 19~24:精进
- 混沌工程(Chaos Mesh / Litmus)
- 服务网格(如需要)
- AIOps / 容量规划
- DORA 指标达到 Elite

12. 一句话总结​

  • 50~500 人企业目标:稳 L3,进 L4
  • 主流方案:GitHub / GitLab / 自托管全开源 三选一
  • 架构关键:CI + 制品 + CD + 可观测 + SLO 五件套
  • 组织关键:业务流团队 + 平台团队 + SRE 文化
  • 演进路径:从痛点切入,不一上来就上服务网格 + IDP

标签:#docker #kubernetes #jenkins

运维生产方案总览(小企业级架构师视角)

· 阅读需 7 分钟

来自 I_Kubernetes基础笔记 ~ II_Jenkins_CICD实战笔记 的综合:架构选型、拓扑、部署顺序、容量估算、备份与安全。

适用规模:150 个业务服务 / 节点 1030 台 / 日请求 100w ~ 1000w。


1. 整体拓扑(屋顶图)​

┌───────────────────────────────────────────┐
│ 内网办公网 │
│ │
│ ┌──────────┐ ┌──────────────────┐ │
│ │ Gitea │ │ Harbor 镜像库 │ │
│ │ (Git) │ │ harbor.example │ │
│ └────┬─────┘ └────────┬─────────┘ │
│ │ push/PR │ pull │
│ ▼ ▼ │
│ ┌──────────────────────────────────────┐ │
│ │ Jenkins Controller │ │
│ │ (jenkins.example.com, K3s 上跑) │ │
│ └────────────────┬─────────────────────┘ │
│ │ 调度 │
│ ▼ (临时 Agent Pod) │
│ ┌────────────────────────┐ │
│ │ 业务 K3s 集群 │ │
│ │ ┌─────────────────────┐│ │
│ │ │ web / api / frontend ││ │
│ │ │ worker / jobs ││ │
│ │ └─────────────────────┘│ │
│ │ ┌─────────────────────┐│ │
│ │ │ postgresql / redis ││ │
│ │ │ (StatefulSet) ││ │
│ │ └─────────────────────┘│ │
│ └──────────────┬────────────┘ │
│ │ Longhorn │
│ ▼ │
│ ┌──────────────────┐ │
│ │ 块存储节点 │ │
│ └──────────────────┘ │
│ │
│ ┌───────────────────────┐ │
│ │ Rancher 管理控制台 │ │
│ │ rancher.example.com │ │
│ └───────────────────────┘ │
│ │
│ ┌──────────┐ ┌──────────────┐ │
│ │ Prometheus│ │ Grafana │ │
│ │ + Alertmgr│ │ (含仪表盘) │ │
│ └──────────┘ └──────────────┘ │
│ │
│ ┌──────────────────────────────────────┐ │
│ │ Loki + Promtail(日志) │ │
│ └──────────────────────────────────────┘ │
└───────────────────────────────────────────┘
│
▼ 公网(按需)
┌──────────────────────┐
│ 外部 DNS / LB │
│ + cert-manager │
└──────────────────────┘

2. 组件选型小结​

组件选型引用
K8s 发行版K3s(HA,3 server)III_K3s笔记
集群管理Rancher(Helm on K3s)IV_Rancher笔记
镜像仓库Harbor(Helm on K3s)Harbor笔记
CI/CDJenkins(Helm on K3s)+ K8s pluginI_Jenkins基础笔记 / II_Jenkins_CICD实战笔记
存储Longhorn单独文档(可选)
负载均衡servicelb(小)/ MetalLB(生产)单独文档
IngressNginx Ingress Controller单独文档
监控Prometheus + Grafana(kube-prometheus-stack)单独文档
日志Loki + Promtail单独文档
证书cert-manager + Let's Encrypt单独文档
GitOps(可选)ArgoCD单独文档

3. 服务器规划(小企业典型)​

**10 台机器(中型)**为示例。可视规模缩减/扩展。

角色数量机器规格(建议)备注
Rancher 控制台3 (HA)4C8G x3跑 Rancher + 内置数据库或外部 DB
K3s server (HA)34C8G x3业务集群 master
K3s worker38C16G x3跑 Pod
存储节点38C16G + 100G SSD x3Longhorn 卷副本
Harbor2 (主+备份)4C16G + 500G SSD x2跑 Harbor + 数据库
Jenkins2 (主备)4C8G x2跑 Jenkins + 调度 agent pod
Gitea12C4G x1Git 仓库
监控 + 日志24C16G x2Prometheus + Grafana + Loki
合计~19 台-含冗余

3.1 容量估算​

  • 每业务服务 K8s Pod 资源约:0.52C / 14G
  • 50 服务 × 3 副本 = 150 pod
  • 假设平均 1C/2G → 总需求 150C / 300G
  • worker 10 台每台预留 8C/16G → 足够
  • 存储需求:约 1T(DB)+ 500G(应用 logs)→ Longhorn 1.5T 起

3.2 网络规划​

用途CIDR
节点管理网192.168.1.0/24
存储网192.168.2.0/24
Service 网段(K3s 默认)10.43.0.0/16
Pod 网段10.42.0.0/16
MetalLB IP 池192.168.10.0/24

4. 部署顺序​

严格按以下顺序,前一阶段不稳别进下一阶段。

① 安装 K3s 集群(HA,3 server) ← 半天
↓
② 安装 Helm、kubectl、配置镜像加速 ← 1h
↓
③ 安装 Rancher(Helm on K3s) ← 2h
↓
④ 导入已有 K3s(如有) ← 1h
↓
⑤ 安装 cert-manager(Helm) ← 1h
↓
⑥ 安装 Longhorn(Helm) ← 2h + 副本验证
↓
⑦ 安装 MetalLB(可选,Helm) ← 1h
↓
⑧ 安装 Nginx Ingress Controller(Helm) ← 1h
↓
⑨ 安装 Harbor(Helm,持久化用 Longhorn) ← 2h + 推拉验证
↓
⑩ 安装 Gitea / 对接外部 Git ← 1h
↓
⑪ 安装 Jenkins(Helm,K8s plugin) ← 3h
↓
⑫ 安装 kube-prometheus-stack ← 3h
↓
⑬ 安装 Loki + Promtail ← 2h
↓
⑭ 安装 ArgoCD(可选,开启 GitOps) ← 2h
↓
⑮ 业务系统逐个迁移 ← 持续

5. 安全规范(必须)​

5.1 镜像安全​

  • ✅ 业务镜像全部推 Harbor(不直接用 Docker Hub)
  • ✅ Trivy 漏洞扫描:CRITICAL/HIGH 失败则门禁
  • ✅ 关键服务(生产)使用 Cosign 签名
  • ✅ 镜像镜像签名验证(Kyverno 策略)
  • ❌ 禁止 --privileged 容器

5.2 RBAC​

  • ✅ 业务 namespace 加 pod-security.kubernetes.io/enforce: restricted
  • ✅ 默认用户(Dashboard 默认 SA)不能直接用
  • ✅ Rancher 用 LDAP/OIDC 集成
  • ✅ Jenkins 用机器人账号(不用真实用户)

5.3 网络隔离​

  • ✅ 启用 NetworkPolicy(用 Calico/Cilium)
  • ✅ namespace 之间默认隔离;显式白名单
  • ✅ 内部服务不暴露 NodePort;走 Ingress

5.4 凭据管理​

  • ✅ 所有凭据走 Vault / ExternalSecrets
  • ✅ Jenkins 凭据走 JCasC + Credentials plugin
  • ✅ kubeconfig 最小权限:只为对应 namespace

6. 备份与恢复​

对象方法频率备注
K3s etcdk3s etcd-snapshot → S3每 6h自动
Harbor 数据backup.sh → S3每天含镜像 + 元数据 + 配置
Jenkins 数据ThinBackup → S3每天含 job + 凭据(加密)
Giteapg dump + 备份目录每天全量
业务数据库pg_dump / mysqldump每 1h + 全量每天与 Longhorn 快照结合
K8s manifestsGit(GitOps)持续真理之源
Longhorn 卷内置 Snapshot + S3每天防勒索

6.1 演练​

每季度做一次灾备演练:

  • 从零搭一个 K3s 集群
  • 导入最新 etcd snapshot → 集群数据恢复
  • 验证 Harbor / Jenkins / 业务服务的状态

7. 监控告警​

7.1 关键仪表盘(Grafana)​

  • K8s cluster overview
  • Node CPU/内存/磁盘/网络
  • Pod / Namespace 资源使用
  • 关键业务 QPS / 延迟 / 错误率
  • 镜像仓库容量 / 拉取速率
  • Jenkins Job 运行状态

7.2 告警项(Alertmanager)​

指标阈值
节点 CPU > 80%5min 持续 → 报警
节点内存 > 90%5min 持续
节点磁盘 > 85%立即
K8s Pod CrashLoopBackOff立即
K8s Pod OOMKilled立即
节点 NotReady2min 持续
镜像扫描 CRITICAL立即
Jenkins Job 失败立即
Longhorn 卷副本丢失立即
证书 7 天内过期1 天前提前通知

7.3 通知通道​

  • 飞书 / 钉钉(工作群)
  • 邮件(次要)
  • 值班 oncall 机器(PagerDuty / 自建系统)

8. 日志聚合​

8.1 Loki + Promtail 替代 ELK 的理由​

  • 资源占用小(10x)
  • 与 Grafana / Prometheus 集成天然
  • 适合「按 label 筛选」

8.2 落地​

helm repo add grafana https://grafana.github.io/helm-charts
helm install loki grafana/loki-stack \
--namespace logging \
--set promtail.enabled=true \
--set loki.persistence.enabled=true \
--set loki.persistence.storageClassName=longhorn \
--set loki.persistence.size=100Gi

应用内日志标准:

env:
- name: TZ
value: Asia/Shanghai
- name: LOG_LEVEL
value: info

应用写 stdout/stderr(不要写文件),Promtail 自动收集。


9. 持续维护清单​

9.1 每周​

  • 看 Grafana 仪表盘,确认无异常
  • 看 Jenkins Job 失败列表
  • 看 Cert-manager 证书过期列表

9.2 每月​

  • K3s / Rancher / Jenkins / Harbor 升级评估
  • etcd snapshot 演练
  • 镜像仓库清理(release 过期的 tag)
  • 容量评估(CPU / 内存 / 磁盘)

9.3 季度​

  • 全量灾备演练
  • 安全审计(过期凭据 / 未授权 RBAC)
  • 备份归档到冷存储

10. 从零到生产的 8 步实施路径​

step 1: 学习 + 本地 minikube / k3d [1 周]
↓
step 2: 部署 K3s 测试集群(1 server) [1 天]
↓
step 3: 部署 Rancher + 接入 K3s 集群 [2 天]
↓
step 4: 部署 Harbor + 配置镜像推送 [1 天]
↓
step 5: 部署 Jenkins + 第一个 Pipeline [3 天]
↓
step 6: 把一个非关键服务迁过来跑 [1 周]
↓
step 7: 优化:监控 + 日志 + 告警 [1 周]
↓
step 8: HA + 灾备 + 安全加固 [1 周]

全过程约 6~8 周 1 人投入(含学习)。


11. 一句话总结​

  • 小企业 K8s 选 K3s + Rancher,上手快、社区成熟
  • CI/CD 选 Jenkins(K8s plugin)+ Harbor + Kaniko + Trivy,生态最全、门禁最严
  • 把备份 / 监控 / 安全当基础设施而不是后期补救,按"日备、周演、月审计"做
  • GitOps 是省事省心的进阶,强烈推荐

12. 推荐参考阅读​

标签:#docker #kubernetes #harbor #jenkins