跳到主要内容

API 网关笔记

· 阅读需 10 分钟

由旧稿重写。原笔记仅有 2 个外部链接,本笔记系统介绍网关的定位、能力、与反向代理的区别,并给出一个可运行的 FastAPI 网关 Demo(4 个中间件 + 路由转发 + 完整流程图)。

鉴权与登录见 [[鉴权与登录笔记]];权限模型(Casbin / RBAC / ReBAC)见 [[权限模型与Casbin实践笔记]]。

目录​

  1. 什么是网关 + 为什么需要
  2. 网关核心能力清单
  3. 网关 vs 反向代理 vs Ingress vs Sidecar
  4. 网关选型(Kong / APISIX / Spring Cloud Gateway / 自研)
  5. Python FastAPI 网关 Demo 流程图
  6. 关键中间件实现要点
  7. 生产部署清单
  8. 网关常见坑
  9. 关联笔记

1. 什么是网关 + 为什么需要​

API 网关(API Gateway) 是系统的唯一对外入口,所有外部流量先经过网关,再到内部的具体服务。

1.1 为什么需要网关​

没有网关时:

[客户端 A] ──┐
[客户端 B] ──┼──► [用户服务] 各自要处理:鉴权、限流、CORS、日志…
[客户端 C] ──┼──► [订单服务] 重复代码散落在每个服务
└──► [商品服务]

有网关后:

[所有客户端] ──► [网关] ──► [用户服务 / 订单服务 / 商品服务]
│
└─ 统一处理:鉴权 / 限流 / 路由 / 日志

核心价值:

  • 统一入口:客户端只需对接网关
  • 集中治理:鉴权、限流、日志、安全策略一处实现
  • 解耦:客户端不感知后端服务的拆分 / 合并 / 替换
  • 安全:隐藏内部服务拓扑、过滤恶意请求

1.2 网关的常见别名​

  • Edge Service(边缘服务)
  • BFF(Backend For Frontend,为特定前端定制的网关层)
  • API Gateway(最常见)
  • Ingress(K8s 术语)

2. 网关核心能力清单​

能力说明
路由按 path / host / header / query 把请求分发到不同下游
鉴权JWT 校验、OAuth2 introspection、API Key 校验
限流按 IP / 用户 / 路径 / 租户维度限流
熔断下游超时或 5xx 比例超阈值时快速失败,避免拖垮
缓存缓存 GET 响应(Redis / 内存)
日志结构化访问日志、请求 ID 链路追踪
监控QPS / 延迟 / 错误率指标暴露(Prometheus)
协议转换HTTP → gRPC / WebSocket / GraphQL
CORS跨域统一处理
请求改写path 重写、header 注入、请求/响应体转换
安全WAF、防 SQL 注入、防爬虫、黑白名单

3. 网关 vs 反向代理 vs Ingress vs Sidecar​

类型定位典型
反向代理转发请求 + 负载均衡,运维层nginx / HAProxy
API 网关反向代理 + 业务层能力(鉴权/限流/灰度)Kong / APISIX / Spring Cloud Gateway
IngressK8s 中的网关抽象(标准 + 多种实现)Ingress-NGINX / Traefik / Contour
服务网格 Sidecar每个服务实例旁的代理(东西向流量)Envoy + Istio / Linkerd

关系:

  • 反向代理 ⊂ API 网关(网关 = 反向代理 + 业务能力)
  • Ingress ⊂ API 网关(Ingress 是 K8s 生态的网关实现)
  • Sidecar ≠ 网关(一个管南北向出口,一个管东西向内部通信,但都用 Envoy)

架构位置:

客户端 ──► [反向代理/LB] ──► [API 网关] ──► [微服务 A, B, C]
│
└──► [鉴权/限流/路由]

网关通常不和反向代理合并(除非追求极致简单):nginx 终止 TLS + 网关做业务, 是生产标配。


4. 网关选型​

场景推荐说明
小团队 / 学习 / 内部工具FastAPI 自研(见本文 demo)灵活、贴合业务、Python 全栈
中大型 / 多语言后端APISIX / KongLua 插件丰富、高性能、社区活跃
Spring 体系Spring Cloud Gateway集成 Spring 全家桶
K8s 流量入口Ingress-NGINX / Traefik标准 Ingress
云原生全功能Envoy + Istio Gateway服务网格统一
ServerlessAWS API Gateway / 阿里云 API 网关托管、免运维

自研网关的边界:流量不大 + 业务简单 + Python 技术栈 → 自研够用。 流量大 + 多团队 + 复杂路由 → 上 APISIX。


5. Python FastAPI 网关 Demo 流程图​

5.1 整体架构​

┌────────────────────┐
│ Client │
└──────────┬─────────┘
│ HTTPS
┌──────────▼─────────┐
│ TLS Termination │ ← nginx / 云 LB
└──────────┬─────────┘
│ HTTP
┌──────────▼─────────────────────────┐
│ Gateway (FastAPI) │
│ │
│ [Middleware 链] │
│ ① TrustedHostMiddleware │ 防 Host 注入
│ ② RequestContextMiddleware │ 生成 X-Request-ID
│ ③ RateLimitMiddleware │ 滑动窗口限流
│ ④ AuthMiddleware │ JWT 校验
│ ⑤ ReverseProxyMiddleware │ 路由转发
│ │
└──────┬──────────┬──────────┬─────────┘
│ │ │
/api/users /api/orders /api/products
│ │ │
┌──────▼──┐ ┌────▼───┐ ┌────▼────┐
│ User │ │ Order │ │Product │
│ Service │ │Service │ │ Service │
│ :9001 │ │ :9002 │ │ :9003 │
└─────────┘ └────────┘ └─────────┘

5.2 中间件顺序为什么重要​

先 add_middleware 的在外层(请求从外到内经过,响应反过来):

请求流: Client → ①TrustedHost → ②RequestContext → ③RateLimit → ④Auth → ⑤ReverseProxy → Downstream
响应流: Downstream → ⑤ → ④ → ③ → ② → ① → Client

错误顺序示例:

  • ❌ Auth 在 RateLimit 内:未鉴权的请求也消耗限流名额
  • ❌ ReverseProxy 在 Auth 内:未鉴权就转发到下游,下游要重复鉴权
  • ✅ 正确:限流在最外(早期丢弃)、鉴权居中(带 user 上下文)、转发在最内

5.3 关键路径​

1. TrustedHostMiddleware
- 检查 Host 头,拒绝恶意构造(如 Host: evil.com)
- 防 Host Header 注入

2. RequestContextMiddleware
- 生成/透传 X-Request-ID(链路追踪)
- 记录访问日志(method, path, status, latency)
- 请求耗时埋点

3. RateLimitMiddleware
- 按 (client_ip, path_prefix) 做滑动窗口
- 超限返回 429 + Retry-After
- 防止恶意刷接口

4. AuthMiddleware
- 解析 Authorization: Bearer xxx
- 校验 JWT 签名 / 过期 / 黑名单
- 把 user 信息挂到 request.state.user

5. ReverseProxyMiddleware
- 根据 path 前缀匹配 ROUTES 表
- 用 httpx 转发到下游
- 透传 X-Request-ID / X-User-Id / X-Forwarded-For

6. 关键中间件实现要点​

完整代码见 example/gateway/gateway.py。

6.1 RequestContextMiddleware(请求上下文)​

class RequestContextMiddleware(BaseHTTPMiddleware):
async def dispatch(self, request, call_next):
request_id = request.headers.get("X-Request-ID") or str(uuid.uuid4())
request.state.request_id = request_id
start = time.perf_counter()
response = await call_next(request)
elapsed_ms = (time.perf_counter() - start) * 1000
response.headers["X-Request-ID"] = request_id
logger.info("[%s] %s %s -> %s (%.1fms)",
request_id, request.method, request.url.path,
response.status_code, elapsed_ms)
return response

6.2 RateLimitMiddleware(滑动窗口限流)​

class RateLimitMiddleware(BaseHTTPMiddleware):
WINDOW_SEC = 60
MAX_REQS = 100
def __init__(self, app):
super().__init__(app)
self.buckets = defaultdict(deque)

async def dispatch(self, request, call_next):
key = (request.client.host, request.url.path.split("/")[1])
now = time.time()
bucket = self.buckets[key]
while bucket and bucket[0] < now - self.WINDOW_SEC:
bucket.popleft()
if len(bucket) >= self.MAX_REQS:
return JSONResponse({"detail": "Too Many Requests"},
status_code=429,
headers={"Retry-After": str(self.WINDOW_SEC)})
bucket.append(now)
return await call_next(request)

⚠️ 这是单进程内存版,多 worker / 多机要换 Redis(用 INCR + EXPIRE 实现)。

6.3 AuthMiddleware(JWT 校验)​

class AuthMiddleware(BaseHTTPMiddleware):
PUBLIC_PATHS = {"/health", "/", "/login"}

async def dispatch(self, request, call_next):
if request.url.path in self.PUBLIC_PATHS:
return await call_next(request)

auth = request.headers.get("Authorization", "")
if not auth.startswith("Bearer "):
return JSONResponse({"detail": "Missing bearer token"},
status_code=401)

try:
payload = jwt.decode(auth[7:], SECRET,
algorithms=["HS256"],
options={"require": ["exp", "sub"]})
request.state.user = payload
except jwt.InvalidTokenError as e:
return JSONResponse({"detail": f"Invalid token: {e}"},
status_code=401)
return await call_next(request)

6.4 ReverseProxyMiddleware(路由转发)​

class ReverseProxyMiddleware(BaseHTTPMiddleware):
def __init__(self, app, routes: dict[str, str]):
super().__init__(app)
self.routes = routes

async def dispatch(self, request, call_next):
upstream = self._match(request.url.path)
if not upstream:
return await call_next(request) # 网关自身路由

headers = dict(request.headers)
headers["X-Real-IP"] = request.client.host
headers["X-Request-ID"] = request.state.request_id
if hasattr(request.state, "user"):
headers["X-User-Id"] = str(request.state.user.get("sub"))

body = await request.body() # body 只能读一次

async with httpx.AsyncClient(timeout=30.0) as client:
try:
upstream_resp = await client.request(
method=request.method,
url=f"{upstream}{request.url.path}",
params=request.query_params,
headers=headers, content=body,
)
except httpx.RequestError as e:
return JSONResponse({"detail": f"Upstream error: {e}"},
status_code=502)

# 过滤 hop-by-hop headers(防双重压缩)
excluded = {"content-encoding", "content-length",
"transfer-encoding", "connection"}
resp_headers = {k: v for k, v in upstream_resp.headers.items()
if k.lower() not in excluded}
return Response(content=upstream_resp.content,
status_code=upstream_resp.status_code,
headers=resp_headers,
media_type=upstream_resp.headers.get("content-type"))

6.5 中间件装配​

app = FastAPI()
ROUTES = {
"/api/users": "http://127.0.0.1:9001",
"/api/orders": "http://127.0.0.1:9002",
}

app.add_middleware(RequestContextMiddleware) # 最外层:request_id
app.add_middleware(RateLimitMiddleware) # 限流
app.add_middleware(AuthMiddleware) # 鉴权
app.add_middleware(ReverseProxyMiddleware, # 转发
routes=ROUTES)

7. 生产部署清单​

7.1 必备​

  • ✅ TLS 终止:nginx / 云 LB
  • ✅ ProxyHeadersMiddleware(在 nginx 后取真实客户端 IP)
    from uvicorn.middleware.proxy_headers import ProxyHeadersMiddleware
    app.add_middleware(ProxyHeadersMiddleware, trusted_hosts="*")
  • ✅ 健康检查端点 /health(给 LB / k8s 用)
  • ✅ 优雅关闭(uvicorn 自带 SIGTERM 处理)
  • ✅ 多 worker(uvicorn --workers 4)—— 注意:内存版限流 / ConnectionManager 在 worker 间不共享

7.2 推荐​

  • 限流改 Redis(aioredis + 滑动窗口 Lua)
  • 熔断(tenacity + pybreaker,下游超时 / 5xx 自动隔离)
  • Prometheus 指标暴露(prometheus-fastapi-instrumentator)
  • 链路追踪(opentelemetry-instrumentation-fastapi)
  • 限流 / 鉴权策略热加载(不用重启网关)

7.3 网关也要高可用​

┌─ Gateway 1 ─┐
LB ───► │ │ ──► 下游服务
└─ Gateway 2 ─┘
  • 多实例 + 健康检查
  • 蓝绿 / 灰度发布(按权重切流量)
  • 配置中心统一管理(Consul / Nacos)

8. 网关常见坑​

坑现象修法
中间件顺序写反鉴权在限流前 → 未鉴权请求消耗限流名额按 5.2 顺序调整
没加 ProxyHeadersMiddleware网关看到的 IP 都是 127.0.0.1nginx 后必须加
body 读两次await request.body() 调两次,第二次空转发前缓存到局部变量
没过滤 hop-by-hop headerscontent-encoding 双重压缩 → 客户端解压失败过滤 content-encoding / transfer-encoding / connection
限流是内存版但多 worker单 worker 限流 100,整体可能是 400改 Redis 分布式限流
网关同步调用下游,下游慢拖垮网关网关全在等加超时 + 熔断 + 异步
忘记 CORS浏览器 OPTIONS 预检失败CORSMiddleware
网关无认证 / 公开 health 被攻击/health 等被恶意刷限流 + 只监听内网
路由冲突两个服务都用 /api/v1/userspath 前缀必须唯一
网关自身没限流网关被 DDoS 拖垮网关也要限流 + 入口 LB 抗 DDoS

关联笔记​

  • 鉴权流程(JWT / OAuth2 / 扫码):[[鉴权与登录笔记]]
  • 权限模型(拿到 token 后能做什么):[[权限模型与Casbin实践笔记]]
  • 反向代理 / TLS:[[nginx]](如已收录)
  • 容器编排(Ingress):[[I_Kubernetes基础笔记]]
  • 服务网格(Sidecar 形态的网关):[[DevOps基础与文化笔记]]

Demo​

完整可运行代码(FastAPI 网关 + 2 个模拟下游服务 + JWT 鉴权 + Casbin 权限检查 + 扫码登录):

标签:#fastapi

DevOps 基础与文化

· 阅读需 8 分钟

由旧稿重新整理版本。DevOps 系列共 3 篇:本文是概念与文化;小企业DevOps方案笔记 是50~500 人企业主流方案;DevOps工具链选型对比笔记 是工具链横向选型参考。旧稿目录已清理,当前以本文为准。


1. DevOps 是什么​

1.1 定义​

DevOps 是 Development(开发)+ Operations(运维)的合并缩写,是一套文化、实践与工具的组合,目标是缩短系统变更从提交到上线的时间,同时保证质量与稳定性。

核心思想:

  • 打破开发与运维之间的「墙」
  • 把交付过程自动化、可重复
  • 用反馈回路持续改进
  • 把可靠性当成产品的一部分(而非事后靠运维救火)

1.2 不是什么​

  • ❌ 不是某种职位(「DevOps 工程师」)— DevOps 是文化与实践,单设一个职位意味着 DevOps 失败
  • ❌ 不是某个工具(Jenkins / Docker / K8s 都只是支撑)
  • ❌ 不是只搞 CI/CD(CI/CD 只是其中一环)
  • ❌ 不是运维工程师 + 几个脚本

1.3 一句话总结​

DevOps = 让交付从「靠人堆」变成「靠系统自动化」,把责任从运维单独背变成开发从始至终一起承担。


2. DevOps 的核心价值​

2.1 三大指标(Westrum 指标 / DORA)​

Google DORA 团队对软件交付效能的多年研究总结出 4 个指标:

指标EliteLow含义
部署频率(Deployment Frequency)按需(一天多次)几个月一次发布节奏
变更前置时间(Lead Time for Changes)< 1h> 1 month从 commit 到 production
变更失败率(Change Failure Rate)0~15%46~60%上线后回滚或修复的比例
故障恢复时间(MTTR)< 1h> 1 month出问题到恢复

Elite vs Low 的企业,运营表现有 30~50 倍差距(事故数、可用性、业务连续性)。

2.2 商业价值​

  • 更快交付:小步快跑,缩短 idea-to-prod 周期
  • 更高稳定性:自动化测试 + 灰度发布 + 快速回滚
  • 更低成本:减少救火 SLA、减少返工
  • 更高研发幸福感:开发者不再怕上线、值班更有方向
  • 组织敏捷:应对市场变化更快

3. CALMS 框架​

CALMS 是 Damon Edwards 提出的 DevOps 文化框架:

字母含义体现
Culture文化跨职能合作、无指责复盘、共享 oncall
Automation自动化CI/CD、IaC、测试自动化、监控告警自动化
Lean精益减少浪费(小批量、限制在制品 WIP)
Measurement度量DORA 指标、SLI/SLO、用户业务指标
Sharing共享共享库、Wiki、复盘文档、内部技术会议

文化先行(C),技术与工具是支撑(ALMS)。只买工具不改文化 → 工具用不起来。


4. DevOps 成熟度模型​

按阶段划分(0~5):

级别名称特征
L0手动时代手动部署、手动测试、FTP 推代码
L1脚本化Bash 脚本、cron、基础监控
L2CI/CDJenkins/GitHub Actions 自动化构建+测试
L3IaC + 可观测Terraform/Ansible;Prometheus + Grafana;ELK
L4GitOps + 服务网格 + SLOArgoCD/Flux;Istio;SLO 管理;灰度发布
L5自服务 IDP + AIOpsBackstage 内部开发者平台;自动扩缩容;AIOps 异常检测

小企业(50~500 技术人员)目标:稳定 L3,争取 L4。L5 是巨型企业的游戏。


5. DevOps vs SRE vs Platform Engineering​

近年来兴起的几个相邻概念容易混淆:

5.1 DevOps​

  • 范围:文化 + 工具 + 实践
  • 关注点:整个交付链路
  • 组织意义:跨职能合作
  • 负责人:人人(不是某个团队)

5.2 SRE(Site Reliability Engineering,源自 Google)​

  • 范围:生产环境的可靠性工程
  • 关注点:SLO/SLA、错误预算(Error Budget)、oncall、事后复盘(Postmortem)
  • 角色:SRE Engineer(实际岗位)
  • 经典指标:可用性 MTTR MTBF
  • 典型实践:
    • SLO 定义(99.9% 可用 = 每月允许 43 分钟宕机)
    • Error Budget 消耗 100% 后,冻结发布
    • Toil(手动工作)控制
  • 与 DevOps 的关系:SRE 是 DevOps 在「运营可靠性」方向的具体落地

5.3 Platform Engineering(平台工程,2022+ 兴起)​

  • 范围:搭建内部开发者平台(IDP)
  • 关注点:让开发者自助完成常见任务(新服务创建、CI 模板、部署、监控接入)
  • 代表工具:Backstage(Spotify 开源 IDP)
  • 与 DevOps 的关系:当 DevOps 文化成熟后,组织会自然演化出"平台团队"专门搭建 IDP
  • 与 SRE 关系:平台工程给开发者自助工具,SRE 确保生产可靠性

5.4 三者关系图​

┌──────────────────────────┐
│ DevOps(文化层) │
│ 跨职能协作 / 反馈 │
└──────────┬───────────────┘
│
┌────────────┴────────────┐
▼ ▼
┌──────────────────┐ ┌──────────────────────┐
│ SRE(可靠性层) │ │ Platform Eng(平台层)│
│ SLO / oncall / │ │ Backstage / IDP / │
│ postmortem │ │ 自服务化 │
└──────────────────┘ └──────────────────────┘

实际分工:DevOps 是思想,SRE 把「可靠性」做到极致,Platform Eng 把「自助化」做到极致。一个组织往往三者都有。


6. DevOps 与周边概念的关系​

6.1 Agile(敏捷)​

  • 关注需求与产品迭代(Scrum / Kanban)
  • DevOps 关注开发到上线的链路
  • 二者互补:Agile 解决「做正确的事」,DevOps 解决「正确地做事」

6.2 Lean(精益)​

  • 起源于丰田生产方式
  • DevOps 的"L"(Lean):减少浪费(WIP)、缩短反馈
  • 核心观点:构建质量(Build Quality In),而非事后检测

6.3 持续集成(CI)​

  • 频繁合并代码到主干,每次合并自动跑构建+测试
  • 目标:早发现集成问题
  • 是 DevOps 的"A"(Automation)层的一环

6.4 持续交付 / 持续部署(CD)​

  • Continuous Delivery:代码任何时候都可发布(人工决定何时发布)
  • Continuous Deployment:自动化通过所有测试后自动发布到生产
  • 与 CI 是同源概念

6.5 GitOps(详见 II_Jenkins_CICD实战笔记 / 小企业DevOps方案笔记)​

  • 以 Git 为单一真相源
  • 通过 PR/MR 改动生产环境
  • ArgoCD/Flux 是事实标准工具

7. 小企业(50~500 人)做 DevOps 的现实路径​

7.1 当前痛点​

  • 产品迭代快,部署频率赶不上
  • 服务一多,环境/版本混乱
  • 故障定位慢,SLA 压力大
  • 团队各自为政,没有标准化

7.2 落地顺序(按 ROI 由高到低)​

阶段 1(基础):
- Git 工作流规范化(trunk-based 或规范化的 GitFlow)
- CI 流水线(PR 触发自动测试 + 自动化单测)
- 基础监控(接入 APM、链路追踪)

阶段 2(演进):
- 镜像化所有服务 + K8s 容器化
- CD 流水线(自动推镜像、自动部署)
- IaC(Terraform 管理云资源)

阶段 3(治理):
- GitOps(ArgoCD + App-of-Apps)
- SLO 管理 + Error Budget 流程
- 安全门禁(Trivy、OPA、镜像签名)

阶段 4(平台化):
- Backstage IDP
- 内部共享库、模板化新服务
- AIOps、混沌工程、灰度发布

不要一上来就上服务网格 + IDP,从最痛点(部署慢 / 故障多)切入。

7.3 关键组织变化​

  • 运维团队转型:从「纯救火」变「平台建设 + SRE 兼 SRE 思路」
  • 开发承担 oncall:共同对生产负责
  • 建立 blameless postmortem 文化:复盘不追责,找系统问题
  • 共享指标:DORA 4 指标透明、考核按团队而非个人

8. 组织/团队模型​

8.1 反向康威定律​

康威定律:"系统结构反映组织沟通结构"。

DevOps 时代常反向:先决定系统/团队结构,反过来调整组织:

  • 微服务 = 小团队 + 全栈:每个服务由一个 5~9 人小队全权负责(含 oncall)
  • 平台团队:构建 CI/CD 模板、可观测性、镜像仓库
  • 产品团队:聚焦业务,平台能力由平台团队提供

8.2 经典模型​

模型来源适用
Spotify 模型Spotify大型、矩阵化、产品线多
Team TopologiesSkelton & Pais演化出 4 种团队类型:业务流、平台、赋能、复杂子系统
SRE 拓扑Google强 oncall 流程
Platform Engineering2022+ 兴起自服务化优先

Team Topologies 4 类:

  • Stream-aligned team:业务流团队(按业务价值流)
  • Platform team:提供 IDP
  • Enabling team:传帮带
  • Complicated-subsystem team:复杂专门系统(如 ML 平台)

9. 一句话总结​

  • DevOps = 文化(CALMS)+ 自动化 + 度量 + 共享
  • 目标:DORA 4 指标达到 Elite(部署频率高 / 前置时间短 / 变更失败率低 / MTTR 短)
  • 区分 DevOps / SRE / Platform Engineering:文化 / 可靠性 / 自服务
  • 小企业落地分阶段,从痛点切入(CI + 监控),再演进到 L3~L4(IaC + GitOps)

标签:#docker #kubernetes #jenkins #git

DevOps 工具链对比笔记

· 阅读需 8 分钟

来自 小企业DevOps方案笔记 的延伸:按领域横向对比 8 个细分赛道的开源与商业选型。


1. 代码托管(Source Code Management)​

工具类型简介适用
GitHub商业/SaaS + 自托管 EE最广泛的代码托管 + PR + Actions几乎全员
GitLab CE开源自托管"一体化平台"数据本地化、自托管
GitLab EE商业CE + 安全/合规等高级能力大企业、有预算
Gitea开源/轻量用 Go 写的迷你 GitHub资源受限、要轻量
Forgejo开源Gitea 的社区分叉同上、避免 Gitea 商业化
Bitbucket商业/SaaSAtlassian 生态已用 Jira 的团队
Codeberg开源/SaaS公益型 Forgejo个人/小团队
Sourcehut开源/SaaS无 JS、邮件驱动极简主义者

选型建议:

  • 主流 SaaS 团队 → GitHub
  • 自托管 / 数据本地化 → GitLab CE 或 Gitea
  • 阿里云/腾讯云生态 → CodeUp / TAPD
  • 已用 Jira → Bitbucket

2. CI(持续集成)​

工具类型简介适用
GitHub ActionsSaaS + 自托管 runner内置GitHub 生态
GitLab CI内置自托管 / SaaSGitLab 生态
Jenkins开源/Java最老牌、插件最多高度可定制
Drone开源/Go容器化、易上手中小项目
Woodpecker开源Drone 的社区分叉同上
Tekton开源/Cloud NativeK8s 原生、CIDRK8s 重度用户
CircleCISaaS老牌、性能好大 monorepo
BuildkiteSaaS + 自托管 agent灵活、CI as Code私有化
Argo Workflows开源K8s 原生工作流不只是 CI
TeamCity商业JetBrains 出品Kotlin/Java 团队

选型建议:

  • 已用 GitHub → GitHub Actions(小项目)
  • 已用 GitLab → GitLab CI
  • K8s 重度 + 复杂流水线 → Tekton / Argo Workflows
  • 复杂自定义 + 大量 plugin → Jenkins
  • 中小团队 + 简单 + 容器原生 → Drone / Woodpecker

3. CD(持续部署)​

工具类型简介适用
ArgoCD开源K8s GitOps 事实标准K8s 首选
Flux CD开源GitOps Toolkit,比 ArgoCD 轻同上
Spinnaker开源/Netflix 出品多云部署、复杂发布策略大型多云
Harness商业一站式 CD中大型
Codefresh商业K8s CDK8s 中型
Octopus Deploy商业传统应用部署.NET / 老系统
Flagger开源ArgoCD 配套、灰度发布K8s + Argo

选型建议:

  • 用 K8s → ArgoCD(最稳)
  • K8s + 需要轻量 → Flux
  • 多云 + 复杂发布 → Spinnaker
  • 商业、省心 → Harness

4. IaC(基础设施即代码)​

工具类型简介适用
Terraform商业(MPL)行业标准多云
OpenTofu开源Terraform 1.5+ 的开源分叉避免 HashiCorp 许可变更
Pulumi开源/商业用编程语言(TS/Go/Python)写 IaC程序员友好
Ansible开源配置管理 / 简单编排配置管理、轻 IaC
CloudFormation商业(AWS 专)AWS 原生AWS 单一云
ARM Template商业(Azure 专)Azure 原生Azure 单一云
CDK商业CloudFormation 的编程版本程序员
Crossplane开源K8s 原生管理云资源K8s 生态
Helm开源K8s 应用打包K8s 部署

选型建议:

  • 多云 → Terraform / OpenTofu
  • 单一云(AWS) → CloudFormation / CDK
  • 程序员团队 → Pulumi
  • 配置管理、运维自动化 → Ansible
  • K8s 应用 → Helm + Kustomize

5. 容器镜像与制品库(Artifacts)​

工具类型简介适用
Harbor开源/CNCF容器镜像 + 漏洞扫描 + 复制首选(见 Harbor笔记)
AWS ECR商业AWS 容器镜像AWS 单云
Azure ACR商业Azure 容器镜像Azure 单云
GCP Artifact Registry商业GCP 镜像GCP 单云
Docker HubSaaS公有公开镜像
Nexus Repository商业/OSS容器 + Maven + npm + PyPI 全能多语言
Artifactory商业最全商业重型
GitHub PackagesSaaS与 GitHub 集成GitHub 用户

选型建议:

  • 多语言、大企业 → Nexus Repository / Artifactory
  • 纯容器镜像 → Harbor
  • 单一云 → 用云厂商的(ECR/ACR)
  • GitHub 项目 → GitHub Container Registry

6. 可观测性(Observability)​

6.1 Metrics​

工具类型简介
Prometheus开源K8s 监控事实标准
VictoriaMetrics开源高性能 Prometheus 替代
Thanos开源Prometheus 长期存储
Cortex开源Prometheus 集群方案
InfluxDB开源时序数据库
DatadogSaaSSaaS 一体化
New RelicSaaS老牌 APM
DynatraceSaaS企业级自动化
Splunk ObservabilitySaaS来自 Splunk
CloudWatch商业AWS 原生
Azure Monitor商业Azure 原生

6.2 Logs​

工具类型简介
Loki开源Grafana 全家桶
ELK Stack开源经典(Elasticsearch + Logstash + Kibana)
OpenSearch开源ES 分叉(合规)
Grafana Enterprise Logs商业Grafana 商业版
Splunk商业商业重型
Datadog LogsSaaS商业

6.3 Traces​

工具类型简介
Jaeger开源CNCF 毕业
Tempo开源Grafana 出品
Zipkin开源老牌(Twitter)
OpenTelemetry开源/CNCF标准化采集 SDK
Datadog APMSaaS商业
New Relic APMSaaS商业

6.4 整合方案​

  • Grafana Stack(LGTM + Prometheus):最常见的自建
  • Datadog:一体化 SaaS
  • New Relic:一体化 SaaS
  • Dynatrace:企业级

选型建议:

  • 完全自建、Grafana + Loki + Tempo + Prometheus
  • 省心、大预算 → Datadog
  • 多云混合 → Dynatrace
  • Java 重 → New Relic

7. 告警(Alerting)​

工具类型简介
Alertmanager开源Prometheus 标配
Grafana Alerting开源Grafana 内置
Grafana OnCall开源/商业值班调度
PagerDutySaaS值班调度之王
OpsGenieSaaS现被 Atlassian 收,集成 Jira
钉钉 / 飞书 / 企微 机器人SaaS国内常用 webhook
Telegram / SlackSaaS国际常用
Pager开源老牌,PagerDuty 替代品

8. 安全(Security Toolchain)​

8.1 代码 SAST​

工具类型简介
CodeQL开源/商业GitHub 内置
Snyk Code商业多语言
SonarQube开源/商业自托管经典
Semgrep开源轻量规则引擎
Bandit开源Python 专用
gosec开源Go 专用
Checkov开源IaC 安全(Terraform)

8.2 镜像 / 容器​

工具类型简介
Trivy开源全能扫描器(见前文)
Snyk Container商业商业加固
Clair开源/CNCF静态分析
Anchore开源/商业深度合规
Docker ScoutSaaSDocker 官方

8.3 运行时​

工具类型简介
Falco开源/CNCF运行时安全(syscall)
Tracee开源eBPF 运行时安全
Tetragon开源Cilium 出品 eBPF
Aqua Security商业重型商业
Prisma Cloud商业Palo Alto

8.4 策略 / 合规​

工具类型简介
OPA开源策略引擎(Rego)
Gatekeeper开源OPA in K8s
Kyverno开源K8s 策略,YAML 友好
Conftest开源OPA CLI 测试
Falco Rules开源Falco 默认规则

8.5 密钥 / Secret​

工具类型简介
HashiCorp Vault开源业界标准
Sealed Secrets开源Bitnami 出品
External Secrets Operator开源集成云厂商 Secrets
AWS Secrets Manager商业AWS 集成
Azure Key Vault商业Azure 集成

8.6 依赖​

工具类型简介
DependabotSaaSGitHub 内置
Renovate开源自托管 / SaaS
Snyk Open Source商业含已知漏洞库
OWASP Dependency-Check开源Java/Node/.NET

选型建议:

  • 小企业最小集:Trivy + Renovate/Dependabot + Vault + Kyverno
  • 中型:+ Snyk + Falco + OPA

9. 服务网格(Service Mesh)​

工具类型数据面
Istio开源/EnvoyEnvoy(功能最强)
Linkerd开源/ConduitLinkerd-proxy(轻量)
Consul Connect商业/HashiCorpEnvoy
Cilium Service Mesh开源eBPF(内核)
Kuma开源Envoy
AWS App Mesh商业Envoy

选型建议:

  • 中小规模 → Linkerd(轻量) 或 Cilium(性能)
  • 大规模 + 复杂 → Istio
  • 单云 + 已用 ASM → AWS App Mesh

10. 多集群管理(Multi-Cluster Orchestration)​

工具类型简介
Rancher开源/商业见 IV_Rancher笔记
Cluster API开源/K8s sig声明式 K8s 集群生命周期
Clusterpedia开源跨集群查询
ArgoCD ApplicationSet开源ArgoCD 多集群部署
RafaySaaS/商业企业级
NirmataSaaS/商业企业级

11. 平台工程 / IDP​

工具类型简介
Backstage开源/CNCFSpotify 出品,事实标准
CompassSaaSAtlassian
PortSaaS商业
CortexSaaS商业
Roadmap.sh开源/Wiki简单

12. 混沌工程(Chaos Engineering)​

工具类型简介
Chaos Monkey开源/Netflix杀实例
Chaos Mesh开源/PingCAPK8s 混沌
LitmusChaos开源/CNCFK8s 混沌
GremlinSaaS商业
ChaosBlade开源/阿里国内通用

13. 选型速查(按主题一图一表)​

代码: GitHub / GitLab CE / Gitea
CI: GitHub Actions / GitLab CI / Tekton / Jenkins
CD: ArgoCD / Flux / Harness
IaC: Terraform / OpenTofu / Pulumi
镜像: Harbor / ECR / Nexus
日志: Loki / ELK
指标: Prometheus + Grafana
链路: Tempo / Jaeger / OpenTelemetry
告警: Alertmanager + PagerDuty / 飞书
镜像扫描:Trivy / Snyk
运行时:Falco / Tetragon
策略: Kyverno / OPA
密钥: Vault
Mesh: Linkerd / Istio / Cilium
多集群:Rancher / ClusterAPI
IDP: Backstage
混沌: Chaos Mesh / Litmus

14. 一句话总结​

  • 小企业:开源工具够用,重点在整合而非单一工具好坏
  • 17 个细分领域只是参考,实际企业只用到 5~8 个核心
  • 选型原则:
    1. 先用主流(Jenkins / ArgoCD / Trivy / Prometheus),少创新
    2. 自托管 vs SaaS 看团队规模与合规
    3. 工具要统一生态(如 Grafana 全家桶 / Datadog 一体化)
    4. 可替换性:每层解耦,避免绑死某家

标签:#git #docker #kubernetes #jenkins

Django + FastAPI 秒杀系统课程

· 阅读需 1 分钟

由旧稿整理而来,内容未改,仅做结构与排版优化。旧稿目录已清理,当前以本文为准。

本笔记是网课资料汇总:课程观看入口 + 配套课件(语雀文档)+ 课程代码(百度网盘)。


1. 课程观看​

项链接
网易云课堂https://study.163.com/course/courseMain.htm?courseId=1213775829&_trace_c_p_k2_=a0edcec470e944d58a10b7445ae6e84e

2. 配套课件(语雀)​

全部为知了传课 / 知了课堂的语雀文档,对应模块密码见表格。

#模块课件链接文档标题访问密码
1异步 Djangohttps://www.yuque.com/hynever/async-django异步 Django 课件ra32
2微服务https://www.yuque.com/hynever/micro-service知了传课 - 微服务ancc
3FastAPIhttps://www.yuque.com/hynever/wms8gi知了传课 - FastAPIpuvz
4uniapphttps://www.yuque.com/hynever/uniapp知了课堂 - uniapp 课件kri4
5电商秒杀项目实战https://www.yuque.com/hynever/shtqfp知了课堂 - 电商系统实战zy6l

3. 课程代码(百度网盘)​

项内容
链接https://pan.baidu.com/s/19Pg3LWTjoqYhjRl1kWcjpw?pwd=gxem
提取码gxem

标签:#django #fastapi #redis #celery

LLM 评测框架对比笔记(OpenCompass vs EvalScope)

· 阅读需 15 分钟

本文目的:作为 OpenCompass笔记 和 EvalScope笔记 的对比与汇总文档,避免内容重复。本笔记专注于横向对比 + 选型决策 + 生产流程模板。 单框架细节请直接查阅两份单框架笔记。

阅读地图​

§主题一句话定位
1定位差异学术权威 vs 一站式
2共同点5 项基础能力两框架均支持
3差异表(核心)10 维度 × 2 框架对比
4选型决策树8 类场景 → 推荐框架
5互操作与混合部署EvalScope 把 OpenCompass 封装为后端
6标准生产评测流程7 步流水线(通用模板)
7自定义数据集的标准化流程JSONL / prompt template / 后处理
8报告关键指标清单8 项必备字段
9常见踩坑6 类典型问题
10业界生产实践HF Leaderboard / LMSYS Arena / HELM / Llama / Qwen
11来源链接全部参考链接按章节分组

1. 定位差异​

框架厂商定位关键差异
OpenCompass上海 AI Lab / 书生·浦语学术权威纯文本评测CompassKit + CompassHub + CompassRank + CompassAcademic 四件套;学术榜单(C-Eval / SuperBench)官方维护
EvalScope阿里魔搭(ModelScope)一站式:评测 + 压测 + Arena + 可视化把能力评测与推理性能压测整合到同一工具链;与 ms-swift 训练链路深度整合

一句话:学术榜单用 OpenCompass,生产一体化用 EvalScope。


2. 共同点​

两份框架都具备以下基础能力:

能力OpenCompassEvalScope
本地模型评测✅ HF / LMDeploy / vLLM backend✅ --eval-type llm_ckpt
远程 API 模型评测✅ OpenAI 兼容✅ openai_api / anthropic_api / litellm / custom
OpenAI 兼容协议✅✅(强项,5 种 eval-type)
LLM-as-Judge✅✅(4 种 judge-strategy)
自定义数据集✅ BaseDataset + yaml✅ 4 种模板 + CollectionSchema
分布式评测✅ Slurm / DLC✅ 依赖底层推理后端(vLLM TP)
与 vLLM / SGLang 集成✅ 通过 backend / API✅ 通过 --api-url
断点续跑✅ -r✅ --use-cache
报告格式CSV / Markdown / 雷达图JSON / HTML / Web Dashboard / Wandb

3. 差异表(核心)​

3.1 能力覆盖​

维度OpenCompassEvalScope
内置 benchmark 数60+191
多模态支持❌ 纯文本(需配合 VLMEvalKit)✅ Native 后端开箱支持 40+ VLM
Function Calling / Agent❌ 需自定义✅ Native Agent + 沙箱
性能压测(TTFT/TPOT)❌✅ evalscope perf(与 vllm bench 一致)
Arena 对战❌✅ general_arena + WinRate + Elo
Web Dashboard❌ 离线报告✅ evalscope service 端口 9000
权重采样多数据集混合❌ 需手动配置✅ CollectionSchema(Weighted / Stratified / Uniform)
服务化(REST API)❌✅ evalscope service
可视化后端集成❌✅ Wandb / SwanLab / Clearml

3.2 工程能力​

维度OpenCompassEvalScope
后端选择HF / LMDeploy / vLLM / OpenAI APIHF / vLLM / OpenAI API / Anthropic API / LiteLLM / Custom
CLI 参数丰富度中(run.py + 20 参数)高(evalscope eval + 30+ 参数)
Python SDKConfig-driven(yaml/python)TaskConfig 对象 + dict + YAML + JSON 四种
集成 OpenCompass 作为后端—✅ ms-opencompass
集成 VLMEvalKit 作为后端❌✅
集成 RAGEval(MTEB/RAGAS)❌✅
集成 ms-swift 训练链路❌✅ 官方 best_practice

3.3 生态与社区​

维度OpenCompassEvalScope
GitHub Star7.1k3k+
主导厂商上海 AI Lab(学术派)阿里魔搭(工业派)
主流用户InternLM 系列、Llama 官方推荐Qwen 系列发版、阿里云百炼
学术榜单CompassRank、C-Eval、SuperBench—
国内可达性✅(国内源友好)✅(默认走 ModelScope)
国际学术引用中等(HF Open LLM Leaderboard 引用少)中等
Meta Llama 官方背书✅ 推荐—

3.4 文档与上手​

维度OpenCompassEvalScope
官方文档完整度高(中文 doc.opencompass.org.cn + 英文 docs/en)高(docs/zh + docs/en 双语,README 详细)
配置文件方式YAML / Python Config(Config-driven)YAML / JSON / Python Dict / TaskConfig 对象
典型配置行数30~60 行(model + dataset + 评测方式分开)10~20 行(TaskConfig 一站式)
debug 模式--debug(每个 dataset 取前 N)--debug / --dry-run / --limit
可视化报表viz_multi_model.py 雷达图HTML / Web Dashboard / Wandb

4. 选型决策树​

按场景给推荐(结合两份框架的实际能力):

你测什么模型?测什么场景?
│
├─ 中文 Qwen 系列发版评测
│ → EvalScope(官方 best_practice,ms-swift 集成)
│
├─ 英文 / 多语 Llama 系列发版评测
│ → OpenCompass(Meta 官方推荐,学术权威)
│ 或 EvalScope(如果需要 perf 压测 + Arena)
│
├─ 中文 InternLM / DeepSeek 系列
│ → OpenCompass(学术榜单)或 EvalScope(国内友好)
│
├─ 通用学术榜单对比(C-Eval / MMLU / SuperBench)
│ → OpenCompass(CompassRank 一键发布)
│
├─ 多模态(VLM)
│ → EvalScope Native 后端(40+ VLM benchmark 开箱)
│ 或 EvalScope + VLMEvalKit 后端
│
├─ Function Calling / Agent 评测
│ → EvalScope(BFCL / ACEBench / τ-bench / GAIA)
│
├─ 推理性能压测(TTFT/TPOT)
│ → EvalScope perf(与 vllm bench 一致)
│ 或 vllm bench serve(更直接)
│
├─ Arena 双盲对战
│ → EvalScope general_arena
│ 或 LMSYS Chatbot Arena(公开数据)
│
├─ RAG / Embedding 评测
│ → EvalScope RAGEVal 后端(MTEB / RAGAS)
│
├─ 国内离线环境
│ → EvalScope(默认 ModelScope Hub,国内可达性最好)
│
└─ 纯文本 / 简单基座评测
→ OpenCompass(轻量、学术权威)

4.1 选择清单​

场景推荐框架理由
阿里 Qwen 系列发版EvalScope官方 best_practice,ms-swift 闭环
Meta Llama 系列发版OpenCompassMeta 推荐,学术权威
InternLM 系列OpenCompass / EvalScope都可,OpenCompass 学术榜单加分
中文 VLM 模型EvalScopeNative 后端开箱 40+ 多模态 benchmark
Function Calling 模型EvalScopeBFCL / ACEBench / τ-bench 完整覆盖
Agent 类应用(GAIA / SWE-bench)EvalScopeDocker 沙箱 + ReAct 全套
推理服务压测EvalScope perf与 vllm bench 一致,输出指标语义对齐
内部模型竞品对比EvalScope general_arenaWinRate + Elo + 双盲
RAG 系统评估EvalScope RAGEValMTEB / RAGAS 内置
C-Eval / SuperBench 上榜OpenCompassCompassRank 一键发布
纯文本基座快筛OpenCompass(HF / LMDeploy backend)轻量、配置直观
纯英文开源模型对标OpenCompass(学术)或 EvalScope(生产)看使用场景

5. 互操作与混合部署​

5.1 EvalScope 把 OpenCompass 封装为后端​

EvalScope 通过 --eval-backend OpenCompass + --eval-config <yaml> 直接复用 OpenCompass 的所有配置:

# 用 OpenCompass 的 yaml 跑 EvalScope
evalscope eval \
--model Qwen/Qwen2.5-7B-Instruct \
--eval-backend OpenCompass \
--eval-config configs/opencompass_eval.py \
--datasets mmlu ceval gsm8k

来源:opencompass_backend.md

5.2 OpenCompass 也能调 OpenAI 兼容远程服务​

# OpenCompass 用 OpenAI backend 接 vLLM 起的服务
models = [dict(type='openai', abbr='vllm-qwen', model='qwen2.5',
key='EMPTY', api_base='http://127.0.0.1:8801/v1')]

5.3 指标口径差异​

维度OpenCompassEvalScope
输出主表summary_*.csvreports/*.json
可视化viz_multi_model.py 雷达图HTML / Web Dashboard / Wandb
子指标细分自动按子集分桶subset_list 选 / 五层聚合视角
Judge 模型配置LLMJudgeEvaluator--judge-model-args JSON
Arena 模式❌general_arena + WinRate + Elo

实操建议:两框架产出的指标可以并存(同一份数据集跑两遍,分别看 OpenCompass 的学术报告 + EvalScope 的工程报告)。不要试图做"指标换算",直接以报告为准。


6. 标准生产评测流程(通用模板)​

适用于两个框架的 7 步流水线:

┌──────────────────────────────────────────────────────┐
│ 1. 模型准备 │
│ ├─ 本地:HF / vLLM / LMDeploy / ms-swift 部署 │
│ └─ 远程:OpenAI 兼容 API(vLLM / SGLang / DashScope)│
├──────────────────────────────────────────────────────┤
│ 2. 数据集准备 │
│ ├─ 内置 benchmark(OpenCompass 60+ / EvalScope 191)│
│ ├─ 自定义 JSONL │
│ └─ HF / ModelScope Hub 直接复用 │
├──────────────────────────────────────────────────────┤
│ 3. 评测执行 │
│ ├─ 并发:--max-num-workers / --eval-batch-size │
│ ├─ 超时:框架默认 + 自定义 retry │
│ └─ 容错:--ignore-errors / --use-cache │
├──────────────────────────────────────────────────────┤
│ 4. 结果汇总 │
│ ├─ 框架内置 metric │
│ ├─ 子集分析:按学科 / 任务 / 语言切分 │
│ └─ 失败样本回写 raw JSONL(便于二次分析) │
├──────────────────────────────────────────────────────┤
│ 5. 报告产出 │
│ ├─ CSV / JSON / Markdown │
│ ├─ HTML / Web Dashboard / Wandb │
│ └─ 可视化对比(雷达图 / 柱状图) │
├──────────────────────────────────────────────────────┤
│ 6. 对比分析 │
│ ├─ 与 baseline(同系列旧模型 / 竞品 / 闭源对照) │
│ └─ 历史回归(防止新版本回退) │
├──────────────────────────────────────────────────────┤
│ 7. 归档与回溯 │
│ ├─ 评测快照:commit id + dataset hash + model rev │
│ ├─ temperature / max_tokens / prompt hash 锁定 │
│ └─ 可复现命令归档 │
└──────────────────────────────────────────────────────┘

6.1 推荐落地的最小可用模板​

时间数据集组合框架
第一周(baseline)MMLU + GSM8K + IFEval + HumanEval pass@1(每个 ~500 条子样本)OpenCompass 或 EvalScope
第二周(扩展)加 HellaSwag / ARC / C-Eval / LiveCodeBench / MT-BenchEvalScope(数据齐全)
第三周(生产化)Bad Case 抽样 / 评测快照(commit 锁定)/ CI 化回归EvalScope(service 模式)+ CI
第四周(对比与文档)Arena 评测(多模型对比)/ Wandb 可视化 / 报告沉淀EvalScope general_arena

7. 自定义数据集的标准化流程​

7.1 格式选型​

格式优点缺点适用
JSONL流式评测、错误隔离、字段灵活文件大、需手工切分绝大多数场景首选
CSV表型结构清晰仅扁平字段、嵌套困难MCQ 等扁平结构
HF Dataset复用 HF 预处理流水线依赖 datasets 库已有 HF 流水线

7.2 Prompt Template 设计​

类型示例适用
Zero-shot请回答:{question}模型默认能力测试
Few-shot固定 n-shot 例子(C-Eval / MMLU 默认 5-shot)标准化榜单
CoT让我们一步步思考:...推理类(GSM8K / MATH 显著)

7.3 Ground Truth 字段设计​

必须显式定义:

字段含义示例
answer / label唯一正确答案"3" / "A"
reference参考答案(开放式)"法国是欧洲国家"
response标准回复(教学场景)"巴黎是法国的首都"

7.4 后处理(extract-then-compare)​

# EvalScope 内置 xFinder 提取器
# OpenCompass 通过 --reuse / 自定义 extract 函数

# 典型抽取:\boxed{...}
import re
def extract_boxed(text):
m = re.search(r'\\boxed\{([^}]+)\}', text)
return m.group(1) if m else None

7.5 完整示例:从原始数据到可评测数据集​

原始 JSON / 数据库
↓
标准化 JSONL(统一字段:question / answer / category / meta)
↓
注册进框架(OpenCompass configs/datasets/ 或 EvalScope custom_eval/)
↓
写 TaskConfig / dataset_args(声明 prompt_template / evaluator)
↓
烟雾测试(5 条 --limit 5)→ 调通
↓
全量跑 + 结果回写

8. 报告关键指标清单​

生产报告必备 8 项字段:

字段说明框架对应
总分(overall)加权或简单平均,注明权重OpenCompass summary csv / EvalScope reports JSON
子维度分数按学科 / 任务 / 语言切分两框架都支持
置信区间 / 标准差多次跑的标准差,或 BT 拟合的 95% CIEvalScope Arena 自带
失败 case 抽样每数据集随机抽 5~10 条 bad case需手动抽样
评测耗时与成本总 GPU 小时 / 总 token 数 / API 调用金额框架不直接提供
评测元数据模型 commit id / framework 版本 / dataset hash / temperature / max_tokens / prompt hash需手动记录
可复现命令 / 配置开箱即可 git checkout + 重跑OpenCompass run.py / EvalScope TaskConfig
可视化雷达图 / 柱状图 / DashboardOpenCompass viz / EvalScope HTML+WebUI

8.1 报告模板示例​

# 模型 X 评测报告 — YYYY-MM-DD

## 总分
- 综合:68.4(加权平均)
- 置信区间:[67.2, 69.6](N=3 跑)

## 子维度
- 学科知识(MMLU / C-Eval):72.1
- 推理(GSM8K / MATH):58.3
- 代码(HumanEval pass@1):65.0
- 中文(C-Eval / C-MMLU):71.5
- 指令遵循(IFEval):75.2

## Bad Case(每类 3 条)
- GSM8K: 模型在多步减法上犯粗心错误
- HumanEval: 边界条件 missing
- ...

## 评测元数据
- 模型:Qwen/Qwen2.5-7B-Instruct (commit: abc123)
- 框架:EvalScope v1.8.1
- 数据集 hash:mmlu@ef456、gsm8k@789abc
- temperature: 0.0
- max_tokens: 2048
- prompt template hash: a1b2c3

## 可复现命令
evalscope eval --model Qwen/Qwen2.5-7B-Instruct \
--datasets mmlu gsm8k humaneval --temperature 0.0 \
--judge-strategy rule --work-dir outputs/20260702_qwen25

9. 常见踩坑​

9.1 数据集污染​

  • HF Leaderboard 教训:DROP 曾因污染下架(HF 复盘)
  • 缓解:
    • 用「近期题」或「动态题库」(LiveCodeBench 持续更新、IFEval 包含新型格式)
    • 公开 canary string(GPQA 含 BigBench canary)
    • 评测前做 decontamination:在训练数据上跑 n-gram 重叠检测

9.2 Prompt 不一致​

  • 同一份 MMLU + 同一份 5-shot,原始 / HELM / Harness 实现之间最大差 30%(HF MMLU 复盘)
  • 缓解:固定 prompt 版本 + commit hash + prompt template hash 归档到报告

9.3 评测随机性​

  • temperature > 0 时单次评测不稳
  • 缓解:
    • 能确定性评测的(选择题 / 抽取)用 temperature=0 greedy
    • 开放式评测用 temperature=0 + 多次重采平均,或采样一次 + 把方差记入报告
    • MT-Bench 的 multi-turn 也要确保 same seed

9.4 LLM-as-Judge 的偏差​

MT-Bench 已识别 4 种偏差(MT-Bench 论文):

偏差表现缓解
Position bias偏好先出现的回答交换顺序
Verbosity bias偏好长回答AlpacaEval LC 剥离长度
Self-enhancement biasGPT-4 偏好 GPT-4 输出用不同系列 judge
推理能力受限judge 不擅长推理判断用 Qwen2.5-72B / Claude-Opus 等强模型

9.5 长文本评测截断​

  • NIAH 经典失败模式是「中间遗忘」
  • RULER 强化了对 mid-context 的检索与聚合
  • 缓解:强制满上下文扫描 + length × depth 二维热力图

9.6 多轮对话状态管理​

  • MT-Bench 用两轮问题检验模型记忆 / 修正能力
  • 缓解:评测框架需保证 chat template 一致(system prompt、history 注入)

10. 业界生产实践​

10.1 HuggingFace Open LLM Leaderboard​

版本数据集经验
v1ARC、HellaSwag、MMLU、TruthfulQA、Winogrande、GSM8K、DROP后两者曾因标准化问题被争议
v2IFEval、BBH、MATH Level 5、GPQA、MGSM、MuSR均为「持续动态 / 更难 / 更不易饱和」集合

评测基于 EleutherAI LM Evaluation Harness,强制固定 commit id + 5-shot example 顺序来保证可比性。

来源:Leaderboard v2 启动 blog · lm-evaluation-harness README

10.2 LMSYS Chatbot Arena​

匿名两两对战 → Bradley-Terry 模型 + style control + 95% CI。

数据沉淀:LMSYS-Chat-1M(1M 真实对话 / 25 LLM / 154 语种)。

来源:Chatbot Arena 论文 · Arena FAQ

10.3 Stanford HELM​

  • 7 类指标(accuracy / calibration / robustness / fairness / bias / toxicity / efficiency)× 16 个核心场景
  • 覆盖率从原 17.9% 提升至 96.0%
  • 评测规模:~4900 evaluations,12B tokens,17M 模型调用

来源:HELM 论文

10.4 Meta Llama 系列发版评测​

来源:Llama 3.1 Model Card

Pretrain benchmark set:MMLU、MMLU-Pro (CoT)、AGIEval、CommonSenseQA、Winogrande、BBH (CoT)、ARC-C、TriviaQA-Wiki、SQuAD、QuAC、BoolQ、DROP。

Instruct benchmark set:追加 IFEval、ARC-C、GPQA、HumanEval/MBPP++/Multipl-E、GSM8K (CoT)、MATH (CoT)、API-Bank/BFCL/Gorilla/Nexus、多语言 MGSM。

发版前必做红队 + 关键风险测试(CBRNE、儿童安全、cyber uplift),并通过 Llama Guard 3 / Prompt Guard / Code Shield 做输入输出过滤。

10.5 阿里 Qwen 系列发版评测​

  • Qwen2 / Qwen2.5:覆盖 MMLU、HumanEval、MATH,与 Llama / Mistral / Claude / GPT-4o 对比,分「base vs base」「instruct vs instruct」两轨
  • Qwen2.5-Max:MMLU-Pro、LiveCodeBench、LiveBench、Arena-Hard、GPQA-Diamond,明显向「动态 / 更难 / Arena 偏好」倾斜
  • Qwen3:开启 thinking / non-thinking 双模式评测,强调推理预算可控

「Friends of Qwen」标注外部评测方:LMSys、OpenCompass、Open LLM Leaderboard。

来源:Qwen2.5-Max blog · Qwen3 blog

10.6 OpenAI / Anthropic 内部评测(公开资料)​

  • OpenAI GPT-4 技术报告:列出多类对抗性 / 准确性评测(arXiv:2303.08774)
  • Anthropic:在 Core Views on AI Safety 公开承诺 capability 跨越安全门槛前不发版,由外部独立组织评估能力 + 安全

11. 来源链接​

11.1 框架官方​

11.2 业界实践​

11.3 原始 benchmark 论文​

11.4 厂商发版评测​

11.5 配套 demo​

标签:#llm-eval

直出设计图的UI工具

· 阅读需 4 分钟

figma make

google stitch

网站名称网址简单介绍
Curated Designhttps://curated.design高质量极简 UI 灵感,提供精选案例
Godly Websitehttps://godly.website展示大胆、视觉惊艳的网页设计
Seesaw Websitehttps://seesaw.design优雅极简 UI 设计灵感
SiteInspirehttps://www.siteinspire.com优雅精致的网页设计灵感
Httpsterhttps://httpster.net古怪非传统的网页设计示例
网站名称网址简单介绍
CSS Design Awardshttps://cssdesignawards.com获奖前沿 UI 设计展示
Awwwardshttps://www.awwwards.com全球最佳网页设计展示平台
网站名称网址简单介绍
Saaspohttps://saaspo.comSaaS 仪表盘与 B2B 产品设计参考
Website Vicehttps://websitevice.comAI、SaaS 及 27 + 设计类资源库
网站名称网址简单介绍
Mobbinhttps://mobbin.com顶级 App 真实移动 UI 模式参考
Handheld Designhttps://handheld.design移动 App 与响应式 UI 灵感
网站名称网址简单介绍
Bento Gridshttps://bentogrids.com结构化网格 UI 设计灵感
网站名称网址简单介绍
Rebrand Galleryhttps://rebrand.gallery品牌重塑与转型视觉案例展示
网站名称网址简单介绍
Landing Ninjahttps://landingninja.com高转化导向的落地页合集
One Page Lovehttps://onepagelove.com最佳单页网站设计灵感
Call to Inspirationhttps://callinspiration.com高转化营销落地页案例
网站名称网址简单介绍
Collect UIhttps://collectui.comUI 组件与模式库
网站名称网址简单介绍
UI Movementhttps://uimovement.com交互动画 UI 设计合集
网站名称网址简单介绍
Brutalist Websiteshttps://brutalistwebsites.com大胆非传统的原始网页设计
网站名称网址简单介绍
Muzlihttps://muz.li实时设计灵感与 UI 趋势
网站名称网址简单介绍
Prettyfoliohttps://prettyfolio.co惊艳作品集设计中心
UI8https://ui8.net设计师高级 UI 套件与模板
Pafolioshttps://pafolios.com创意人作品集设计灵感
网站名称网址简单介绍
21st.devhttps://21st.devAI 驱动的 UI 组件工具
Tweak.cnhttps://tweak.cnshadcn/ui 主题编辑器与生成器
Magic UI Prohttps://magicui.design高级动画 UI 组件与模板
A11Y UI Design Systemhttps://a11yui.design无障碍 UI 设计系统
1000+ Gradientshttps://gradients.ac渐变与 AI 生成背景
Aceternity UIhttps://aceternity.comTailwind + React 动画 UI 组件
Radix Primitiveshttps://www.radix-ui.com低可访问 UI 基元
shadcn/uihttps://ui.shadcn.com可自定义的 React 组件库
Curated UIhttps://curated.design无障碍 React 组件库
HeroUIhttps://heroui.com美丽、快速、现代的 React UI 库
Tailwind CSS Component Libraryhttps://tailwindcss.comTailwind CSS 组件库
MUIhttps://mui.com流行的 React 组件库

颜色风格账号 HHDesign - 小红书

常见中西文字体 常用中西文字体概览-CSDN博客

色彩配色 高级配色搭配1

hex
背景色调:070707
其他可选颜色:40a3cc、128c9f、574433、0e63a3

你是一个资深的UI设计师,在色彩搭配上给人一种舒服且高级的感觉,当前我需要一个博客网站,我会给你excalidraw的线图,图中给出了ui元素的大致布局和一些基本信息,你需要借鉴线图进行设计,同时我会给出允许使用的中文字体和西文字体以及允许使用的颜色,你只能在允许的范围内进行设计: 中文字体:宋体 西文字体:times new roman 允许使用的颜色(hex值): 背景色调:070707 其他可选颜色:40a3cc、128c9f、574433、0e63a3

标签:#ai-coding #model-serving

上下文工程与 Agent 笔记

· 阅读需 14 分钟

本文目的:替换 上下文工程异常问题总结 原笔记(原 557 行 20 类问题,内容质量尚可但缺 Prompt Engineering vs Context Engineering 边界、Manus 经验、Agent 框架对比、Memory 系统、MCP,已删除)。覆盖 2026 年工业级 Context Engineering + Agent 全栈。 配套笔记:RAG工业方案笔记、Prompt工程笔记、Rerank笔记 配套 demo:example/llm-demo/04_rag_evaluation

阅读地图​

§主题一句话定位
1Prompt Engineering vs Context EngineeringKarpathy 定义 + 4 维度对比
2Context Engineering 四大策略Write / Select / Compress / Isolate
3Manus 六条工程经验KV-cache / Mask / 文件系统 / Recitation / 保留错误 / 反模式化
4Anthropic Building Effective Agents5 种 Workflow + Tool = ACI + 透明性 > 智能
5Agent 框架对比8 大框架(LangGraph / CrewAI / AutoGen / Smolagents / Letta / Pydantic AI / Mastra / Agno)
6记忆系统Mem0 / Letta / Zep 对比 + 向量 vs 结构化
7上下文工程常见问题(精炼原 20 类)Context Rot / Pollution / Missing / Conflict / Overload / Lost-in-the-Middle 等
8MCP 与工具调用Model Context Protocol 生态 + 与 Function Calling 差异
9来源链接全部 GitHub 链接按章节分组

1. Prompt Engineering vs Context Engineering​

1.1 Karpathy 的定义​

"Context engineering is the delicate art and science of filling the context window with just the right information for the next step." — Andrej Karpathy(2025)

Cognition(Devin 团队)补充:"构建 AI agent 工程师的 #1 工作"。

1.2 4 维度对比​

维度Prompt EngineeringContext Engineering
关注对象system / user 指令本身整个 context window:instructions + knowledge + tools + 历史 + 反馈
时间尺度写一次每次推理都在动态管理
典型动作改写 prompt、加 few-shotwrite / select / compress / isolate 四类策略
适用对象单次 LLM 调用长链路 Agent(Manus 平均 50 次工具调用)

1.3 演进关系​

Prompt Engineering(写指令)
↓
Context Engineering(管理整个 context window)
↓
Agent Engineering(编排多步推理 + 工具调用 + 记忆 + 多 agent 协作)

结论:Prompt Engineering 是基础;Context Engineering 是中间层;Agent Engineering 是工业级落地的全集。三者层层递进,不是替代关系。


2. Context Engineering 四大策略(LangChain 总结)​

参考:Context Engineering for Agents

2.1 Write(写)​

把信息写进 context window,让模型"看到"。

手段作用何时用
Scratchpad(轮内笔记)Agent 在每步写 notes,沉淀当前推理ReAct / Plan-and-Execute
Memory(跨会话笔记)长期记忆用户偏好 / 项目状态ChatGPT / Cursor / Windsurf 都用
todo.md recitation每步重写 todo,把目标朗诵到 context 末端Manus 风格长任务
文件系统当 context128K 不够用 → 文件系统 = 无限、持久、可操作Manus / Claude Code

2.2 Select(选)​

从大量候选中选出当前需要的,喂给模型。

手段作用数据
Tool-RAG工具太多时,先 RAG 出当前需要的工具LangChain 实测:工具选择准确率提升 3×
Memory retrieval从长期记忆库 RAG 出相关记忆Mem0 / Letta
Context RAG从文档库 RAG 出相关 contextRAG 完整链路
Episodic / Procedural / Semantic memory三类记忆分层检索Letta / Zep

2.3 Compress(压)​

当 context 接近上限时,压缩信息以腾出空间。

手段作用何时用
Summarization长对话压缩成摘要Claude Code 在 95% 容量自动 compact
Trimming直接裁掉不重要的历史 token滑动窗口
LLM-based compression用 LLM 重新组织 context关键信息提取
Token-level pruning按 attention 权重剪枝实验性

2.4 Isolate(隔)​

把上下文隔离到不同 agent / sandbox,避免互相污染。

手段作用何时用
Multi-agent主 agent + sub-agent,每个只看自己的 contextAnthropic research 用并行 sub-agent
SandboxAgent 工具调用隔离在 sandboxHuggingFace CodeAgent 用 e2b
Per-node selectionLangGraph 每个 node 独立选择 context复杂 workflow
Thread state每个 thread 独立 stateLangGraph thread

2.5 四大策略与 LangGraph / Claude Code 的对应​

策略LangGraph 实现Claude Code 实现
Writethread state + 持久化scratchpad + memory
Selectper-node selectiontool-RAG
Compressbuilt-in 摘要 / trimming95% 自动 compact
Isolatemulti-agent / sandboxsub-agent

3. Manus 六条工程经验​

参考:Manus: Context Engineering for AI Agents

3.1 KV-cache 设计(最重要的指标)​

缓存命中率 = 生产 agent 最重要指标

指标数值
Manus 平均输入输出比100:1
Cached input(Claude Sonnet)$0.30 / MTok
Uncached input$3 / MTok
价格差10×

核心原则:

  • 稳定 prompt prefix → 提高 cache 命中率
  • 避免在 prompt 中插入时间戳 / 随机 ID(破坏 cache)
  • 把可变部分放在 prompt 末尾

3.2 Mask 而不是 Remove​

动态增删 tool 会废掉 KV-cache。改用:

  • State machine:固定 tool 列表,通过状态控制是否可用
  • Logit masking:在生成阶段 mask 掉非法 token
  • Response prefill:assistant 消息前缀引导生成方向

3.3 文件系统当 Context​

  • 128K 不够用 → 文件系统 = 无限、持久、可操作的外部记忆
  • Agent 可以 read / write / search 文件,突破 context window 限制
  • Claude Code / Manus / Devin 都重度依赖文件系统

3.4 Recitation 对抗注意力漂移​

  • 每步重写 todo.md,把目标朗诵到 context 末端
  • 防止"lost in the middle"——长 context 末尾信息更容易被关注
  • 与 Anthropic 的 extended thinking 同源

3.5 保留错误​

删除失败记录 = 抹掉模型需要用来纠错的证据

  • 错误日志、stacktrace、failed patches 都要保留
  • Agent 需要"知道自己哪里错了"才能调整
  • 完整 DECISIONS.md / FAILED_ATTEMPTS.md / KNOWN_ISSUES.md

3.6 不要 Few-shot 出模式化​

  • 注入结构化变化(不同序列化、不同措辞、轻微噪声)打破模仿
  • 否则模型会机械模仿示例,失去泛化能力
  • 与 Anthropic 原则"示例胜于描述"形成互补

4. Anthropic Building Effective Agents​

参考:Building Effective Agents

4.1 Workflow > Agent​

能用 workflow 解决的,就不要上 Agent。

5 种 Workflow(按复杂度递增):

Workflow模式何时用
Prompt chaining串行:步骤 1 → 步骤 2 → ... → 步骤 N流水线任务,每步确定性强
Routing分类后分流到不同子流程多类型 query 分类处理
Parallelization多任务并行 → 聚合结果多个独立子问题
Orchestrator-workers主 agent 拆解 → 多 worker 并行 → 聚合复杂任务并行处理
Evaluator-optimizer生成 → 评分 → 反馈 → 重生成答案质量优先场景

4.2 Tool = ACI(Agent-Computer Interface)​

Tool 描述要像产品 docstring,不是 API 签名。

维度差的 tool 描述好的 tool 描述
签名get_user(id)get_user(id: str) → User
示例无get_user("u_123") → User(name="李雷", age=30)
边界无"id 必须是 string,若用户不存在抛 NotFoundError"
错误处理无"返回的 User 可能为 None,调用方需检查"
Poka-yoke(防呆)无"id 不能为空字符串,否则抛 ValueError"

4.3 透明性 > 智能​

  • 让 agent 把计划显式写出来,用户能看见
  • 不要让 agent 在暗处决策
  • Claude Code 的 todo list / Manus 的 todo.md 都是这个原则的体现

4.4 Tool 投资回报率​

投资 tool 描述和工具测试的回报率,比调 prompt 高。

  • 调 prompt 提升 510%,调 tool 描述提升 2050%
  • 每个 tool 都要有单元测试 + 集成测试
  • Anthropic 建议把 tool 视为产品来打磨

5. Agent 框架对比​

5.1 8 大框架​

框架仓库Stars最新版本定位何时用
LangGraphlangchain-ai/langgraph—持续发布LangChain 主力 stateful graph;thread state + checkpoint复杂 Agent + 多步推理
CrewAIcrewAIInc/crewAI—持续发布Role-playing 多 agent 协作(Captain / Engineer / Researcher)多 agent 角色扮演场景
AutoGenmicrosoft/autogen—v0.4+(重写后)Microsoft 出品;群聊式 multi-agent研究 / 多 agent 群聊
Smolagentshuggingface/smolagents—持续发布HuggingFace 出品;极简 + code agent + sandbox (e2b)轻量 code agent
Letta(原 MemGPT)letta-ai/letta—持续发布带长期记忆的 agent;core memory + archival memory需要持久记忆的 agent
Pydantic AIpydantic/pydantic-ai—持续发布Pydantic 官方;FastAPI 风格;强类型Python 后端 + 强类型
Mastramastra-ai/mastra—持续发布TypeScript Agent 框架;workflow + RAG + MCPNode.js / TS 技术栈
Agno(原 Fixpoint)agno-agi/agno—持续发布高性能多模态 agent;速度比 LangGraph 快 10×高性能 + 多模态场景

5.2 各框架核心差异​

框架核心抽象多 agent记忆系统Tool 生态学习曲线
LangGraphStateGraph + Node + Edge✅ subgraph外部(MemoryStore / Zep)LangChain 全套中(要理解 graph 概念)
CrewAICrew + Agent + Task✅ 内建(role-based)外部自定义 + LangChain低(role 直观)
AutoGenUserProxyAgent + AssistantAgent✅ 内建(群聊)外部自定义中(要理解群聊协议)
SmolagentsCodeAgent + Tool⚠️ 简单无(自带 file system)自定义低(极简)
LettaAgent + Memory Blocks✅ 内建✅ 内建(core + archival)自定义中(记忆模型特殊)
Pydantic AIAgent + Deps + Result⚠️ 简单外部自定义 + MCP低(Pydantic 风格)
MastraAgent + Workflow + Tool✅ 内建外部MCP + 自定义低(TS 友好)
AgnoAgent + Team + Workflow✅ 内建(Team)外部MCP + 自定义中

5.3 选型决策​

场景推荐
Python + LangChain 生态LangGraph(首选)
多 agent 角色扮演CrewAI(直观)
群聊式 multi-agentAutoGen(学术 / 研究)
轻量 code agentSmolagents(极简)
需要长期记忆Letta(自带 memory)
强类型 + FastAPI 后端Pydantic AI
TypeScript / Node.jsMastra
高性能 + 多模态Agno

6. 记忆系统​

6.1 三大记忆框架对比​

框架仓库核心机制何时用
Mem0mem0ai/mem0向量 + 结构化双层记忆;自动 extract / update / delete通用 agent 记忆;生产稳定
Letta(原 MemGPT)letta-ai/lettaCore memory(in-context)+ Archival memory(向量);core memory 会自动压缩 + 滚动长对话 + 角色一致性
Zepgetzep/zep生产级长期记忆服务;Graphiti 时序知识图谱 + 语义搜索企业级 + 多用户记忆

6.2 向量记忆 vs 结构化记忆​

维度向量记忆结构化记忆
存储Embedding + metadata表 / KV / 知识图谱
检索相似度精确查询 / 关系查询
可解释性低(黑盒)高(可读)
更新成本中(重建索引)低(直接改)
适用场景模糊匹配 / 语义搜索精确状态 / 关系推理

2026 主流:向量 + 结构化双层(Mem0 模式)。语义记忆走向量,状态 / 关系走结构化。

6.3 Memory 设计模式​

  • Tier 1:Core / Working Memory:放 context window 内;用户偏好、当前任务状态
  • Tier 2:Episodic Memory:历史事件;按时间序列存储
  • Tier 3:Semantic Memory:事实知识;走向量 RAG
  • Tier 4:Procedural Memory:技能 / 工具调用模板

7. 上下文工程常见问题(精炼原 20 类)​

7.1 核心问题清单(按影响排序)​

#问题核心含义解决方案
1Context Rot 上下文腐烂上下文长期积累后变旧、变乱、变矛盾定期 compact;维护 CURRENT_STATE.md
2Context Pollution 上下文污染错误、无关、过期信息进入上下文输入过滤 + 来源标注
3Context Missing 上下文缺失模型没拿到完成任务所需信息提供 SPEC.md + DATABASE_SCHEMA.md 等结构化文档
4Context Conflict 上下文冲突多个信息源互相矛盾明确优先级:用户最新指令 > CURRENT_STATE.md > SPEC.md > README > 历史对话
5Context Overload 上下文过载信息太多,模型有效利用能力下降任务级裁剪 + 摘要 + 分层
6Lost in the Middle长上下文中间信息被忽略关键信息放开头 / 末尾;用 XML tags 标记
7State Drift 状态漂移模型理解和真实项目状态不一致Agent 重新扫描文件 + git worktree 隔离
8Requirement Drift 需求漂移实现逐渐偏离最初目标维护 requirements.md / out_of_scope.md / change_log.md
9RAG Pollution 检索污染检索到错误或过期资料区分 docs/archived 与 docs/current + 过滤
10Summary Distortion 摘要失真长上下文压缩后丢失关键约束人工校验摘要 + 保留原始 + 元数据标记
11Tool-State Desync 工具状态不同步Agent 看到的文件/分支/环境和真实执行环境不一致patch 验证 + git worktree + 状态文件
12Memory Pollution 记忆污染长期记忆保存了不再准确的信息记忆加 TTL + 定期审计 + 来源标注
13Prompt Bloat Prompt 膨胀不断往 prompt 加规则,最后臃肿定期清理 + 分场景 prompt + 动态加载
14Format Collapse 格式崩坏上下文复杂后开始破坏格式结构化输出(Instructor)+ schema 校验
15Task Boundary Leakage 任务边界失控模型把当前任务以外的事情也一起做明确 Allowed Changes / Forbidden Changes
16Source of Truth Missing 事实源不明确没有告诉模型哪个文件是事实源明确优先级:CURRENT_STATE.md > SPEC.md > ...
17Failed Attempt Residue 历史失败残留之前失败的实现路径留在上下文里,模型重复尝试维护 DECISIONS.md / FAILED_ATTEMPTS.md
18Multi-Agent Context Inconsistency 多 Agent 上下文不一致多 agent 协作时各自拿到的上下文不一致共享状态文件 + 主 agent 同步
19Instruction Hierarchy Confusion 指令层级混乱模型不知道哪些指令优先级最高明确规则:安全 > 用户最新 > spec > 任务 > 历史
20Implicit Assumption Accumulation 隐式假设累积模型在没有确认的情况下做了假设,后续沿用假设必须落到 spec 文件,不允许隐式

7.2 核心原则​

不要依赖对话历史维持项目状态,要把项目状态沉淀到结构化文档里,并明确事实源、优先级、当前任务和变更记录。


8. MCP 与工具调用​

8.1 MCP 概述​

Model Context Protocol(MCP) 是 Anthropic 2024 年开源的开放标准,让 LLM 应用与外部工具 / 数据源标准化连接。

项目信息数值
发布时间2024-11
当前版本持续演进(2026 已是事实标准)
官方 server 数100+
生态 server 数1000+(社区贡献)
支持客户端Claude Desktop / Claude Code / Cursor / Windsurf / Cline / Continue / ...

8.2 MCP vs OpenAI Function Calling vs Anthropic Tool Use​

维度OpenAI Function CallingAnthropic Tool UseMCP
定位模型能力模型能力协议标准
范围单次调用单次调用跨工具、跨应用、跨模型
生态OpenAI 独占Anthropic 独占开放,任何人都能实现 server/client
Tool 定义JSON SchemaJSON SchemaJSON Schema + MCP 协议
状态管理无无✅ session / progress / cancellation
多模态⚠️ 部分⚠️ 部分✅ 完整支持

结论:MCP 是工业级 Tool Use 的标准协议,2026 年已成为事实标准。

8.3 MCP 生态(2026)​

类别代表 server
文件 / 代码Filesystem / Git / GitHub / GitLab
数据库PostgreSQL / SQLite / MySQL / MongoDB
搜索Brave Search / Tavily / Google
协作Slack / Notion / Linear / Jira / Confluence
云AWS / GCP / Azure / Cloudflare
浏览器Playwright / Puppeteer
AI / MLHuggingFace / Replicate
生产工具Sentry / Datadog / Grafana

8.4 MCP 适用场景​

场景是否用 MCP
Claude Desktop / Claude Code 集成第三方工具✅ 强烈推荐
多模型统一接入一套工具✅ 强烈推荐
企业内部工具标准化✅ 强烈推荐
简单一次性工具调用❌ 直接用 Function Calling
OpenAI-only 场景❌ 用 Function Calling

9. 来源链接(按章节分组)​

9.1 Context Engineering 概念​

9.2 Agent 框架​

9.3 记忆系统​

9.4 MCP​

9.5 历史归档​

  • 原 上下文工程异常问题总结.md(项目根目录)已删除,核心 20 类问题提炼到本笔记 §7

标签:#agent #mcp #prompt-engineering

关系型数据库对比与选型笔记

· 阅读需 6 分钟

横向对比 MySQL / PostgreSQL / SQLite 三种主流关系型数据库,并给出按场景的选型决策。 单库详情:MySQL笔记 · PostgreSQL笔记 · SQLite笔记。 本笔记旧稿 / 旧稿 / 旧稿 均旧稿目录已清理,当前以本文为准。

目录​

  1. 一句话定位
  2. 维度对比表
  3. 关键差异化能力
  4. 场景选型决策
  5. 反向场景(什么时候不选)
  6. 迁移注意

1. 一句话定位​

数据库一句话
SQLite单文件、嵌入式、零配置的 SQL 引擎,跟随应用程序运行
MySQL最流行的通用 OLTP 数据库,生态最广、运维工具最多
PostgreSQL功能最强大的开源关系库,强类型 + 丰富类型 + 扩展机制

2. 维度对比表​

维度SQLiteMySQLPostgreSQL
架构嵌入式(进程内库)C/S(默认服务端)C/S(默认服务端)
单文件✅ 一库一文件❌❌
零配置✅❌(要装服务、初始化)❌(要装服务、初始化)
网络访问❌(无内置协议)✅✅
事务ACIDACID(InnoDB)ACID,MVCC
默认隔离级别SERIALIZABLE(事实)REPEATABLE READREAD COMMITTED
并发写全局写锁串行化行锁 + MVCC(InnoDB)行锁 + MVCC
数据类型5 种动态类型严格标量类型严格 + 丰富(JSONB/数组/范围/枚举/自定义)
JSON 支持文本函数(json_extract)JSON 类型(5.7+)JSON / JSONB(推荐后者)
索引B-treeB-tree / Hash / FullTextB-tree / Hash / GIN / GiST / BRIN / SP-GiST
全文检索FTS5 扩展FULLTEXT(InnoDB)内置 tsvector + tsquery
GIS❌✅(基础)✅ PostGIS(业界标杆)
扩展机制编译期 / 运行时加载扩展插件 / UDFExtension(生态庞大)
主从复制❌✅ 成熟(异步/半同步/组复制)✅ 流复制 / 逻辑复制
典型上限几十 GB;并发写 ~ 100 QPS 级几百 GB ~ 数 TB;高并发 OLTP 主流几 TB;复杂查询能力强
许可证Public DomainGPL(社区版)PostgreSQL License(类 BSD)
云厂商支持几乎不直供✅ 全部主流✅ 全部主流
ORM 生态✅✅(最广)✅
适合部署单机/端上中大规模 Web中大规模 + 复杂业务

3. 关键差异化能力​

每种数据库都有自己最值得拿出来说的"招牌能力":

3.1 SQLite — 嵌入式 + 单文件​

  • 零运维:拷贝文件 = 备份;删文件 = 删除数据库
  • 跨平台一致:iOS / Android / Windows / macOS / Linux 都自带或一键可用
  • 适合:移动 App、桌面工具、CI 临时库、单用户小工具

3.2 MySQL — 生态最成熟​

  • 复制生态最丰富:异步复制、半同步、组复制、MHA、Orchestrator、读写分离中间件
  • 运维工具最多:Percona Toolkit、pt-online-schema-change、gh-ost(在线 DDL)、MySQL Shell
  • 云厂商支持最广:RDS / Aurora / TiDB(兼容 MySQL 协议)
  • 适合:典型 Web 后端、读写分离架构、需要大量运维和迁移工具

3.3 PostgreSQL — 功能天花板​

  • 类型系统:JSONB / 数组 / 范围 / 自定义类型 / ENUM,能在不引入 NoSQL 的情况下做混合建模
  • 索引选择最多:GIN(JSONB / 数组 / 全文)、GiST(GIS / 范围)、BRIN(大表时间序列)
  • 扩展生态:PostGIS(GIS)、pgvector(向量)、pg_trgm(模糊)、timescaledb(时序)
  • SQL 标准贴合度:窗口函数、CTE、MERGE、物化视图、LATERAL JOIN 等新特性都很早就支持
  • 适合:复杂数据模型、强一致性需求、GIS / AI / 时序场景

4. 场景选型决策​

按业务场景给一个默认推荐,再加备选。

4.1 决策流程图​

你的数据要不要跨进程/跨机访问?
├── 不要 → 单机/端上工具? ── 是 ──→ ✅ SQLite
│ │
│ └── 否(但服务仍在单进程)
│ ↓
└── 要(多人/多服务访问)→ 业务对 SQL 标准和扩展能力要求高吗?
├── 高(复杂类型、JSON、GIS、AI)→ ✅ PostgreSQL
└── 一般 → 是典型 Web 后端 OLTP?
├── 是 → ✅ MySQL
└── 否 → ✅ PostgreSQL(默认更安全)

4.2 按场景列表​

场景推荐备选 / 理由
移动 App / 桌面软件本地存储SQLite单文件、零配置、跨平台
浏览器端 / Electron / TauriSQLite跨端一致,WASM 版本可跑在浏览器
单用户小工具脚本 / CLISQLite文件即数据库,无需安装服务
集成测试临时库SQLite(memory 或 file)起停快,无外部依赖
典型 Web 后端(CRUD 为主,读多写少)MySQL生态成熟,云厂商 RDS / Aurora 完备
已有团队 / 项目大量用 MySQLMySQL迁移成本大于收益
复杂业务模型(金额、约束、JSON 混合、GIS)PostgreSQL强类型、严格约束、扩展丰富
AI / RAG(向量检索)PostgreSQL + pgvector一个库搞定元数据 + 向量
地理信息系统PostgreSQL + PostGIS业界事实标准
时序数据PostgreSQL + TimescaleDB关系模型 + 时序优化
OLAP / 大数据查询(专用数仓)Doris / ClickHouse / StarRocks
超大规模 OLTP(> 10 TB 单库)谨慎评估分库分表TiDB / CockroachDB / Aurora

5. 反向场景(什么时候不选)​

5.1 不要选 SQLite​

  • ❌ 多客户端通过网络同时访问(无服务端)
  • ❌ 高并发写入(全局写锁)
  • ❌ 单库 > 几十 GB

5.2 不要选 MySQL​

  • ❌ 业务大量依赖 JSON / 复杂类型 / GIS / 向量检索(PG 更合适)
  • ❌ 数据完整性要求极高(PG 的约束、CHECK、外键实现更严格)
  • ❌ 需要高级 SQL 特性(MERGE、递归 CTE 性能、LATERAL JOIN、窗口函数)

5.3 不要选 PostgreSQL​

  • ❌ 团队完全没接触过、运维人才稀缺(MySQL 运维人手多)
  • ❌ 现有系统强依赖 MySQL 特性(如特定 SQL_MODE、utf8mb3 行为)
  • ❌ 极简单文件场景(SQLite 装它都嫌重)

6. 迁移注意​

迁移方向主要差异
MySQL → PostgreSQL占位符 %s → %s(一致);AUTO_INCREMENT → SERIAL;TINYINT(1) → BOOLEAN;utf8 → utf8 含义不同;事务默认隔离级别不同
PostgreSQL → MySQL去掉 JSONB(用 JSON);慎用 ENUM / 数组 / 自定义类型;CASCADE 行为差异
SQLite → MySQL / PG升级动态类型为严格类型;删除 INTEGER PRIMARY KEY 自带 rowid 行为;用真实 AUTO_INCREMENT / SERIAL;WITHOUT ROWID / VACUUM 等特有命令消失
MySQL / PG → SQLite(测试 / 迁移)不支持网络协议,需要数据导出导入;并发模型完全不同

关联笔记​

标签:#mysql #postgres #sqlite #mongodb

前端工程笔记

· 阅读需 4 分钟

本篇覆盖前端工程化中的常见问题与判断标准:静态资源放在 public/ 还是 src/assets/、资源加载策略等。 关联笔记:I_CSS笔记、IV_CSS布局笔记 配套资料:Vite 静态资源、Webpack asset modules


1. 静态资源放 public/ 还是 src/assets/?​

1.1 核心判断标准​

不是"图片还是字体",而是"这个资源要不要进入模块打包系统"。

维度public/src/assets/
是否被构建工具处理❌ 直接拷贝到产物✅ 被 import,被处理
文件名保持原名带 hash 指纹
引用方式写死绝对路径 /xxx.pngimport 进来
适合公开固定文件源码模块引用

1.2 放 public/ 的场景​

  • 需要固定 URL 直接访问:/favicon.svg、/robots.txt、/manifest.webmanifest
  • 不想经过 Vite/Webpack 打包
  • 希望文件名保持不变,方便外部系统或浏览器按约定读取
  • 运行时动态拼接路径(后端返回 /images/a.png 这类静态地址)

典型例子:

  • favicon.ico / favicon.svg
  • robots.txt
  • sitemap.xml
  • manifest.json / manifest.webmanifest
  • 第三方要求固定文件名的验证文件(如百度站长验证、Google Search Console 验证)
  • 很大的静态素材库,且不想让它们被 import 进构建图

1.3 放 src/assets/ 的场景​

  • 资源会被组件 import
  • 希望打包器帮你做指纹文件名、缓存优化、路径重写
  • 资源和某个页面/组件强关联,属于源码的一部分
  • 希望未使用资源能被更好地跟随源码管理

典型例子:

  • 组件里引用的图片、图标、插图
  • 本地字体文件
  • 页面背景图
  • 某个模块专用的音频、视频、svg

1.4 代码示例​

// ✅ src/assets/ 写法:被打包处理,文件名带 hash
import heroImage from './assets/hero.png';

export function Hero() {
return <img src={heroImage} alt="hero" />;
}
<!-- ✅ public/ 写法:路径写死,构建时原样拷贝 -->
<link rel="icon" href="/favicon.svg" />
<img src="/static/hero.png" alt="logo" />

1.5 一句话速记​

  • public/:面向"网站公开目录"的静态文件
  • src/assets/:面向"源码模块引用"的静态文件

2. 常见坑​

坑说明解决
把图标放到 public/ 然后 import拿不到 hash,无法做缓存优化改放 src/assets/
业务图片放 src/assets/ 但不 import不会被任何模块引用,构建时可能被 tree-shake 掉改放 public/
public/ 里的文件路径加 ./ 或 ../路径在子路由下会失效必须用绝对路径(/xxx.png)
把很大的视频文件放 src/assets/拖慢构建、增加 bundle 体积改放 public/ 或 CDN
改 public/ 里文件后浏览器没更新浏览器缓存加查询参数 <img src="/a.png?v=2">

3. 进阶:Vite vs Webpack 的差异​

工具静态资源默认行为
Vite< 4KB 资源内联成 base64;>= 4KB 单独输出
Webpack 5+用 asset/resource 输出单独文件,asset/inline 转 base64,asset 自动选

如果想精细控制,构建工具的资源处理模块都支持按类型/大小自定义规则。


4. 工具与扩展​

  • 图标库:iconify、lucide — 推荐按需 import,避免全量打包
  • 雪碧图 / SVG Symbol:小图标用 SVG <use> 引用,减少 HTTP 请求
  • CDN:大文件(视频、字体包)放 CDN,不占构建产物
  • 图片优化:sharp(构建时转 webp/avif)

标签:#javascript #css #nextjs

小企业 DevOps 方案笔记(50~500 技术人员)

· 阅读需 9 分钟

来自 DevOps基础与文化笔记 的延伸。这一规模比前面 K3s+Rancher 笔记里提到的"1030 节点"小企业大了一档——通常有 310 个产品线、多团队、多环境。


1. 典型画像​

1.1 规模指标​

技术人员: 50~500 人
业务产品线: 3~10 个
服务数量: 50~500 个(含微服务 / 单体服务)
迭代并行: 多个产品线同时推进
环境数量: dev / staging / pre-prod / prod 至少 4 套
发布频率: 一日多次(小变更)/ 一天一两次(中等变更)
可用性要求: 99.5%~99.95%(SLA 4~9 个 9 / 月宕机分钟数)

1.2 典型组织​

  • 多个产品研发小组:每组 5~15 人
  • 公共团队:平台组 / SRE 组 / 安全组 / QA 组
  • 业务职能:售前、售后、市场、法务
  • 基础设施:1~3 个公有云(多云) + 自建机房(部分公司)

1.3 典型痛点​

  • 服务一多,环境/版本/CI 配置不一致
  • 多个团队重复造轮子(各建各的 CI、各写各的发布脚本)
  • 故障定位慢,链路长
  • 安全合规靠人工审计,漏洞响应慢
  • 新员工 oncall 成本高,制度不清晰

2. 主流方案对比​

按"代码托管 + CI/CD + 部署"三大支柱,分为三大流派:

2.1 全栈商业平台(最快上手,预算敏感度低时考虑)​

A. GitHub 一栈式​

GitHub ← 代码托管 / PR / Issue
GitHub Actions ← CI/CD(内置)
ArgoCD ← K8s GitOps 部署
EKS / AKS / GKE ← K8s 托管
优势劣势
开发者最熟,文档生态最丰富GitHub Actions 成本高(大 monorepo)
PR/Code Review/Issue 流程完善数据出企业,自托管困难
Actions marketplace 插件多多区域同步差
适合 IT 投资 < 团队规模,devops < 2 人大型 monorepo 速度下降

B. GitLab CE/EE 自托管​

GitLab (CE / EE) ← 代码 + Issue + Wiki + CI + Registry (内置)
ArgoCD ← K8s GitOps(可选)
K8s
优势劣势
全部能力一个平台:CI / Registry / 安全扫描 / Issue升级痛苦(每版本都"半成品升级")
自托管:数据在自己手里EE 收费,CE 缺高级功能(多租户等)
适合喜欢"少技术栈"团队性能比专用工具稍差

C. Azure DevOps(微软生态)​

Azure DevOps Repos ← Git
Azure DevOps Pipelines
Azure DevOps Artifacts
Azure Kubernetes Service + ArgoCD
优势劣势
与 Azure / .NET 生态无缝跨云弱
自带测试管理 / 制品库 / Wiki配置较复杂
Build 分钟数对微软内部免费商业版价格高

2.2 全开源 / 自托管(推荐给小规模技术团队)​

方案 D. "Gitea + Jenkins + Tekton + ArgoCD + K3s"​

Gitea (代码托管) ↘
Drone / Jenkins (CI) ─────────► Harbor (镜像仓库) ──► ArgoCD ──► K8s
Tekton (云原生 CI 可选) ↗
优势劣势
完全可控、所有数据自持运维成本(要管多个组件)
工具都是顶流开源需要有平台工程团队(2~5 人)
灵活:可换组件文档相对不如商业产品一致

方案 E. "GitHub + Jenkins + ArgoCD + K8s(混合)"​

GitHub ← 代码托管(不放心企业用公网的可考虑 Gitea 替代)
Jenkins ← CI(Jenkins on K8s)
ArgoCD ← K8s GitOps
K8s

详细配置见前面 I_Jenkins基础笔记 ~ 小企业运维生产方案总览。


2.3 决策树​

Q1: 必须数据私有 / 合规要求本地部署?
├─ 是 → Q2
└─ 否 → Q3

Q2: 是否有 2~5 人专职平台工程团队?
├─ 是 → 方案 D(全开源)
└─ 否 → 方案 B(GitLab 自托管)+ ArgoCD

Q3: 是否依赖 Azure / 微软生态?
├─ 是 → Azure DevOps
└─ 否 → Q4

Q4: 团队是否熟悉 GitHub?
├─ 是 → GitHub + ArgoCD
└─ 否 → GitLab 一栈式

3. 落地架构​

3.1 经典分层视图​

┌──────────────────────────────────────────────────┐
│ 业务交付层(Developer Experience) │
│ Backstage / 内部门户 / 新服务脚手架 │
└──────────────────────────────────────────────────┘
↑
┌─────────────────┴──────────────────────────────┐
│ 持续交付层(CD) │
│ ArgoCD / Flux / Spinnaker + 灰度发布 │
│ + 制品签名(Cosign)+ 安全门禁(Kyverno/OPA) │
└─────────────────┬──────────────────────────────┘
↑
┌─────────────────┴──────────────────────────────┐
│ 持续集成层(CI) │
│ Jenkins / GitHub Actions / Tekton │
│ + 单元测试 + 集成测试 + 镜像构建 + 漏洞扫描 │
└─────────────────┬──────────────────────────────┘
↑
┌─────────────────┴──────────────────────────────┐
│ 源代码层(SC) │
│ GitHub / GitLab / Gitea │
│ + 评审流程 + 分支策略 │
└──────────────────────────────────────────────────┘

┌──────────────────────────────────────────────────┐
│ 平台底层(Platform) │
│ K8s / 服务网格 / 存储 / 网络 / 证书管理 │
└──────────────────────────────────────────────────┘

┌──────────────────────────────────────────────────┐
│ 可观测性层(Observability) │
│ Metrics(Prometheus)+ Logs(Loki)+ Traces(Jaeger)│
│ + 告警(Alertmanager / PagerDuty) │
└──────────────────────────────────────────────────┘

3.2 典型组合(A 方案:GitHub 一栈式)​

代码: GitHub Enterprise(自托管 GitHub Connect)
CI: GitHub Actions(含 self-hosted runner)
镜像: AWS ECR / Azure ACR / Harbor
CD: ArgoCD(K8s GitOps)
集群: EKS / AKS
可观测:Datadog 或 New Relic(商业)
或: Grafana Cloud(含 LGTM 栈)

4. 多环境与多集群​

4.1 环境分层​

环境用途数据谁能部署
dev开发者自测假数据任何人
stagingQA 测试 / 集成测试假数据或脱敏生产数据QA + 研发
pre-prod上线前最终验证脱敏数据Release Manager
prod生产真实数据自动化或人工审批

4.2 多集群​

50500 人通常 15 个生产集群:

- dev cluster(开发)
- staging cluster(QA)
- prod-east cluster(生产主)
- prod-west cluster(生产灾备/灰度)

管理方式:

工具特性
Rancher多集群 UI / 应用商店 / GitOps 引擎 Fleet
Cluster API声明式集群生命周期
Clusterpedia跨集群资源查询
ArgoCD ApplicationSet跨集群同一应用同步

5. 分支策略​

5.1 trunk-based(推荐小企业)​

main(主干,受保护)
├── feature/xxx(短命分支,1~3 天合并)
└── hotfix/xxx(紧急修复)

策略:
- 小批量合并,频繁集成
- 配合 feature flag 控制风险
- 不需要 release 分支

优势:CI/CD 简单、减少分支冲突

5.2 GitFlow(复杂产品 / 严格管控)​

main(生产)
├── develop(集成)
│ ├── feature/xxx
│ ├── release/x.x(冻结)
│ └── bugfix/xxx
└── hotfix/xxx(生产紧急修复)

适用:版本化产品(如 SDK、桌面软件)或者严格管控的金融场景

5.3 GitHub Flow(互联网产品)​

main
└── feature/xxx(提交 → PR → review → merge → 自动部署)

适用:互联网产品、SaaS、CD 工具链成熟

决策:

  • 持续交付 + 单一版本 → trunk-based
  • 多版本并存 → GitFlow
  • 团队只想用最简单的 → GitHub Flow

6. 服务网格与服务治理​

6.1 服务网格适用场景​

服务网格(Service Mesh)= 把服务间通信从应用层抽到基础设施层(sidecar)。

适用:

  • 服务数量 > 30
  • 多语言(Java / Go / Python / Node 混用)
  • 需要 mTLS、流量管理、可观测性而不改应用代码

不适用:

  • < 10 个服务
  • 单一语言已经能搞定

6.2 选型​

网格优势适用
Istio功能最全大型、复杂需求
Linkerd轻量、rust 数据面中小企业首选
Cilium Service Mesh内核层、eBPF、性能好云原生 + 网络要求高

中小企业推荐从 Linkerd 起步;规模上去再考虑 Istio。


7. 团队模型与组织​

7.1 Team Topologies(推荐)​

4 类团队:

┌───────────────────────────────────────────────────┐
│ Stream-aligned team(业务流团队) │
│ - 直接交付业务价值(5~9 人) │
│ - 包含:PM + 后端 + 前端 + QA(可能 oncall) │
└───────────────────────────────────────────────────┘
│ │
▼ ▼
┌──────────────────┐ ┌──────────────────────────┐
│ Platform team │ │ Enabling team │
│ - 提供 IDP │ │ - 帮业务团队能力建设 │
│ - Backstage │ │ - 教练 / SRE │
│ - CI/CD 模板 │ └──────────────────────────┘
└──────────────────┘

特殊:Complicated-subsystem team
- 处理复杂专门系统(ML、密码学、搜索引擎等)

7.2 SRE 团队规模​

依据 Google《Site Reliability Engineering》:

SRE 团队 = 50% ~ 100% × 研发团队总人数(业务复杂、可靠性要求高时更多)

50500 人技术团队,建议 SRE / 平台团队 515 人。


8. 监控与 SLO​

8.1 SLI/SLO 框架​

SLI(指标):例如「请求延迟 P99」
SLO(目标):例如「99.9% 请求延迟 P99 < 200ms」
SLA(协议):对客户的承诺,含后果

Error Budget = 1 - SLO
→ 错误预算消耗完时,冻结新功能发布,专注稳定性

8.2 推荐目标​

场景SLO 建议
Web API可用性 99.9% / 延迟 P95 < 200ms
Web API(强 SLA)可用性 99.95% / 延迟 P95 < 100ms
后台 Job完成率 99.5%(含重试)
数据 Pipeline当日完成率 > 95%

8.3 监控维度​

  • RED(服务):Rate / Errors / Duration
  • USE(资源):Utilization / Saturation / Errors
  • Four Golden Signals:Latency / Traffic / Errors / Saturation

工具:Prometheus + Grafana + Alertmanager(成熟自建);Datadog / New Relic / Grafana Cloud(商业 SaaS)


9. 安全与合规​

9.1 软件供应链安全(SLSA)​

级别含义
SLSA 1基础 CI、签名镜像
SLSA 2受控构建环境、签名证明
SLSA 3防篡改构建
SLSA 4双人审计、最高保障

建议小企业先到 SLSA 2。

9.2 安全工具链​

阶段工具
代码Snyk / CodeQL / GitGuardian(密钥检测)
镜像Trivy / Anchore / Clair
运行Falco / Tracee(运行时异常)
策略OPA / Kyverno / Gatekeeper
依赖Dependabot / Renovate
网络Cilium / Calico NetworkPolicy

9.3 合规模型​

标准适用
SOC 2通用 SaaS
ISO 27001行业通用
等保国内强制(按等级)
GDPR / CCPA涉及欧盟 / 加州用户
PCI-DSS涉及支付

10. 成本管理​

10.1 FinOps(云财务)​

3 大能力:

  1. Inform:成本可见(每服务、每团队)
  2. Optimize:节省成本(Spot 实例、预留实例、自动关停)
  3. Operate:组织流程(成本问责)

工具:

  • 云原生:KubeCost / OpenCost(开源)
  • 商业:CloudHealth / Vantage / Harness CCM

10.2 常见节省手段​

手段节省
Spot 实例60%~90%
预留 / Saving Plan30%~60%
自动关停 dev/staging60%~80%
镜像瘦身镜像分发时间 ↓
HPA + VPA弹性避免过度配置

11. 演进路线(24 个月建议)​

Month 1~3:基线
- Git 流程规范化
- CI 覆盖率达到 80%
- 接入基础监控(APM)

Month 4~6:标准化
- 镜像化所有服务
- 公共 Helm Chart / 模板
- IaC(Terraform)管云资源

Month 7~12:治理
- GitOps(ArgoCD)+ App-of-Apps
- SLO 全面定义
- 安全门禁(Trivy + Kyverno)
- Harbor 漏洞门禁

Month 13~18:平台化
- Backstage IDP
- 自服务化
- 共享 oncall 流程

Month 19~24:精进
- 混沌工程(Chaos Mesh / Litmus)
- 服务网格(如需要)
- AIOps / 容量规划
- DORA 指标达到 Elite

12. 一句话总结​

  • 50~500 人企业目标:稳 L3,进 L4
  • 主流方案:GitHub / GitLab / 自托管全开源 三选一
  • 架构关键:CI + 制品 + CD + 可观测 + SLO 五件套
  • 组织关键:业务流团队 + 平台团队 + SRE 文化
  • 演进路径:从痛点切入,不一上来就上服务网格 + IDP

标签:#docker #kubernetes #jenkins