AI 原理学习笔记（二十三）：云计算与网络，一次请求经过哪里

1. 先跟踪一次提问

用户在浏览器输入“年假剩多少”：

浏览器
→ 解析域名、建立连接
→ 网关与身份认证
→ 应用服务
→ 知识库、人事接口、模型服务
→ 返回结果或流式输出

慢可能发生在任何一段。只有“模型平均生成很快”，无法证明端到端也很快。

2. 云是怎样的资源提供方式

云提供可按需使用的计算、存储和网络等资源。它仍运行在真实机房、服务器和网络设备上，只是用户通过服务接口管理资源。

模式	提供什么	我们还主要负责什么
IaaS	虚拟机、磁盘、网络等基础资源	系统、运行时、应用与配置
PaaS	托管平台和相应运行能力	应用、数据与平台配置
SaaS	可直接使用的软件服务	使用、账号、数据与业务管理

责任边界随服务不同，不要以为买了云就不需要安全配置。

Serverless 常强调按事件或请求运行、由平台管理容量，不是“没有服务器”。冷启动、执行时长、资源与费用限制需要检查，长时间驻留的大模型不一定适合任意一种函数服务。

3. 公有云、私有云与混合云

公有云由服务商提供资源，私有云面向特定组织，混合云连接不同环境。多云则通常涉及多个云服务提供方。

部署方式与数据是否安全不是简单的一一对应。私有网络里也可能配置错误；公有云也可能有严格的隔离与访问控制。

先画数据流与信任边界，再决定哪些数据、计算和日志放在哪里。

4. 虚拟机、容器与编排

虚拟机通常包含独立的客户操作系统，通过虚拟化共享物理硬件。容器常共享宿主内核，把应用及其依赖隔离打包。

容器启动相对轻便，不表示隔离边界与虚拟机完全相同。镜像里也可能有漏洞、错误依赖或泄露的密钥。

Kubernetes 一类编排系统组织部署、副本、调度和服务发现，但不会自动让模型效果变好。Slurm 等调度系统常用于计算任务管理，选择要看工作负载和组织环境。

5. DNS、IP 与端口

域名方便人记，DNS 将名称解析到相应地址等记录。IP 用于网络寻址，端口用于区分一台主机上的服务入口。

域名解析错、服务没监听、端口被防火墙拦住，都会导致“网站打不开”，但原因与修法不同。

代理、网关、CDN 与负载均衡也可能位于链路上。CDN 常帮助分发可缓存内容，不意味着任何动态、私有的 AI 结果都应该被公共缓存。

6. TCP、UDP、HTTP 与 HTTPS

TCP 提供可靠、有序的字节流，包含连接建立、重传与拥塞控制等机制。它不保证应用永远不超时，也不负责判断模型答案正确。

UDP 提供数据报服务，本身没有 TCP 那套可靠有序保证；上层可以构建其他机制。HTTP/3 基于 QUIC，而 QUIC 基于 UDP，不能把“HTTP 永远只走 TCP”背成定律。

HTTP 定义请求与响应语义；HTTPS 在相应传输中使用 TLS 保护通信。加密传输不能替代登录鉴权，也不能保证服务器不会滥用收到的数据。

状态码可以先按类别理解：2xx 常代表成功，4xx 常涉及请求或权限，5xx 常涉及服务端问题。具体情况仍需看状态与响应体，不能只按数字猜。

7. 流式输出与 SSE

普通响应通常等待形成内容后返回，流式响应让部分内容逐渐到达用户。SSE，Server-Sent Events，是服务器向客户端推送事件的一种常见形式。

流式输出改善“先看到一部分”的体验，不代表整体运算量减少。代理缓冲、网络中断、超时和取消传播会影响实际体验。

用户按停止后，后端是否真正取消模型与工具，是需要实现与测试的行为；不能只停止前端显示。

8. 带宽、吞吐与延迟

带宽常用 bit/s，文件大小常用 byte：

1\text{ Gbit/s}\div8=125\text{ MB/s}

这是理想换算，实际还受协议、线路共享和服务端限制。下载 14GB 文件，在理想 1Gbit/s 下需要 $14\times10^9/(125\times10^6)=112$ 秒，实际一般有额外开销。

延迟是一次传递或响应等待，吞吐是单位时间完成多少数据或工作。带宽很大也可能因为距离、排队或服务处理而有高延迟。

9. 负载均衡、缓存与健康检查

负载均衡把请求分发到不同服务实例。模型有状态缓存、长连接和会话上下文时，需要考虑路由与状态管理。

健康检查不能只看进程还活着，还要看依赖是否可用、模型是否加载、资源是否足够。过重的检查本身也会产生负担。

缓存区分静态文件、文档、模型前缀和最终答案，各自有效期与权限不同。缓存失效策略和数据更新同样重要。

10. 网络排查的一条顺序

先确认应用错误与时间点，再逐层查：名称是否解析 → 地址能否连接 → TLS 是否成功 → HTTP 状态如何 → 应用是否卡在依赖 → 模型是否排队或生成慢。

记录 trace ID 和各段耗时，可以把同一次请求从网关追到检索、工具和模型。不要一看到慢就归因于“网络不好”或“显卡不够”。

复习卡片与自测

云提供资源与托管能力，责任边界仍需明确。
域名、IP、端口解决不同层面的定位。
传输加密、身份认证、业务授权不能互相替代。
带宽、吞吐与延迟使用不同量纲。

1. 1Gbps 能每秒下载 1GB 文件吗？

参考答案

不能。bit 与 byte 差 8 倍；理想情况下约 125MB/s，还没算实际开销。

2. 流式输出是不是让模型少算了？

参考答案

通常只是更早把部分结果传给用户，整体计算未必减少。

3. HTTPS 已经开启，为什么还需要权限控制？

参考答案

HTTPS 保护传输，不决定某个登录用户是否有权读取一份合同或执行操作。

原文定位

依据：原资料第十一、十二篇。协议继续阅读：HTTP 语义 RFC 9110、SSE 标准。