1. 多模态到底多了什么
模态是信息的表现形式，例如文字、图像、声音。多模态系统需要让不同形式的信息共同参与任务，而不是只把多个文件放进同一文件夹。
例子：用户上传一张报销单，系统读取文字、理解表格位置、核对金额，再用自然语言回答。这里既要识别图像，也要理解文档结构和业务规则。
系统可以由一个多模态模型完成，也可以由 OCR、文本模型、规则程序等多个模块组合。
2. 图像怎样变成可处理的数字
一张 RGB 图片可以表示成 ，每个位置有红、绿、蓝三个通道。神经网络把像素变成特征。
Vision Transformer 常把图像切成 patch。例如 224×224 图像按 16×16 分块，得到 个图像块。每块转换成向量，再加入位置信息。某些架构还加入额外 Token，不能把 196 当所有视觉模型固定长度。
分辨率提高，图像块可能增多，计算与内存也可能增加；实际系统还可能缩放、裁块或动态选区。
3. 图像与文字怎样对齐
一种代表性思路是：把配对图片与文字分别编码，让正确配对更接近、错误配对更远。这类对比学习让图文具备可比较的表示。
例如“猫坐在沙发上”的文本向量应与相应图片更接近。这不意味着模型给每张图片写出一个完整准确的事实清单。
生成式视觉语言系统还可以把视觉特征经过投影或连接模块，送入语言模型，使其依据图像生成文字。架构存在差异，不是所有模型都仅靠同一个“共享空间”机制。
代表性方法可读 CLIP 论文，注意其中的模型与实验设置。
4. OCR、版面分析与文档理解
OCR回答“图上写了什么”。版面分析回答“标题、表格、段落、页脚在哪里”。文档理解还需要把结构与语义连起来。
例如一张发票里有“金额 100、税额 13、合计 113”。识别出三个数字只是第一步，还要知道它们分别属于哪个字段。
常见失败包括：
- 1、I、l 混淆，0 与 O 混淆。
- 小字、倾斜、阴影和模糊导致误识别。
- 表格跨页，列头没有被带到下一页。
- 批注和正文混在一起，金额的正负号被漏掉。
关键字段最好带原图位置与证据，便于人工核对。对于高影响金额，不应只凭一段流畅解释直接入账。
5. 语音识别与语音生成
ASR把声音转成文字，需要处理语速、口音、背景噪声与专业词。TTS把文字转换成语音，涉及发音、韵律与声音表现。
说话人分离或标记尝试区分“谁在什么时候说话”，与转写内容是不同任务。会议里两个人同时讲话，只有文字转写可能不足。
词错误率 WER 常写为：
为替换数， 为删除数， 为插入数， 为参考词数。中文也常按字符等单位评估，必须说明切分规则。插入过多时，该值甚至可以超过 100%。
转写准确不代表总结准确。会议纪要还要正确归因、识别否定、保留时间与行动项。
6. 图像生成与扩散的直觉
扩散模型训练时常把数据逐步加入噪声，让模型学习与去噪有关的目标；生成时从噪声逐步得到符合条件的内容。
文本提示提供条件，一些实现还在压缩后的 latent 空间里操作，以减轻计算。这里的“去噪”是训练和采样机制的简化解释，不是从互联网里找一张图片擦干净。
生成得逼真不等于内容真实。文字排版、手部结构、精确数量与物理一致性等仍需按任务检查。
7. 视频增加了时间这一维
视频不仅是一组图片，还涉及运动和事件顺序。抽取每十秒一帧可能便宜，但会漏掉帧间一秒钟的关键动作。
理解视频时要同时考虑画面、声音、字幕、时间戳与跨帧关系。生成视频则还要维持主体、空间、运动和镜头的时间一致性。
如果目标是“找到机器发出异响的时间”，仅分析静态截图就不够；如果只是“读某张固定幻灯片”，不一定要处理全部视频帧。
8. 数字人系统的组成
常见数字人流程可能包括脚本、声音、形象、口型同步、动作、渲染与视频合成。它是一个系统，不能用“支持多模态”四个字概括全部质量。
应分别检查发音、口型、表情、延迟与内容正确性。涉及真人肖像、声纹或模仿时，还需要明确授权和用途管理。
9. 成本与选型怎样看
不同服务可能按图片尺寸、视觉 Token、音频时长、视频帧、生成时长等计价；不能统一套用文本每百万 Token 的单价。
先把任务拆清：
- 需要识别文字，还是理解图表和关系？
- 一次多少页、多高分辨率、多长视频？
- 是离线批量，还是实时对话？
- 哪些字段必须精确，哪些可以人工复核？
- 原始媒体、抽取文本与日志能否外发？
用真实质量与尺寸分布测试，再估费用和延迟。不要只用清晰演示图判断实际扫描件效果。
复习卡片与自测
- 多模态可以是联合模型，也可以是多个模块协作。
- OCR 识字，版面给结构，文档理解连接字段与意义。
- 音频转写、说话人、总结是不同任务。
- 视频采样会丢时间信息，费用也有不同口径。
1. OCR 正确识别 100、13、113，就说明发票抽取完成了吗？
参考答案
还要把数值正确对应到金额、税额、合计，并核对币种、日期、发票号等所需字段。2. 196 个 patch 是所有图像模型的固定 Token 数吗？
参考答案
不是。它来自 224×224 按 16×16 切块的特定例子，其他分辨率、架构和预处理会不同。3. 为什么会议转写准确仍可能生成错误纪要？