自动会议纪要Agent设计
摘要
本文梳理一道大厂大模型Agent岗位高频面试题:如何设计一个”自动会议纪要Agent”。该题要求将会议录音自动整理为纪要,并将待办任务准确分配给对应负责人。高分回答的核心是展现出系统级Agent思维,而非简单的”ASR转写+大模型总结”。
时间轴·画面与讲解
00:00 – 00:50|面试引入与常见错误
讲解要点:
- 面试官问:“请你设计一个Agent,能自动把会议录音整理成会议纪要,并把待办任务准确分配给对应的人。”
- 很多候选人直接回答”用 Whisper 转文字,再扔给 GPT 总结一下完事”,这类回答会被直接刷掉。
- 面试官真正考察的不是会不会调 API、写 Prompt,而是有没有系统设计 Agent 的思维。
01:10 – 01:30|核心方法论
讲解要点:
- 合格的 Agent 不是单次问答,而是感知 → 规划 → 行动 → 记忆的闭环。
- 听到”自动会议纪要 Agent”时,脑子里应立刻拆出 5 个模块。
01:30 – 02:00|模块一:感知层(语音转写与说话人分离)
讲解要点:
- 会议录音不是干净的单人语音,可能有三五个人、抢话、重叠、背景噪音。
- 不能只说”用 Whisper”,要体现工程素养:
- 先用 VAD(语音活动检测) 做端点检测,切出有效语音段;
- 用说话人分离模型(如
pyannote)给每个人打上Speaker1 / Speaker2 / Speaker3标签; - 将分离后的音频分片送入 ASR 模型转写,结果带上说话人标签。
02:00 – 03:00|模块二:推理层(摘要生成与任务提取)
讲解要点:
-
转写文字可能上万字,口语化严重(“嗯""啊""那个”等废话),不能直接塞给大模型。
-
需要做两件事:
① 文本清洗与分段
- 按话题切换或说话人切换,把长文本切成小块。
② 两阶段生成
- 第一阶段:让大模型生成结构化摘要,包括会议主题、关键结论、争议点。
- 第二阶段:专门提取待办任务,每条任务必须包含四个字段:任务内容、负责人、截止时间、来源依据。
-
致命细节——负责人怎么定?
- 不能让模型瞎猜,模型容易把”小王,你觉得呢?“理解成小王负责,但实际上只是征求意见。
- 解决方法:引入工具调用,查询企业通讯录、参会人名单、历史项目分工,让模型基于工具返回信息做判断。
- 这正是 Agent 与普通大模型的本质区别:能用工具验证自己的推理。
03:00 – 03:40|模块三:工具层(任务分配与冲突检测)
讲解要点:
- 提取出任务和负责人后,不能直接发出去,需要设计一个校验层。
- 例如:模型说”张伟负责下周的技术方案”,但张伟根本不在参会人列表里,或者张伟下周已在其他项目排满。
- Agent 应能主动查询日历 API 发现冲突,然后触发澄清对话:
“检测到张伟下周已满负荷,是否仍分配给他?或者转给李娜?”
- 这一步体现 Agent 的反思与纠错能力,面试官会认可。
03:40 – 04:20|模块四:记忆层(短期 + 长期记忆)
讲解要点:
-
这是区分新手和高手的关键点。
-
“用 GPT 总结”是一次性行为,Agent 需要记忆。
短期记忆
- 保存本次会议的完整转写、中间推理过程、工具返回结果;
- 保证后续追问时不丢上下文。
长期记忆
- 记住每个人的职责偏好、历史项目背景、常用术语表。
- 例如:“Q3 目标”第一次出现时 Agent 不知道是什么;第二次再遇到,能从记忆里调出定义,直接生成”与 Q3 目标相比,本次会议确认了……”。
-
好处:越用越准,越用越懂你。
04:20 – 05:00|模块五:交互层(输出与反馈闭环)
讲解要点:
- 纪要生成后不能就结束了,要设计确认—修订机制。
- 流程:
- Agent 生成初稿,自动发到群里;
- 每个人可以回复:“这条任务不是我”、“截止时间改成周五”;
- Agent 收到反馈后,更新记忆,重新生成最终版。
- 这一步叫人在回路(Human-in-the-loop)。
- 面试官最怕你设计一个全自动黑盒、出错没人管;主动加上反馈闭环,直接加分。
05:00 – 05:30|总结与评估指标
讲解要点:
-
这道题表面考会议纪要,实际考的是把一个模糊需求拆解成可执行的 Agent 架构的能力。
-
五个层次:
层次 内容 感知层 语音分离(VAD + 说话人分离 + ASR) 推理层 两阶段生成(结构化摘要 + 任务提取) 工具层 通讯录、日历 API 查询(冲突检测) 记忆层 短期记忆 + 长期记忆 交互层 反馈闭环(人在回路) -
最后补一句提升印象:
“我会用任务分配的准确率、F1 值、用户修订率作为评估指标,上线前先小范围灰度,对比人工写纪要的时间成本。”
-
这句话一出来,面试官就知道你不是只会写 Prompt 的”调包侠”,而是真正能落地 Agent 的工程师。
关键术语速查
| 术语 | 说明 |
|---|---|
| VAD | Voice Activity Detection,语音活动检测,用于切出有效语音段 |
| pyannote | 常用的说话人分离(Speaker Diarization)模型库 |
| ASR | Automatic Speech Recognition,自动语音识别 |
| 人在回路(Human-in-the-loop) | Agent 在执行过程中引入人工确认与反馈 |
| F1 值 | 精确率与召回率的调和平均,用于评估任务分配准确性 |
高分回答框架(速记)
感知层 → 推理层 → 工具层 → 记忆层 → 交互层
↓ ↓ ↓ ↓ ↓
VAD+ 两阶段 冲突检测 短期+ 确认-
说话人 生成 日历API 长期 修订
分离 +任务
提取
相关笔记
- AI 大模型 MOC · ↪ 返回 Agent/MOC 索引