自动会议纪要Agent设计

摘要

本文梳理一道大厂大模型Agent岗位高频面试题:如何设计一个”自动会议纪要Agent”。该题要求将会议录音自动整理为纪要,并将待办任务准确分配给对应负责人。高分回答的核心是展现出系统级Agent思维,而非简单的”ASR转写+大模型总结”。


时间轴·画面与讲解

00:00 – 00:50|面试引入与常见错误

讲解要点:

  • 面试官问:“请你设计一个Agent,能自动把会议录音整理成会议纪要,并把待办任务准确分配给对应的人。”
  • 很多候选人直接回答”用 Whisper 转文字,再扔给 GPT 总结一下完事”,这类回答会被直接刷掉。
  • 面试官真正考察的不是会不会调 API、写 Prompt,而是有没有系统设计 Agent 的思维。

01:10 – 01:30|核心方法论

讲解要点:

  • 合格的 Agent 不是单次问答,而是感知 → 规划 → 行动 → 记忆的闭环。
  • 听到”自动会议纪要 Agent”时,脑子里应立刻拆出 5 个模块。

01:30 – 02:00|模块一:感知层(语音转写与说话人分离)

讲解要点:

  • 会议录音不是干净的单人语音,可能有三五个人、抢话、重叠、背景噪音。
  • 不能只说”用 Whisper”,要体现工程素养:
    1. 先用 VAD(语音活动检测) 做端点检测,切出有效语音段;
    2. 用说话人分离模型(如 pyannote)给每个人打上 Speaker1 / Speaker2 / Speaker3 标签;
    3. 将分离后的音频分片送入 ASR 模型转写,结果带上说话人标签。

02:00 – 03:00|模块二:推理层(摘要生成与任务提取)

讲解要点:

  • 转写文字可能上万字,口语化严重(“嗯""啊""那个”等废话),不能直接塞给大模型。

  • 需要做两件事:

    ① 文本清洗与分段

    • 按话题切换或说话人切换,把长文本切成小块。

    ② 两阶段生成

    • 第一阶段:让大模型生成结构化摘要,包括会议主题、关键结论、争议点。
    • 第二阶段:专门提取待办任务,每条任务必须包含四个字段:任务内容、负责人、截止时间、来源依据。
  • 致命细节——负责人怎么定?

    • 不能让模型瞎猜,模型容易把”小王,你觉得呢?“理解成小王负责,但实际上只是征求意见。
    • 解决方法:引入工具调用,查询企业通讯录、参会人名单、历史项目分工,让模型基于工具返回信息做判断。
    • 这正是 Agent 与普通大模型的本质区别:能用工具验证自己的推理。

03:00 – 03:40|模块三:工具层(任务分配与冲突检测)

讲解要点:

  • 提取出任务和负责人后,不能直接发出去,需要设计一个校验层。
  • 例如:模型说”张伟负责下周的技术方案”,但张伟根本不在参会人列表里,或者张伟下周已在其他项目排满。
  • Agent 应能主动查询日历 API 发现冲突,然后触发澄清对话:

    “检测到张伟下周已满负荷,是否仍分配给他?或者转给李娜?”

  • 这一步体现 Agent 的反思与纠错能力,面试官会认可。

03:40 – 04:20|模块四:记忆层(短期 + 长期记忆)

讲解要点:

  • 这是区分新手和高手的关键点。

  • “用 GPT 总结”是一次性行为,Agent 需要记忆。

    短期记忆

    • 保存本次会议的完整转写、中间推理过程、工具返回结果;
    • 保证后续追问时不丢上下文。

    长期记忆

    • 记住每个人的职责偏好、历史项目背景、常用术语表。
    • 例如:“Q3 目标”第一次出现时 Agent 不知道是什么;第二次再遇到,能从记忆里调出定义,直接生成”与 Q3 目标相比,本次会议确认了……”。
  • 好处:越用越准,越用越懂你。


04:20 – 05:00|模块五:交互层(输出与反馈闭环)

讲解要点:

  • 纪要生成后不能就结束了,要设计确认—修订机制。
  • 流程:
    1. Agent 生成初稿,自动发到群里;
    2. 每个人可以回复:“这条任务不是我”、“截止时间改成周五”;
    3. Agent 收到反馈后,更新记忆,重新生成最终版。
  • 这一步叫人在回路(Human-in-the-loop)。
  • 面试官最怕你设计一个全自动黑盒、出错没人管;主动加上反馈闭环,直接加分。

05:00 – 05:30|总结与评估指标

讲解要点:

  • 这道题表面考会议纪要,实际考的是把一个模糊需求拆解成可执行的 Agent 架构的能力。

  • 五个层次:

    层次内容
    感知层语音分离(VAD + 说话人分离 + ASR)
    推理层两阶段生成(结构化摘要 + 任务提取)
    工具层通讯录、日历 API 查询(冲突检测)
    记忆层短期记忆 + 长期记忆
    交互层反馈闭环(人在回路)
  • 最后补一句提升印象:

    “我会用任务分配的准确率、F1 值、用户修订率作为评估指标,上线前先小范围灰度,对比人工写纪要的时间成本。”

  • 这句话一出来,面试官就知道你不是只会写 Prompt 的”调包侠”,而是真正能落地 Agent 的工程师。


关键术语速查

术语说明
VADVoice Activity Detection,语音活动检测,用于切出有效语音段
pyannote常用的说话人分离(Speaker Diarization)模型库
ASRAutomatic Speech Recognition,自动语音识别
人在回路(Human-in-the-loop)Agent 在执行过程中引入人工确认与反馈
F1 值精确率与召回率的调和平均,用于评估任务分配准确性

高分回答框架(速记)

感知层 → 推理层 → 工具层 → 记忆层 → 交互层
   ↓         ↓         ↓         ↓         ↓
VAD+      两阶段    冲突检测   短期+    确认-
说话人     生成      日历API    长期     修订
分离       +任务                                       
           提取

相关笔记