🤖 AI & 大模型

主题范围

AI 大模型开发岗面试主战场。按内部分区组织,题目编号在文内全局递增(Q1、Q2…),追加时取当前最大值 +1 即可。


📦 模型原理与训练

Q5. 何时该微调(Fine-tune)?何时该 RAG / 提示词(Prompting)?

追问

  • 一个任务,什么时候调提示词就够,什么时候必须微调?
  • 微调 vs RAG 各自的代价和适用?(这常被绑在一起考)

核心:这是「三种手段」的取舍,先给判断主轴

按”模型本身会不会 / 要不要锁死知识”来分:提示词(零成本·不落地·适合”会但临时规定”)、RAG(注入外部/最新知识·不动模型·适合”知识会变/要引用出处”)、微调(重塑模型行为/风格/私有领域·最贵·适合”长持久、固定行为”)。

三条决策线(能背能讲)

  1. 知识类 / 会变的资料 → RAG:答案依赖文档、需要随时更新、要能附出处(PDF/Excel/网页);RAG 不训练、可热更新、可审计。
  2. 能力/行为/风格固化 → 微调:输出格式统一、特定领域术语、系统稳定后去掉 prompt 负担、推理成本可能更低;代价是训练数据/算力/每次更新重复训练。
  3. 模型本就会、只是临时规定 → 提示词:一张 prompt/few-shot 就能稳,最便宜最快;缺点是上下文占 token、知识不进模型。

关键判断点(面试加分,别只报定义)

  • 知识变了 RAG 立刻生效,微调才得重训 → 高频变动的知识绝不用微调。
  • RAG 较贵的场景:每次检索 + 塞上下文(token/成本/延迟);微调可吞掉固定知识省 token。
  • 两者常互补:RAG 管”问什么答什么”的检索,微调管”怎么答得像”的风格/领域,不是二选一。
  • 代价排序:提示词最省 < RAG(检索/上下文成本)< 微调(数据+GPU 训练)。

一句话记忆

提示词=零成本临时规定;RAG=会变的外部知识(附出处/热更新);微调=固化行为与领域(最贵);知识看 RAG、行为看微调、临时看提示词——三者可叠加不互斥。

🧩 应用工程(RAG / Agent / AIGC)

Q1. LangGraph 如何实现常见的几种 Agent 模式?

追问

  • 什么是 ReAct / Plan-and-Execute / 多智能体协作?在 LangGraph 里分别是怎样的图结构?
  • LangGraph 的核心概念(State / Node / Edge / checkpointing / interrupt)?
  • 和”纯提示词 + function-calling”相比,LangGraph 解决什么问题?

核心概念(先立骨架,面试先说这个)

  • State:所有节点共享、带类型的对话/任务状态,字段用 reducer 合并。
  • Node:普通 Python 函数(输入 State → 输出对 State 的更新),是单步动作。
  • Edge:普通边(固定跳转)与条件边(一个函数返回下一个节点名)。
  • checkpointing 持久化:按 thread_id 存每条会话状态快照,支持暂停/恢复/回溯。
  • interrupt / Command:人介入、或把控制权交接给别的智能体。
  • subgraph + Send API:子图封装复用、把任务 fan-out 并行分发。

常见 Agent 模式在 LangGraph 的落地

  1. ReAct(推理-行动循环) —— 最经典:
    • LLM_Node(模型决策)→ 条件边:有 tool_call → Tools_Node(执行工具、结果写回 State.messages);无 tool_call → END。
    • 循环回 LLM_Node,直到模型判定该作答。
  2. Plan-and-Execute(规划-执行):
    • Planner_Node(把任务拆成子步骤存进 State.plan)→ 逐个 Exec_Node 执行当前 step → 可选 Replanner_Node 重规划;plan 清空 → END。
  3. Router(路由/分类) —— 一问多路分流:
    • 条件边先分类,按返回类别走不同 subgraph / 专用处理器(意图分派、多 agent 入口)。
  4. 多智能体协作(一个图里多个 agent 节点):
    • Supervisor 主从(orchestrator-worker):Supervisor_Node 决定交给哪个 worker,worker 干完回 supervisor 形成环。
    • Hierarchical 层级:supervisor 之上再套 supervisor(递归树)。
    • Handoff 交接 / Swarm:interrupt + Command 把控制权直接交给另一 agent、上下文移交。
    • Network 网状:agent 在共享 State 上自由读写、互相触发(生产少用,上下文易爆)。
  5. Human-in-the-loop 人机协同:需批准/修复处 interrupt() 暂停,人工输入后 Command(resume=...) 继续。

面试加分点

  • 一针见血:“这些模式本质都是同一套骨架——State + Node + 条件边,区别只在图拓扑和 State 约定。”
  • 相比纯 function-calling:LangGraph 把流程显式建模成图,可持久化、可中断、可并行、可复现,适合多步/多 agent/要中间状态的生产系统。
  • 复杂任务往往是 Plan-execute 外套人介入 + 拆子系统。

一句话记忆

ReAct=想一步查一步;Plan-execute=先拆再做;Router=一入口多出口;多 agent 靠 supervisor/handoff;——都能用 State+条件边拼出来。

Q2. RAG 处理 PDF/Excel:文字/图片/表格分开提取后,要不要还原成原文上下文顺序?

追问

  • 文字、图片、表格单独提取增强后,有必要还原到原文档上下文顺序吗?
  • 切 chunk 是不是本来也会把顺序打乱?那还原还有意义吗?
  • 图文并茂的结果要怎么给用户,而不是硬拼回原文?

核心:先区分两个目标(不同目标决定不同做法)

  1. 要返回文件原文 / 提供原文定位 → 必须还原上下文顺序。
  2. 只展示图文并茂的结果 → 不必和原文逐字一致;让 LLM 自行排版,或给图片/表格做引用展示即可。

核心手法:不要”拼回一个连续文本”,而是「块化 + 顺序元数据 + 按需重组」

  • 把 PDF/Excel 解析成异构块:文本块 / 图片 / 表格,每块带上元数据 (type, page, block_index / token_offset)。
  • chunk 会不会打乱顺序?——只有在你没记顺序索引时才会。解析时永远保留文档相对顺序(chunk_id/order);检索/重排后就能按序追溯、拼回原文。
  • “还原顺序”应在渲染/输出端按 order 排序重组,而不是在 chunk 阶段硬拼。

落地细节(面试加分)

  • 图文并茂展示:上下文给 LLM 图片/表格的引用标记([fig1]、[table3])而不是塞整图;LLM 输出时引用,前端据标记渲染。
  • 表格/图片增强(OCR、表格结构解析、视觉描述)写回为块的元数据,可被检索复用。
  • 需要”原文还原”时,按 order index 排序重建即可。

一句话记忆

RAG 异构文档 = 块化解析,用「类型 + 页码 + 顺序索引」元数据保持可重组;是否还原顺序取决于要不要给原文,而 chunk 打不打乱只取决于你记没记顺序。

实战口径(来自韩老师真实解答)

需要返回文件原文 → 还原上下文;只展示图文并茂结果 → 不用追求和原文一样,让 LLM 排版或加图片/表格引用展示即可。

Q3. 怎么保证大模型输出是合法 JSON?(结构化输出/JSON 约束)

追问

  • function calling 和 Pydantic 怎么配合?
  • 解析/校验失败怎么办?

核心:面试官问”JSON 约束”想听成套范式,不是单点名。
通用范式 = 四件套叠加

  1. 函数调用 / function calling:走原生 tool-schema,模型本身就按定义的 schema 出结构化结果。
  2. Pydantic 模型约束:用 Pydantic 定义输出模型;它内部能自动生成 JSON Schema(model_json_schema())下发给模型做约束,并做反序列化校验。
    • 注:面试官当时以为 pydantic 不能自动转 JSON Schema,其实它有这能力——可以顺势强调。
  3. 提示词约束:prompt 里写明输出格式、字段、示例(few-shot)。
  4. 失败重试:解析/校验失败时带上错误信息重试(有限次),再不行降级处理。

一句话记忆

JSON 合法性 = function-call(pydantic 自动出 schema) + 提示词约束 + 失败重试三件套叠加;pydantic 能自动转 JSON Schema。

Q4. skill 是怎么接入 agent 的?(工具化接入)

追问

  • skill 怎么被”加载/发现”?是硬编码还是按需?
  • 有没有工业成熟做法?

(你当时没答上来,这是补强点)
思路 1:把 skill 封装成一个工具(tool)接入 LangGraph

  • 把 skill 写成一个工具节点,注册进工具列表;agent 走 tool-calling 时被调用。
  • 加载流程:先给模型一份「技能/工具列表 + 描述」放进提示词里,让它按需”搜索/命中”;命中后再调用对应工具。(关键词搜索式暴露,而非一次性加载全部)

思路 2(工业成熟做法)

  • 用专门的 skills 加载框架(你提到 magic-skills 一类,名称/细节以实际为准)把 skill 以工具方式挂载到 LangGraph/LangChain 里。

一句话记忆

skill 接入 = 封装成工具进工具列表 + 提示词暴露描述按需命中再调用;复杂加载可用专门 skill 框架。

项目深挖入口

Agent 系统相关追问(意图识别 / 工具路由 / 并发 / 多 Agent 状态 / API 成本 / 记忆持久化 / 模型型号)详见 Agent系统-项目深挖

⚙️ 训练 & 推理优化

  • [ ](待收录)

✍️ 提示词工程

  • [ ](待收录)

📝 题号规则

  • 全局编号 Q1 / Q2 / Q3...,跨分区连续,追加时取当前最大编号 +1
  • 单题格式见 面试题-模板

相关笔记