Agent 应用开发面试题:按难度分层
本卷为「工具型 LLM Agent」岗位面试题整理(fundmate「账本精灵」为主), 共 40 题,按 ⭐ → ⭐⭐ → ⭐⭐⭐ 三档递进,先看题、点开见答案。
- fundmate 项目题与数字全部来自真实代码与实测(
file:line可回查)。- 用法:① 按 L1 → L3 顺序自测,每题限时口述(L1 60 秒 / L2 90 秒 / L3 2 分钟), 卡壳的记进文末自测表;② 答题一律三段式——结论先行 → 证据 → 边界。
- 项目题
file:line行号基线a072eb68c(agent 相关路径此后无改动,2026-10-08 复核)。
1. ⭐ L1 基础概念(60 秒/题:概念一句话 + 挂到项目)
Q1. 什么是 Agent?和 Workflow(工作流编排)的区别是什么?
答案(点击展开)
答案:判据是控制流在谁手里。Agent = LLM 在循环里自主决定下一步(调工具 / 追问用户 / 结束),路径由模型现场决策;Workflow = 路径由代码预先编排,LLM 只是流水线某个节点里的处理 单元。权衡:Agent 灵活但不确定、贵、难测;Workflow 可预测、便宜、易测——生产系统常从 Workflow 起步,把「不确定度」花在刀刃上。
挂到项目:我的账本精灵介于两者之间——模型只在「追问 or 执行工具」两个状态间给信号, 路由是代码里的显式循环(agent_loop.py 主循环 :418-709)。这是评估后的取舍,见 Q18/Q28。
Q2. ReAct 是什么?你的实现和它什么关系?
答案(点击展开)
答案:ReAct = Reasoning + Acting 交替——模型先想(thought)、再行动(action,调工具)、 观察(observation,读工具结果),如此循环直到能作答,是主流 Agent loop 的理论原型 (Yao et al., 2022)。落地两要点:① 必须配 max_steps / 终止条件,否则打转烧钱; ② 工具结果要结构化回填,错误也是观察(error-as-observation),不是抛异常了事。
挂到项目:我的循环是 ReAct 形态的收敛版——金融查询不需要长显式推理链,thought 收掉; action 是 6 个只读工具;observation 是统一 JSON 信封回填;终止由四道出口保证(Q22)。
Q3. Function Calling 的完整流程是怎样的?
答案(点击展开)
答案:① 请求携带 tools(JSON Schema:名称 / 描述 / 参数约束);② 模型不执行,只 返回结构化 tool_calls(函数名 + JSON 参数);③ 应用层解析 → schema 校验 → 鉴权 → 执行;④ 结果以 tool 消息回填,模型据此生成自然语言答复(可多轮往返)。
关键句:模型只产「调用意图」,执行权、校验权、权限全在应用层——这是所有安全设计的 落点。
挂到项目:我用一份 TOOLS_METADATA 单源同时喂 Function Calling 与 MCP(Q5);参数先过 服务端权威覆盖再 schema 校验(Q17)。
Q4. RAG 和工具型 Agent 的区别?你为什么不做 RAG?
答案(点击展开)
答案:RAG 解决「模型不知道私有文档内容」——切块 → 向量召回 → 拼进 prompt 让模型 转述文献;工具型解决「模型算不出 / 查不到权威实时数据」——模型选择函数,答案由代码 算出来。前者答案来自文本召回(可能召回不全、转述失真),后者来自确定性计算。
为什么不做 RAG(三连):① 我的是结构化账本数据,复用几十个既有 service,没有文档清洗 / 切分问题;② 数值幻觉的根源是「让模型转述数字」——RAG 召回的数字进了 prompt 照样可能被 模型改写,金融场景的解是 L1 铁律「数值只能出自工具执行结果」;③ 无检索量,向量库与 Embedding 是纯成本。
边界(何时做):真出现文档型知识(研报、手册、FAQ)且有检索量时,作为「知识类意图」的 后端接入——仍然不让模型自由转述数字。
Q5. MCP 解决什么问题?和 Function Calling 是什么关系?
答案(点击展开)
答案:MCP(Model Context Protocol,2024.11 发布)把「工具 / 资源 / 提示」的接入标准化 成协议,解决每个应用 × 每个客户端的 N×M 集成问题——接一次 MCP server,所有标准客户端 (Claude Desktop、Cursor 等)都能用你的工具。
与 FC 的关系(先说结构性差异,再说分层):FC 是模型厂商的接口格式——单次推理里 返回 tool_calls JSON → 本地执行 → 结果回填,schema 每轮都占 context、工具执行不可 跨进程复用;MCP 是生态协议——JSON-RPC 2.0,transport 有 stdio / SSE / Streamable HTTP,原语是 tools / resources / prompts,自带 capability discovery(list_tools 等): 客户端连上就能发现工具,发现过程不占主对话 context。所以工程结论是分层共用:同一 份底层 schema,FC 适配自家闭环,MCP server 适配标准客户端,两套只差协议适配层。
挂到项目:工具实现一份,我同时走 FC(自家后端对话)和 MCP server(stdio,pdm run agent-mcp),schema 单源不漂移,family_id 等身份参数仍只认服务端(不因客户端接入而放宽)。
Q6. 什么是上下文工程(Context Engineering)?你做了哪些?
答案(点击展开)
答案:对送进窗口的一切做工程化管理——system 指令、记忆、工具 schema、历史轮次、检索 结果的取舍、压缩与预算,目标是「有限窗口内信息密度最大化 + 成本有界」。
挂到项目:五层 prompt(goal → 关键信息卡 800 → 滚动摘要 3000 → 最近 3 轮原文 → 已收集 参数),每层硬截断,单轮长度与轮次无关;压缩失败降级硬截断——有界性优先于完整性。 另外工具只回标量结果,从源头控制注入体积。
Q7. LLM 幻觉怎么治?怎么从架构上「消掉」数值幻觉?
答案(点击展开)
答案:先分类——事实幻觉(编造存在)/ 数值幻觉(编造数字)/ 引用幻觉(编造出处)。缓解 阶梯:① 结构性:数值一律由工具计算,模型只转述——造数空间在架构上不存在,而非事后检测; ② 约束性:铁律进 system prompt + 输出侧过滤;③ 兜底:不确定就澄清 / 拒答,不硬答; ④ 事后:评估集放幻觉诱导用例 + trace 抽查复核。
挂到项目:金融场景我把「检测幻觉」换成「消灭造数空间」——模型物理接触不到账本,XIRR 编不出来;输出过滤 R1~R10 拦「预测 / 建议」类话术(Q23)。立场句:事后检测是被动的, 架构消除才是主动的。
Q8. Prompt Injection / 越狱怎么防?护栏该放模型里还是代码里?
答案(点击展开)
答案:威胁三类——直接注入(用户消息藏指令)、间接注入(工具 / 文档返回里藏指令)、 越狱(诱导承诺越界内容,如荐股)。分层防御:① 输入侧意图分类 + 确定性句式拦截—— 零 token、不进模型,模型没有机会在反复追问下松口;② 最小权限——工具只读、schema 拒绝未知参数;③ 输出侧逐句过滤替换成免责句(不是整篇拒答,保住可用性);④ 重复层 同问连续 3 次强制标准话术;⑤ 评估集放对抗用例钉住(8 条对抗含注入 1、越界 4)。
立场句(必答):关键合规护栏必须放代码层——模型侧护栏是概率的,「合规不能赌模型 乖」;prompt 里的铁律只是第一道,不是唯一一道。确定性才能单测(护栏 46 例不触网)。
Q9. Agent 的评估怎么做?和传统后端测试有什么不同?
答案(点击展开)
答案:三个层次——① 单测钉确定性组件(护栏是纯函数,46 例不触网、不 mock LLM); ② 回归评估集:用例 YAML + 确定性评分器(断言状态机走向与工具命中,不靠 LLM 打分, 杜绝「用模型评模型」的漂移);③ 线上:trace 抽查复核。
与传统测试的区别:输入输出非确定,只能钉「可确定的部分」(状态、工具命中、是否越界), 文本质量靠评分规则 + 人工复核;prompt 一改必须全量跑评估集才准合。
闭环证据:首跑 28/30 → 失败模式修进护栏 → 30/30——「评估驱动改进」讲这个过程,不讲 框架名。
Q10. Token 成本从哪来?怎么控?缓存(prompt cache)怎么回事?
答案(点击展开)
答案:成本 = 输入 token(system + 工具 schema + 记忆 + 历史——历史是大头)+ 输出 token。四层治理:① 结构性裁剪——五层硬截断,历史不全量重发(旧实现整段序列化全量 history、无上界,20 轮必爆,这是结构性修复不是打补丁);② 压缩——超阈值把旧轮次用 便宜模型压进摘要层;③ 缓存——如实说:prompt cache 依赖厂商前缀命中,我控制的是 「每轮必付的历史部分」;④ 钱闸——当日 30 万 token 预算超限熔断、每分钟限流、连续失败 熔断(防「失败→重试→烧钱」)、轮次上限 10;真实 usage 逐轮回填计数并进 trace。
边界:限流 / 熔断 / 预算当前是单实例内存实现,多实例迁移 Redis 挂二期卡,触发条件写在 卡里(Q30 展开)。
Q11. 流式输出(SSE)在 Agent 里怎么落地?
答案(点击展开)
答案:原理——HTTP 长连接 + text/event-stream,服务端按 token delta 推送,前端用 fetch 的 ReadableStream / EventSource 消费。Agent 特有难点:一个回合含「模型流」与 「工具执行」两种阶段,事件要分型(delta / tool_start / tool_result / done / error),工具执行期要推中间态,否则用户以为卡死;错误要以事件收尾,不能直接断连。
挂到项目(诚实边界):账本精灵是同步请求-响应(单轮模型 ≤2 次、工具全是本地查库, 不走外网),打字机体验按反过度设计暂未接——接的话在网关层把 loop 的 delta 转发出去 即可,成本低。「不接」不等于「不会接」,这是判断不是缺口。
Q12. 什么时候需要多 Agent?什么时候是过度设计?
答案(点击展开)
答案:需要的信号——权限隔离(不同凭证 / 工具集)、上下文隔离(避免互相污染)、 可并行的独立子任务、失败域隔离。过度设计的信号:用多 Agent 当话术包装单线程任务。
挂到项目(立场句):两个状态的循环用一个显式 loop 就够,拆「规划 / 检索 / 执行 / 校验」 四个 Agent 是话术不是需求——多 Agent 的协调成本(消息协议、结果合并、调试黑盒)在小规模下 纯亏。真到工具上百、任务可分解并行时再评估(与 Q30/Q31 同一逻辑:先问触发条件)。
2. ⭐⭐ L2 项目实战(90 秒限时:结论 → 证据 → 边界)
Q13. 用两分钟介绍一下「账本精灵」这个项目
答案(点击展开)
答案(按八点骨架展开,2 分钟约 450 字,投递时按岗位取舍最后两点):
- 定位一句:fundmate 是家庭投资记账平台,我独立开发其中的「账本精灵」——工具型 LLM Agent(记账 / 持仓问答),核心目标是金融场景零数值幻觉。
- 架构:双层确定性——6 个只读工具承载全部数值计算(XIRR / 持仓盈亏 / 资产总览 / 基金 净值 / 市场温度 / 自选表现),LLM 只做意图选择与转述;L1 铁律禁止模型生成数值。
- 编排:评估 LangGraph 后自研轻量状态机(两状态 + 轮次闸 / 取消检查点 / 错误回填重试, ADR D19 留痕)。
- 安全:修过越权——服务端鉴权上下文权威覆盖前端 / 模型候选参数,会话服务端落库, 测试钉死伪造
family_id被覆盖。 - 护栏与成本:三层合规护栏 + 四道成本闸,46 例纯函数单测不触网。
- 上下文:五层分层记忆硬截断,有界性优先于完整性。
- 自证:全链路 trace + 30 条评估集(28 → 30),全量 2269 例全绿。
- 协议(按岗位留):同一份 schema 可同时以 Function Calling 与 MCP server 暴露。
Q14. 模型调工具报错 / 参数不符 schema,代码层怎么处理?
答案(点击展开)
答案:三层。第一层,工具入口不信任模型:ToolExecutor.run 是原子刀——先服务端 权威覆盖,再按 TOOLS_METADATA 做 schema 校验,未知工具 / 缺必填 / 未知参数 / 类型 · enum · pattern 不符一律抛 ValueError,根本不进业务代码。第二层,错误不崩、结构化回填: 异常捕获成 {status:'error'} 信封拼回 prompt,让模型带着「哪里错了」改一次,最多重试 1 次 (模型调用上限 2 次),不给它无限烧钱的机会。第三层,解析兜底:连 JSON 都解析失败时 不当异常,一律降级为澄清追问;重试用尽落 error 态返回用户并写 trace,到此为止,不循环。
证据:tools.py:49(权威覆盖)、:284-314(校验)、:317-321(原子刀); agent_loop.py:9(2 次调用上限)、:555、:612-621(错误回填重试)、:351(解析降级)。
Q15. 下游服务超时怎么办?降级到什么?
答案(点击展开)
答案:分层。LLM 调用层:单次 60 秒超时;失败先分类——429 / 5xx / 超时 / 连接失败 / 坏响应算瞬态可重试,其余 4xx 立即终止(坏请求重试不会变好,fail fast);可重试的走指数 退避 1.5 / 3 / 6 秒,429 带数值型 Retry-After 就听服务端的、封顶 30 秒,默认总预算 1 次重试。 降级到什么:模型侧彻底失败 → 本轮返回错误态,会话状态不损坏——轮次已落库,失败轮 不烧掉用户预算,下一轮可继续。工具层(查库)异常 → 结构化 error 回填重试一次。 绝不降级到「模型瞎编一个数」——L1 铁律下宁可报错,不可造数。
证据:llm.py:36-42(超时 / 重试 / 退避)、:45-67(失败分类)、:70-87(退避计算); agent_loop.py:612-621、:313-320(L1)。
Q16. 工具返回结果做不做格式校验?
答案(点击展开)
答案:做,但方向和「模型输入」相反——返回值是代码构造的,不是模型生成的。每个工具 返回统一 JSON 信封(status / data / message / error_code),date 等类型经 _jsonable 递归转成可序列化形态。校验钉在两处:构造点的结构约束 + 测试(每工具四例:正常 / 缺必填 / 未知参数 / enum 越界)。模型侧我不校验工具返回,只容错解析模型自己的输出。
一句理由(必答):校验成本要花在不可信边界上——工具返回在进程内、可信;真正不可信 是模型输出与前端回传。
证据:tools.py:76-84(_jsonable)、:298-314(契约校验)、:317-351(信封构造); agent_loop.py:351。
Q17. 模型填错参数(幻觉填 account_id)怎么防?
答案(点击展开)
答案:核心是权威不来自模型。参数分两类:身份 / 归属类由服务端从鉴权上下文注入—— ToolExecutor.run 里 apply_server_context 把权威值覆盖到候选参数同名键上,模型或 前端就算填了别人的 id 也被盖成真值,且只覆盖该工具 schema 声明过的键;业务参数靠 schema 卡死:未知参数直接拒(模型不能「顺手多传一个」),缺必填报错、回填重试。
这正是 P1 越权坑的修复:候选参数(前端 collected_params + 模型 tool_params)一律 不可信。测试钉死:伪造 family_id=999 必须被覆盖成真值。
证据:tools.py:49-65、:68-73、:298-314;agent_loop.py:604-606; tests/domains/test_agent_chat.py:82。
Q18. 为什么选状态机而不是线性 Chain?
答案(点击展开)
答案:因为这个 Agent 只有两个动作状态——ask_clarification 和 execute_tool——外加一个 叙事出口。线性 Chain 表达不了「看上一轮工具结果决定再问还是再查」的回路;但为此上 LangGraph 这类编排框架又过重:它的核心价值(复杂图 / checkpointer 断点恢复 / 人工审批节点 / 多 Agent) 在这里收益为零。所以我用轻量循环做状态路由,且这是评估后的决策——仓库里有冻结的 ADR (decisions.md D19「不引 LangGraph」),roadmap 与代码注释三处留痕。边界也留了:状态数 超过 5、需要持久化工作流或人工审批节点时再评估引入。好处是轮次闸、取消检查点、护栏、trace 都是自己看得见的显式代码,出问题好定位。
证据:agent_loop.py:5(注释);docs/spec/decisions.md D19;agent_loop.py:418-709 (主循环全貌)。
Q19. 分支执行失败怎么回滚?
答案(点击展开)
答案:先说结论:工具层天然不需要回滚——6 个工具全部只读,查库出报告、零业务写入, 失败最多留一条 trace。会话层有两处「回滚」:① 取消路径——轮次自增前先快照 turn_count,用户按停止后,进行中的那一轮恢复快照,失败 / 取消不占用用户的轮次预算; ② 压缩路径——摘要压缩失败降级硬截断、原文保底留最近 12 条并打日志,绝不会把会话搞成 半写状态。工具失败走 error-as-observation:错误拼回 prompt 重试一次,不产生任何业务副作用。
证据:tools.py:87(全部只读)、:318(原子刀);agent_loop.py:482-496(快照恢复)、 :172-204(压缩降级)、:612-621(错误回填)。
Q20. 20 轮后丢最早的关键信息,怎么排查?
答案(点击展开)
答案:先定性:正常情况下不会丢——「最早的信息」根本不放在滚动窗口里。prompt 分五层: goal → 关键信息卡(永不压缩的硬事实)→ 滚动摘要 → 最近 3 轮原文 → 已收集参数,每层硬 截断,单轮长度与轮次无关。真要排查走三步:① 查 agent_trace,沿 turn 时间轴看哪一轮输入 变了;② 查 session.messages——超过 6 轮且超窗才触发压缩,压缩失败会打日志并降级保留最近 12 条;③ 看关键信息卡是否为空——若为空,那不是「丢了」而是抽取根本没发生。
背景(主动交代):这是我自审过的 P4——早期 history 是前端持有的无界数组,20 轮必爆, S2 改服务端会话落库后,这个风险在结构上被消掉了。
证据:agent_loop.py:14-19、:55-62、:172-204、:517-528; domains/agent/models.py:21。
Q21. 记忆分层怎么划?上下文怎么压缩?
答案(点击展开)
答案:按错误代价分层——关键信息卡(账户、标的这类硬事实,丢了就答错,永不压缩, 800 token 上限)→ 滚动摘要(旧轮次压进去,3000 上限)→ 最近 3 轮原文(保留语气与衔接)→ 已收集参数(工具决策用)。闲聊细节丢了可接受,所以进摘要。压缩触发条件是 turn_count > 6 且原文超过 8 条,把最旧轮次交给便宜模型压进摘要层(单次增量 500 上限);失败降级硬 截断、保最近 12 条——有界性优先于完整性,完整性由摘要层在下次成功压缩时补回。每层硬 上限都是代码里的显式常量,压缩前后 token 曲线在 trace 里看得到。
证据:agent_loop.py:55-62(全部常量)、:172-204(触发与降级)、:517-528(组装)。
Q22. 死循环怎么退出?
答案(点击展开)
答案:四道出口。① 轮次硬闸:AGENT_MAX_TURNS=10,计数落库在 agent_session.turn_count——重启不丢、多实例一致;早期它是进程内 dict、换个 session_id 就能绕过(我审计出的 P2),修复就是落库。② 重复追问检测:同一问法归一化后连续 3 次, 强制回标准话术、不进模型——模型没机会在循环里「越答越起劲」。③ 意图早退:预测 / 建议类越界输入进模型前就被拦成标准回复,零 token、不占轮次。④ 用户停止:停止按钮 → 服务端取消标志,循环开头、工具执行后等检查点查时间戳,命中即恢复快照返回 cancelled。 兜底:模型输出解析失败一律降级澄清,不存在「无限重解析」。
证据:guards.py:41、:211;agent_loop.py:501-509、:468-476、:438、:452、 :487-496、:557、:635;safety/repeat_tracker.py:27、:55;cancellation.py:40。
Q23. 内容安全怎么做审核校验?
答案(点击展开)
答案:三层确定性护栏 + 一条底线,全部纯函数,不赌模型自觉。输入侧:意图分类 六类(查询 / 知识 / 预测 / 建议 / 情绪 / 能力自述),预测、建议与能力自述(元问题)命中 确定性句式直接回标准话术——不进模型,顺序即成本:零 token,且模型没有机会在「用户反复 追问」下松口;情绪类不硬拦但加风险提示。输出侧:最终回复逐句扫描 R1~R10,命中句替换 为对应类别免责声明,而不是整篇拒答(事实陈述有标记词白名单豁免)。重复层:同一问法 连续 3 次强制标准话术。底线:L1 铁律进 system prompt——数值只能出自工具执行结果。
怎么校验:护栏是纯函数,46 个单测不触网、不 mock LLM 就钉死行为;评估集另有越界对抗 用例,断言「输入侧零模型调用拦截」这条确定性链路。
证据:safety/intent_guard.py:24-29、:155、:183;safety/output_filter.py:38; safety/repeat_tracker.py:27;agent_loop.py:313-320、:438。
Q24. 多轮 token 增长怎么控制?缓存 / 裁剪?
答案(点击展开)
答案:三件事,加一道钱闸。裁剪:prompt 五层硬截断,单轮与轮次无关——旧实现全量 history 无上界,20 轮必爆,这是结构性修复不是打补丁。压缩:超阈值把旧轮次压进 摘要层,用便宜模型。缓存:如实说——我没有做 prompt cache,模型侧命中率取决于厂商; 我控制的是每轮必付的部分(历史不再全量重发)。钱闸:全站当日 token 预算默认 30 万, 超限全站熔断,每次调用的真实 usage 回填计数、逐轮进 trace;再加每分钟限流、连续失败熔断 (防「失败 → 重试 → 烧钱」)、轮次上限 10 兜底。
边界(主动交代):限流 / 熔断 / 预算当前是单实例内存实现,多实例迁移 Redis 挂二期卡, 触发条件写在卡里。
证据:agent_loop.py:55-62、:517;guards.py:38、:119、:142、:179-190、 :199-211、:6、:30。
Q25. 怎么证明它稳?(不讲 P99 数字)
答案(点击展开)
答案:两件武器,都是自己建的。全链路 trace:每轮模型调用与工具执行落 agent_trace——turn 编号、状态(result / clarify / error / blocked)、选中工具、token、 上游耗时、脱敏后的输入输出,按 turn 能复原完整时间轴。回归评估集:30 条用例 YAML—— 20 条六工具覆盖 + 2 条多轮 + 8 条对抗(越界 4 / 缺参 2 / 幻觉诱导 1 / 注入 1),确定性 评分器校验状态与工具命中;我第一次跑 28/30,把失败模式修进护栏后到 30/30——28 → 30 的 过程本身就是「评估驱动改进」的证据。再加护栏 46 例纯函数单测,与全量回归 2269 例全绿。
收尾句(必答):P99 这类数字个人产品没有真实规模,我不编。
证据:domains/agent/models.py:42;agent_loop.py:231-256; tests/agent_eval/cases.yaml;scripts/agent_eval.py。
3. ⭐⭐ 故事题(现象 → 定位 → 根因 → 修复 → 防御)
Q26. 讲一个你排查 / 改过最有代表性的 Bug
答案(点击展开)
答案:P1 越权——「只校验了字段名,没校验取值」。
- 现象(发现方式):不是线上事故,是上线前的故障模式自审——我在给自己的 Agent 做 反向压力测试时问:「如果哪天工具接受账户 id 会怎样?」
- 定位:会话状态被我做成前端持有(为省服务端状态),每轮前端回传
session_state; 工具执行前merged_params = {**collected_params, **tool_params}直接合并进工具——而session_state只校验字段名与类型,不校验取值。前端只要送collected_params = {'account_id': '别人的账户'},工具就会照单全收。 - 根因:信任边界放错了——把「省事」置于「前端一切皆不可信」之上。
- 修复(两步):① 硬前置——
run_agent()增收服务端鉴权上下文,ToolExecutor.run内apply_server_context把服务端权威值覆盖候选参数同名键,前端 / 模型的值从此只是 候选;② 把会话整个收回服务端——agent_session落库,前端只回传session_id,注入面从 参数级收敛到会话级。 - 防御:测试
test_chat_p1_server_family_id_wins钉死「伪造family_id=999必被覆盖」; schema 校验拒绝未知参数,模型无法「顺手多传」。 - 一句话口径:「我把
session_state做成前端持有以省服务端状态,但只校验了字段名没校验 取值——一旦工具接受account_id就是越权。修法是鉴权上下文从服务端注入,前端回传的参数 一律视为不可信输入。」
证据:tools.py:49-65;agent_loop.py:604-606;tests/domains/test_agent_chat.py:82。
Q27. 有没有「审出来了但没全修」的取舍?为什么?
答案(点击展开)
答案:P3 多实例击穿——以及「为什么没全修」。
- 现象(同批故障模式审计):限流、连续失败熔断、当日 token 预算三道闸全是进程内内存 (dict + 锁);多实例部署下各实例各数各的,防护互相独立 = 击穿。同批还审出 P2:轮次计数器 的键含前端自选的
session_id,换 id 即绕过,且进程内 dict 无 TTL 泄漏。 - 已修的部分:① 轮次计数迁到
agent_session.turn_count落库——重启不丢、多实例一致、 不可换 id 绕过,顺带消灭内存泄漏;② 每日配额本就落库user_usage(按 user + feature + 日期唯一),有退款语义。 - 未修的部分与判断:per-minute 限流、熔断、token 预算仍是单实例内存态。我没有硬修,而是 走数据准入四问:后端未部署多实例、付费分层未立项——前三问答不出真实使用场景,判定 暂缓不实施(决策留痕、含触发条件),迁移工作挂二期卡。代码注释里明写「单实例内存实现, 多实例部署后迁移到 Redis / 用量表」,不假装它已经是分布式的。
- 教训(面试落点):「不是所有审计发现都要立刻修——判断标准是触发条件是否真实;但每个 延后项必须有卡、有触发条件、代码里有注释,不能沉默。」这恰好也是反过度设计的实践。
证据:guards.py:6、:30(内存态与迁移注释)、:43-48、:199-211; agent_loop.py:501-509;决策卡与二期卡互链。
4. ⭐⭐⭐ L3 深挖与开放题(2 分钟:决策 + 权衡 + 何时会做)
Q28. 为什么不用 LangGraph / 编排框架?
答案(点击展开)
三段式(背熟,别只答第一段):
- 为什么不用:我的 Agent 只有两个状态(追问收敛 / 工具执行),框架核心价值——复杂图、 checkpointer 断点恢复、人工审批节点、多 Agent——收益为零;
- 成本:依赖 + 黑盒 + 学习曲线,还撞「跑偏成学框架而不是做业务」的风险;
- 何时会引入(边界即加分项):状态数超过 5、需要持久化工作流与人工审批节点时, 再重新评估——届时框架的 checkpointer 才有价值。
痕迹(被追问才补):冻结 ADR(decisions.md D19)、roadmap、agent_loop.py:5 注释 三处留痕——这是「评估后的否决」,不是「没听说过」。
Q29. 个人项目和企业级比差在哪?
答案(点击展开)
答案两段式:先翻译,再认短板。
① 术语翻译(我有的,只是叫法朴素):四道闸 = 可靠性与成本护栏(rate limit / circuit break / budget);agent_trace 表 = 全链路追踪;ci.yml 质量门禁 + 守卫脚本 = CI/CD 质量 门禁与多层自动化守卫;数据准入四问 = 数据治理(按场景准入、控存储成本);decisions.md D1~D22 冻结区 = ADR 驱动的技术治理;双引擎数据域路由 = 多数据域架构与隔离。一句话: 企业级感 = 术语密度 + 叙事结构,不是规模数字——我的里子是厚的(测试体量、264 份规范 文档、11 条 CI workflow),缺的只是翻译。
② 三个真短板,问到就认,不硬编:高并发实战数字、分布式缓存 / 消息队列、metrics 监控 栈(Prometheus 类)。答法:「个人产品真实规模是 __;按反过度设计原则不预置,但架构已 留位——比如 per-user 配额迁表就是为多实例做的准备」。别套用题库里那种无出处的数字(10 万 DAU / 99.9% / QPS 2000)。
Q30. 规模上来怎么演进?(百万用户 / 高并发)
答案(点击展开)
答案骨架:不答「现在就上什么」,答「每一步的触发条件」:
- 状态外置:限流 / 熔断 / token 预算从单实例内存迁 Redis 或用量表——触发 = 多实例 部署立项(落库轮次与日配额已是底子,二期卡挂好);
- 异步化:上消息队列 —— 触发 = 出现 >30 秒的异步生成任务(现在是请求-响应式,无);
- LLM 网关:Key 池化 / 对外提供 AI 服务 / 用户自带 Key —— 触发 = 出现计费与多租户 需求;
- 评估外置:接评估平台 —— 触发 = 用例过百、多 prompt 版本 A/B、多人协作看板;
- 读路径优化:工具查询缓存 / 读写分离 —— 触发 = 热点读压到 DB;分库分表不适用 (我们走 Turso / Supabase,且规模不成立)。
收尾句:「可演进架构和过度设计的分界,就是每一步都有触发条件——我代码注释里写明了 迁移路径,卡里写明了触发条件,而不是现在就预置一半用不上的中间件。」
Q31. 工具上百个怎么办?(工具爆炸 / 工具 RAG)
答案(点击展开)
答案:先算量级——接口规模上到万级,每个 schema 约 200 token,全量注入就是数百万 token,context 装不下、模型也选不准(注入越多选择越漂)。所以那个规模下必须做「工具的 RAG」:给每个工具建索引(名 + 描述 + 参数语义),按用户意图只召回 top-K(约 20 个) 注入。方案对比:① 层级召回(先选应用再选动作)命中率高但交互重;② 语义召回 轻量但依赖 embedding 质量——实践中先语义粗排、再应用内精排结合。治理召回不准:工具 描述工程(写清何时用 / 何时不用)、用户反馈纠偏、必要时加负样本调索引;兜底:召回无 命中回退全量——漏调该用的工具比多注入更糟。
我的现状与边界:fundmate 工具少于 20 个,全量注入是正确解——token 便宜且零召回 风险;跨过 20~50 再上检索,不提前做。
Q32. 评估框架(LangSmith / promptfoo / Ragas)为什么不引?什么时候引?
答案(点击展开)
答案:现在 30 条 YAML + 一个评分脚本已覆盖核心断言(状态机走向、工具命中、是否越界), 且评分是确定性的——改一行 prompt 跑一次立刻红 / 绿。引框架 = 接平台、适配格式、多一份 依赖,且它们主打的 LLM-as-judge 会引入新的不确定评分,与我要的确定性相悖。
何时引(边界):用例上百、需要分 prompt 版本对比与看板、多人协作标注、线上采样自动回归 时再接。与 LangGraph 同一逻辑:评估后的克制,不是不会用。
Q33. 多模型怎么分工路由?
答案(点击展开)
答案:按任务风险与上下文长度分配——生成性、可容忍偏差的任务给便宜模型;意图选择与 工具调用错误代价高的主对话给强模型。
我真实在用的双通道:主对话走强模型;滚动摘要压缩走便宜模型(单次增量 500 上限)—— 压缩是「把旧内容换个说法」,错了有摘要层兜底,是最便宜模型的正确位置。要素还包括:统一 接口层(换厂商只动适配器)、失败降级链、按功能归因 token 成本(真实 usage 逐轮进 trace)。
边界:我现在就这两通道;多级路由(便宜 → 强 → 规则兜底)等多厂商接入、成本归因有真实 数据后再做。
Q34. 长上下文 / KV cache 这类理论你怎么看?
答案(点击展开)
答案:要点三条——① 窗口越长越贵(注意力计算量随长度平方级涨、KV 占存增大)且 中段召回衰减(lost in the middle,塞得多 ≠ 记得住);② prompt / KV cache 让稳定的 前缀便宜,所以 system 与工具 schema 要保持前缀稳定、别频繁变;③ 位置插值 / 外推能扩窗口 但伤精度,长文档仍应分治。
我的立场(挂回项目):这类问题我不靠窗口解决——工具只回标量、prompt 五层硬截断, 单轮有界;长记忆用摘要而不是塞原文。理论要知道,投入按问题真实度排:我窗口内没有长文档 压力,所以它是「只学不做」清单里的一条,而不是当前工程量。
Q35. 如果要加一个「写」工具(记一笔账 / 转账),架构要改什么?
答案(点击展开)
答案前提:现在的 6 个工具全部只读(查库出报告、零业务写入),所以失败无回滚问题 (Q19)。「只读 → 可写」不是加个工具,是加一条事务与信任语义,五件事:
- 信任升级:写操作不能由模型单方面触发——加确认步(把执行计划呈给用户确认, human-in-the-loop),或在意图分类里把「记账」类判为需确认后才进工具;
- 幂等:客户端生成幂等键 / 唯一约束兜底,超时重试不双写;
- 鉴权与作用域:写目标必须来自会话绑定的归属(权威覆盖同样适用),schema 收窄参数, 模型不能指定写到哪个账户;
- 审计与回滚:写前留痕、走流水式冲正(金融不能 UPDATE 抹痕迹);
- 护栏升级:输出侧拦「承诺已成功」类话术直到执行回执返回;评估集补写路径与对抗用例。
收尾句:「读和写的边界不是接口签名的变化,是确认、幂等、审计三套语义的引入——我会先把 这三条设计写进 ADR 再动代码。」
Q36. 数万异构接口怎么变成 Agent 可调用的工具?(Schema 工程)
答案(点击展开)
答案(归一 → 导入 → 兜底 三步):① 统一接口元数据模型:{auth_type, endpoint, method, params(schema), rate_limit, error_code_map}——把 OAuth2 各 grant(authorization code / client credentials)、API Key、签名(微信 / 阿里系)、Basic、JWT,query / path / body 参数风格,form vs json,JSON / XML / SOAP / GraphQL 差异全部收敛成一份标准 Tool Schema;② 导入策略:优先从 OpenAPI / Postman 导入自动推断,国内大量 SaaS 没有 OpenAPI → 手写 schema + 抓包补全兜底;③ 深挖点:字段类型归一(日期 / 分页 / 游标)、错误码标准化映射(各家 errcode → 统一 error_code)。
挂到项目:fundmate 的 TOOLS_METADATA 是同一思想的小规模版——schema 单源、双出口 (FC + MCP,见 Q5),归一化做在工具元信息层。
Q37. Agent 接进企业系统,「不能乱调」怎么保证?(安全五件套)
答案(点击展开)
答案:① 用户级 OAuth token vault:加密存储 + refresh token 轮换,Agent 只能用 「当前用户授权过」的账户,scope 最小化;② 字段级授权:配置哪些动作 / 字段可用、 哪些由 AI 填、哪些固定;③ dry-run 执行确认:敏感动作(发邮件 / 付款 / 审批)先生成 预执行 payload 页,人确认才真正发请求;④ 幂等:幂等 key 防重复建单——网络重试与 模型重复调用都会触发;⑤ 多租户隔离:token 与 action 绑定租户上下文,防越权。
挂到项目:fundmate 的对应物——服务端权威覆盖(≈①「只用授权过的」)、6 工具全只读 + 确认步设计(≈③)、唯一约束幂等(≈④);越权教训见 Q26(只校验字段名、没校验取值)。 权限按动作粒度配,不给模型万能钥匙。
Q38. 项目二:RAG 企业知识助手——权限隔离和准确性怎么做的?
答案(点击展开)
答案(三个难点各一套):① 权限隔离 RAG:按部门 / 角色做召回期过滤(row-level filtering)——权限在检索阶段就生效,敏感文档不进公域模型,必要时私有化部署;增量更新防 知识过期。② 召回质量评估:命中率 / 拒答率监控 + 评估集驱动切分与索引迭代——与 fundmate 的 30 条评估集同构,评估驱动改进。③ 非结构化 → 结构化抽取:schema 约束 从审批文本 / 客户留言抽字段生成标准 JSON 回写 CRM / ERP,抽取结果再校验兜底防错填。 编排上是显式状态图:规划(拆任务)→ 检索(找知识 / 工具)→ 执行(调接口)→ 校验 (核对结果),复杂场景自动转人工。
Q39. 项目三:营销智能 Agent——怎么自动跟进、怎么防乱来?
答案(点击展开)
答案(三条线):① 跟进自动化:按线索状态机自动跟进——触发条件 → 生成话术 → 同步 CRM,话术生成带模板与合规约束,不让模型自由发挥措辞;② 数据闭环:转化数据回传 反哺话术策略(哪类话术赢单率高就调整生成提示)——评估驱动的营销版;③ 安全边界: 外发动作走 dry-run / 确认 + 幂等(同一线索不重复触达),避免「AI 疯狂轰炸客户」。
Q40. 反问环节:你有什么想问我们的?
答案(点击展开)
四问(按优先级,挑 2~3 个问):
- 阶段与评测:团队的 LLM 应用现在处于 Demo / 内测 / 上线哪个阶段?评测集怎么建、 谁维护、prompt 改动怎么回归?——回扣自己的「评估驱动」证据域;
- 工具治理:Agent 的工具 schema 与权限模型是怎么治理的?多人 / 多团队加工具时怎么 防漂移?——回扣
TOOLS_METADATA单源 + FC/MCP 双出口的经验; - 成本治理:token 成本怎么归因到功能或用户?有没有预算、限流与熔断这类治理手段? ——回扣四道成本闸;
- 岗位期待:前三个月最希望我交付什么?——拿到真实的优先级,方便反推面试该往哪深挖。
作用:每个问题都把自己最硬的证据域放在了收尾处,面试官对你的最后印象停在「这人有 实践」上。
5. 自测表(✅ 能脱稿 / ⚠️ 半懂 / ❌ 答不上;❌ 优先重练)
| # | 题目(缩略) | 难度 | 状态 | 练习日期 |
|---|---|---|---|---|
| Q1 | Agent vs Workflow | ⭐ | ||
| Q2 | ReAct 与我的循环 | ⭐ | ||
| Q3 | Function Calling 流程 | ⭐ | ||
| Q4 | RAG vs 工具型 / 为什么不做 RAG | ⭐ | ||
| Q5 | MCP vs Function Calling | ⭐ | ||
| Q6 | 上下文工程 | ⭐ | ||
| Q7 | 幻觉治理 / 架构消掉数值幻觉 | ⭐ | ||
| Q8 | Prompt Injection / 护栏位置 | ⭐ | ||
| Q9 | Agent 评估方法 | ⭐ | ||
| Q10 | Token 成本 / prompt cache | ⭐ | ||
| Q11 | 流式 SSE | ⭐ | ||
| Q12 | 多 Agent 时机 | ⭐ | ||
| Q13 | 项目介绍(2 分钟) | ⭐⭐ | ||
| Q14 | 工具报错 / schema 不符 | ⭐⭐ | ||
| Q15 | 超时 / 降级 | ⭐⭐ | ||
| Q16 | 工具返回值校验 | ⭐⭐ | ||
| Q17 | 幻觉填参数 / 越权防 | ⭐⭐ | ||
| Q18 | 状态机 vs Chain | ⭐⭐ | ||
| Q19 | 失败回滚 | ⭐⭐ | ||
| Q20 | 20 轮丢信息排查 | ⭐⭐ | ||
| Q21 | 记忆分层 / 压缩 | ⭐⭐ | ||
| Q22 | 死循环退出 | ⭐⭐ | ||
| Q23 | 内容安全审核 | ⭐⭐ | ||
| Q24 | 多轮 token 控制 | ⭐⭐ | ||
| Q25 | 怎么证明稳 | ⭐⭐ | ||
| Q26 | 故事:P1 越权 | ⭐⭐ | ||
| Q27 | 故事:P3 多实例击穿 | ⭐⭐ | ||
| Q28 | LangGraph 三段式 | ⭐⭐⭐ | ||
| Q29 | 企业级对比 / 短板三问 | ⭐⭐⭐ | ||
| Q30 | 规模演进(触发条件) | ⭐⭐⭐ | ||
| Q31 | 工具爆炸 | ⭐⭐⭐ | ||
| Q32 | 评估框架取舍 | ⭐⭐⭐ | ||
| Q33 | 多模型路由 | ⭐⭐⭐ | ||
| Q34 | 长上下文 / KV cache | ⭐⭐⭐ | ||
| Q35 | 加「写」工具的架构变更 | ⭐⭐⭐ | ||
| Q36 | Schema 工程 / 接口归一化 | ⭐⭐⭐ | ||
| Q37 | 企业接入安全五件套 | ⭐⭐⭐ | ||
| Q38 | 项目二:RAG 知识助手 | ⭐⭐⭐ | ||
| Q39 | 项目三:营销 Agent | ⭐⭐⭐ | ||
| Q40 | 反问清单 | ⭐⭐⭐ |
关联
- Agent 工程化学习计划 —— 四维度追问链、只学不做清单、反过度设计清单
- 同目录相关文档:Python 面试-基础知识篇、 2025 面试记录
