线上问题案例面试题精编
本文档汇总了面试中常见的线上问题排查与处理案例,涵盖系统故障、性能问题、数据异常等典型场景。
一、系统故障类
案例1:服务突然宕机,如何排查?
问题现象
- 生产环境服务突然不可用
- 用户反馈页面无法访问
- 监控告警触发
排查思路
1. 确认问题范围
├── 单个实例还是全部实例?
├── 特定接口还是所有接口?
└── 特定用户还是所有用户?
2. 检查基础设施
├── 服务器资源(CPU/内存/磁盘)
├── 网络连通性
├── 数据库连接
└── 中间件状态(Redis/Kafka等)
3. 查看应用日志
├── 错误日志(ERROR级别)
├── 异常堆栈
└── 最后一条正常日志
4. 检查依赖服务
├── 下游服务是否可用
├── 第三方接口是否正常
└── 数据库是否连接超时常见原因
| 原因 | 表现 | 解决方案 |
|---|---|---|
| OOM内存溢出 | 日志出现OutOfMemoryError | 调整堆内存、排查内存泄漏 |
| 线程死锁 | CPU低但响应慢 | 线程dump分析、代码优化 |
| 连接池耗尽 | 大量等待连接超时 | 调整连接池大小、检查连接释放 |
| 磁盘满了 | 无法写入日志/数据 | 清理日志、扩容磁盘 |
| 数据库锁表 | 查询超时、事务挂起 | 杀掉长事务、优化SQL |
案例2:数据库CPU飙升100%,如何处理?
问题现象
- 数据库监控显示CPU使用率100%
- 应用响应变慢,大量超时
- 数据库连接数激增
排查步骤
sql
-- 1. 查看当前正在执行的SQL
SHOW FULL PROCESSLIST;
-- 2. 查看慢查询
SELECT * FROM mysql.slow_log
WHERE start_time > DATE_SUB(NOW(), INTERVAL 1 HOUR)
ORDER BY query_time DESC;
-- 3. 查看锁等待
SELECT * FROM information_schema.INNODB_LOCK_WAITS;
SELECT * FROM information_schema.INNODB_LOCKS;处理方案
紧急止血
- 杀掉慢查询线程:
KILL <id> - 限流降级,减少数据库压力
- 临时扩容数据库资源
- 杀掉慢查询线程:
根因分析
- 分析慢查询日志
- 检查是否缺少索引
- 确认是否有大事务
长期优化
- 添加合适的索引
- SQL语句优化
- 读写分离
- 引入缓存
二、性能问题类
案例3:接口响应时间突然变长
问题现象
- 平时100ms的接口变成3s+
- 部分用户反馈页面卡顿
- 超时错误增多
排查工具链
┌─────────────┐ ┌─────────────┐ ┌─────────────┐
│ 监控平台 │ → │ APM工具 │ → │ 日志分析 │
│ (Prometheus)│ │ (SkyWalking)│ │ (ELK) │
└─────────────┘ └─────────────┘ └─────────────┘
│ │ │
▼ ▼ ▼
查看QPS/RT 链路追踪 慢日志分析常见原因与解决
| 原因 | 诊断方法 | 解决方案 |
|---|---|---|
| 数据库慢查询 | 慢查询日志 | 优化SQL、加索引 |
| 缓存穿透 | Redis监控 | 布隆过滤器、缓存空值 |
| 下游服务慢 | 链路追踪 | 超时设置、熔断降级 |
| 垃圾回收频繁 | GC日志 | 调整堆内存、优化代码 |
| 线程池满 | 线程dump | 调整线程池参数 |
案例4:系统吞吐量下降
问题现象
- QPS从10000降到3000
- 服务器负载不高但处理能力下降
- 队列堆积
排查方向
1. 应用层面
├── 代码是否有性能瓶颈
├── 是否有同步阻塞操作
└── 线程池配置是否合理
2. 数据库层面
├── 连接池是否足够
├── 是否有锁竞争
└── 索引是否失效
3. 网络层面
├── 带宽是否打满
├── 是否有网络延迟
└── DNS解析是否正常
4. 依赖服务
├── 下游服务是否变慢
├── 第三方接口是否限流
└── 消息队列是否堆积三、数据异常类
案例5:数据不一致问题
问题场景
- 订单状态显示错误
- 库存数据与实际不符
- 用户余额异常
排查思路
1. 确定不一致范围
├── 单条数据还是批量数据
├── 什么时间开始出现
└── 是否可重现
2. 检查数据流向
├── 上游系统数据是否正确
├── 数据处理逻辑是否有bug
└── 下游同步是否成功
3. 检查并发场景
├── 是否有并发修改
├── 事务隔离级别
└── 锁机制是否正确常见解决方案
| 场景 | 解决方案 |
|---|---|
| 分布式事务 | TCC、Saga、本地消息表 |
| 并发修改 | 乐观锁(版本号)、悲观锁 |
| 数据同步延迟 | 最终一致性、对账补偿 |
| 脏数据 | 数据清洗、校验规则 |
案例6:消息队列消费堆积
问题现象
- Kafka/RabbitMQ消息堆积严重
- 消费者lag持续增长
- 业务数据延迟处理
排查步骤
bash
# Kafka查看消费者组消费情况
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--describe --group my-consumer-group
# 查看topic堆积情况
kafka-run-class.sh kafka.tools.GetOffsetShell \
--broker-list localhost:9092 \
--topic my-topic \
--time -1处理方案
临时扩容
- 增加消费者实例
- 提高消费者线程数
优化消费逻辑
- 批量消费
- 异步处理
- 过滤无效消息
长期优化
- 优化消费端代码性能
- 合理设置分区数
- 监控告警
四、网络与基础设施类
案例7:服务间调用超时
问题现象
- 服务A调用服务B频繁超时
- 部分请求成功,部分失败
- 错误率上升
排查清单
□ 网络连通性测试(ping/telnet)
□ DNS解析是否正常
□ 服务B的健康检查状态
□ 服务B的资源使用情况
□ 负载均衡配置
□ 防火墙/安全组规则
□ 服务B的线程池状态
□ 数据库连接池状态常见原因
| 原因 | 排查命令 | 解决方式 |
|---|---|---|
| 网络抖动 | ping、traceroute | 联系网络团队 |
| 服务B过载 | top、jstack | 扩容、限流 |
| 连接池耗尽 | netstat | 调整连接池 |
| DNS解析慢 | dig、nslookup | 配置hosts或DNS优化 |
案例8:容器/K8s Pod频繁重启
问题现象
- Pod状态为CrashLoopBackOff
- 服务间歇性不可用
- 重启次数持续增加
排查命令
bash
# 查看Pod状态和重启次数
kubectl get pods -o wide
# 查看Pod事件
kubectl describe pod <pod-name>
# 查看上次终止原因
kubectl get pod <pod-name> -o yaml | grep -A 10 lastState
# 查看容器日志
kubectl logs <pod-name> --previous常见原因
| 原因 | 表现 | 解决方式 |
|---|---|---|
| 健康检查失败 | Liveness探针失败 | 调整探针配置、修复应用 |
| 资源限制 | OOMKilled | 调整resources.limits.memory |
| 启动失败 | 启动即崩溃 | 检查启动命令、环境变量 |
| 依赖服务未就绪 | 启动时连接失败 | 配置init容器、重试机制 |
五、安全与异常类
案例9:疑似被攻击,流量突增
问题现象
- QPS突然增长10倍以上
- 大量异常IP访问
- 服务器资源被打满
应急处理
1. 确认攻击类型
├── DDoS攻击(流量型)
├── CC攻击(应用层)
├── 爬虫/刷接口
└── 暴力破解
2. 紧急防护
├── 开启WAF防护
├── IP黑名单
├── 限流熔断
└── 接入高防IP
3. 分析溯源
├── 分析访问日志
├── 识别攻击特征
└── 收集攻击证据案例10:敏感数据泄露风险
问题场景
- 日志中打印了敏感信息
- 接口返回了不该暴露的数据
- 数据库被未授权访问
处理方案
| 场景 | 处理措施 |
|---|---|
| 日志泄露 | 脱敏处理、日志分级 |
| 接口泄露 | 字段过滤、权限校验 |
| 数据库泄露 | 改密、审计、加固 |
| 代码泄露 | 撤销密钥、代码扫描 |
六、面试回答技巧
STAR法则
S - Situation(情境)
"当时生产环境出现XX问题,影响了XX用户"
T - Task(任务)
"我的职责是在最短时间内定位并解决问题"
A - Action(行动)
"我采取了以下步骤:1. 2. 3."
R - Result(结果)
"最终在XX时间内解决,并做了XX优化避免再次发生"加分项
- ✅ 提到监控告警体系
- ✅ 提到应急预案和SOP
- ✅ 提到事后复盘和改进
- ✅ 提到自动化工具的使用
- ✅ 体现团队协作和沟通
减分项
- ❌ 只说问题不说解决方案
- ❌ 忽略业务影响评估
- ❌ 没有事后总结
- ❌ 过度依赖重启解决
七、一句话总结
线上问题处理 = 快速止血 + 准确定位 + 彻底解决 + 复盘改进
核心能力:冷静分析、系统思维、工具熟练、沟通协作。
