CASE 03 · 统一管线日常运行中
社媒爬虫运维 Agent 体系
本文中的客户、供应商、站点与内部编号均已脱敏。
01场景
9 个内容采集项目由不同时期、不同人搭建,互不相干。运维全靠人在盯:谁今天没跑、哪条选择器失效了、哪个 IP 被限了,只能一个一个去看。
02我重新定义的问题
我对这几个项目不了解,工程判断也不够。所以第一步不是改代码,是把每个项目的方案、目录、依赖、调度方式读一遍,先拿到事实再谈重构。
事实拿全了才谈得上「统一」。拿不全就动手,只会得到一个看起来统一、实际更难维护的东西。
事实拿全了才谈得上「统一」。拿不全就动手,只会得到一个看起来统一、实际更难维护的东西。
03我做的
- 统一外围结构:用一套统一的爬虫技术架构改造外围结构以支持集中运维,核心采集功能不动——不碰别人验证过的逻辑。
- 运维 Agent 体系:8 个注册工具 + 独立 JSON 输入契约、5 份系统提示词、ReAct + 两阶段委派协议(Agent 只出 candidate,父程序独立验证后才 final)。
- 四重门禁:环境白名单 / 只读优先 / 审计留痕 / 高危动作人工确认。
- 运维形态收敛:从「逐项目盯」变成每天审批一份运维日报。
04结果
9 个 / 11 条
统一重构的项目数与定时任务数
8 个工具
运维 Agent 的注册工具数
1 份日报
每天要人工审批的运维结论,从 N 份降到 1 份
05技术
06边界与诚实说明
日常跑的是「公用 Agent + 定时任务」这条统一管线,这部分是稳定的。
新体系仍在搭建中:6 项验收门禁目前通过 4 项,「真实两阶段委派」与「生产应用」两项未通过(卡在模型接口限流);指标聚合尚未落盘。
我把没做完的部分写在这里,是因为它决定了别人能不能真的依赖这套东西。
新体系仍在搭建中:6 项验收门禁目前通过 4 项,「真实两阶段委派」与「生产应用」两项未通过(卡在模型接口限流);指标聚合尚未落盘。
我把没做完的部分写在这里,是因为它决定了别人能不能真的依赖这套东西。