CASE 03 · 统一管线日常运行中

社媒爬虫运维 Agent 体系

阶段:统一管线日常运行中 · 规模:9 个项目 / 11 条定时任务 · 形态:公用 Agent + 定时任务

本文中的客户、供应商、站点与内部编号均已脱敏。

01场景

9 个内容采集项目由不同时期、不同人搭建,互不相干。运维全靠人在盯:谁今天没跑、哪条选择器失效了、哪个 IP 被限了,只能一个一个去看。

02我重新定义的问题

我对这几个项目不了解,工程判断也不够。所以第一步不是改代码,是把每个项目的方案、目录、依赖、调度方式读一遍,先拿到事实再谈重构。
事实拿全了才谈得上「统一」。拿不全就动手,只会得到一个看起来统一、实际更难维护的东西。

03我做的

  • 统一外围结构:用一套统一的爬虫技术架构改造外围结构以支持集中运维,核心采集功能不动——不碰别人验证过的逻辑。
  • 运维 Agent 体系:8 个注册工具 + 独立 JSON 输入契约、5 份系统提示词、ReAct + 两阶段委派协议(Agent 只出 candidate,父程序独立验证后才 final)。
  • 四重门禁:环境白名单 / 只读优先 / 审计留痕 / 高危动作人工确认。
  • 运维形态收敛:从「逐项目盯」变成每天审批一份运维日报。

04结果

9 个 / 11 条
统一重构的项目数与定时任务数
8 个工具
运维 Agent 的注册工具数
1 份日报
每天要人工审批的运维结论,从 N 份降到 1 份

05技术

Python + PowerShell 编排指纹浏览器 + CDPReAct + 两阶段委派独立 git 仓库 ×9沙盒 + 审计留痕

06边界与诚实说明

日常跑的是「公用 Agent + 定时任务」这条统一管线,这部分是稳定的。
新体系仍在搭建中:6 项验收门禁目前通过 4 项,「真实两阶段委派」与「生产应用」两项未通过(卡在模型接口限流);指标聚合尚未落盘。
我把没做完的部分写在这里,是因为它决定了别人能不能真的依赖这套东西。