URL 采集管线的通用方法与三级兜底

问题：同一件事被做了三遍

档案构建、市场洞察、竞争分析都需要「给一个网址 → 取回内容 → 入库」，早期各模块各写一套采集逻辑，落库键、判定口径、失败处理各不相同。10 月 29 日把这些实例收敛为一份通用方法 v1.1，成为单一权威源：实例文档与它冲突时以它为准并回改实例。新场景直接实例化，不再另起炉灶。

八条不变量里最关键的三条

1. URL 是唯一锚点：原始正文或截图文字只是「网址抓不动时的替代内容」，必须挂在同一个 URL 上；URL 必填，缺则判失败。落库键与管线逐字一致，同一 URL 幂等。
2. 归属必绑业务线：竞争是「某一业务线之下的竞争」，竞品数据必须写进该业务线的作用域行，下游按行读取。不绑定就等于游离在作用域外，下游读不到。
3. 通道不专属：三类场景共用同一采集通道、同一入库工具与同一套闸门。

素材三级兜底链

按渠道可达性实测（部分平台有 IP 风控、登录墙、动态渲染限制）定为：

1. URL 摄取——首选，直接抓取。
2. 浏览器读屏——用户自己在浏览器里完成登录与验证后，把读到的内容挂回原 URL 提交；平台不代填密码、验证码或滑块，账号风险由用户自行掌握。
3. 用户全选 / 截图——轻量可靠的最后一层。

采集责任也一并归位：解析失败即标记 failed 并附原因，交由调用侧处理，不对强反爬渠道反复发起无效抓取。

三道闸门

写入前校验素材来源（不允许用文档替代真实素材）→ 用户确认门禁 → 写入后回读校验。配合契约版本化与测试断言，保证「确认过的内容」和「落库的内容」一致。

从字段治理到方法统一

9 月 15 日先完成业务 URL 的唯一来源治理：业务网址统一由渠道项承载，平台托管的店铺页属于推广渠道，不能拿来充当评估目标。10 月 29 日的通用方法把这条结论推广到全部采集场景，评价区数据也按真实渠道键回灌，未标明渠道的进保留键、不参与平台对比与加权。

衔接

• 开放接入如何复用这条通道：MCP 开放接入与工具权限
• 由它沉淀出的治理原则：工程方法论与治理原则