产业研究资料归档
在用户要求「原始资料都要留下来」、出处可复核、或后续正式行研必须能指回抓取件时使用。归档与写作可并行:先建目录再边查边存,不要写完再补。
目录约定
在本次工作目录下建 `source-archive/`(或用户指定的等价目录):
- `00-出处清单.md`:唯一索引,一行一条。
- `pages/`:可读正文(优先 Markdown,保留标题与主要段落)。
- `raw-html/`:必要时留原始 HTML。
- `pdfs/`:官方文件、年报、招股书、监管 PDF。
- `screenshots/`:官方监管页、统计公报页的整页截图(至少覆盖正文直接引用的关键法条与统计页)。
- `working-papers/`:摘录与对照表,须标注来源 URL,不得冒充原文。
每条抓取文件头写 YAML:`url`、`title`、`fetched_at`(用户时区)、`source_type`(监管 / 统计 / 交易所 / 官网 / 媒体 / 学术)、`note`(失败原因或口径限制)。
抓取规则
1. 先把候选 URL 去重,写入出处清单,再抓。清单字段:序号、标题、URL、类型、抓取结果、本地路径。
2. 政府与监管原文优先官网,不用转载站当正文。指导原则若只有转载,清单标注「通告可核、全文见于转载站」。
3. 交易所与指定信息披露网站的申报 / 年报整份留下,正文引用页码或章节。
4. 媒体只收具名记者或可核验通讯社稿;付费墙、WAF、404、登录墙在清单里如实记失败,不编造正文。
5. 营销页、竞品评测、网盘报价可存作「线索」,在清单标注「非独立事实源」。
6. 咨询 TAM、核心市场、带动规模若出现,存原文并在清单标「不可比,不进正文加总」。
7. 截图用于官方页面的证据,不替代 Markdown 摘录。一张图对应一条清单记录。
8. 报告正文与 PDF 图表用到的每一个数字,清单里都要有对应条目;图表脚本不得另引入未归档数字。
纪律
- 正文里出现的每一处硬数字和法条,清单里必须有对应 URL 与本地文件(或明确的失败记录)。
- 不要把工作区绝对路径写进对外报告;对外只写「同期工作底稿」。
- 阶段性打一个压缩包,压缩包内含出处清单,方便移交。
- 抓取失败不删条目。404、WAF、412、付费墙都留在清单里,供「尚待核实」章节使用。
完成后
向用户交付:出处清单路径、成功 / 失败条数、压缩包。正式行研引用时只使用清单里已存在的条目。