蓝天采集器

一、产品基础定位

二、核心核心能力模块

1. 全场景网页数据采集

• 支持无限层级分页、多页面批量抓取，兼容静态页面、JS 动态渲染页面（模拟滚动、点击交互）；
• 多解析规则：XPath、正则、JSON 路径，精准提取文字、图片、文件；
• 配套 IP 代理池、自动文本翻译、图片本地化存储；
• 核心应用：为垂直大模型抓取训练素材，解决 AIGC 数据源短缺问题。

2. 数据清洗与二次加工

3. 多渠道数据导出 / 自动发布

1. 本地输出：导出 Excel 表格、存入自建数据库；
2. 建站同步：无缝对接帝国 CMS 等各类建站系统，免登录自动发布文章、分类信息；
3. 接口服务：通过远程 API 推送数据，或搭建私有数据集对外提供数据调用接口。

4. 全自动定时运维

三、完整功能特性

1. 开源无功能限制，支持用户二次开发、自定义采集 / 发布插件；
2. 可视化点选配置采集规则，零基础上手；
3. 适配动态渲染网页、图文、商品、资讯等几乎全部网页类型；
4. 代理 IP 轮换防封禁、批量图片下载本地化；
5. 定时任务、多任务同时调度；
6. 社区共享插件、云端插件库；
7. 完整问题反馈开源仓库，持续迭代更新（最新版 V3.0.1，2026 持续更新）。

四、官网配套资源入口

1. 软件安装包下载（V3.0.1）；
2. 云平台在线体验入口；
3. 官方入门使用手册；
4. 用户交流社区、开源 Git 仓库；
5. 多 QQ 交流群（473754145 等）、客服沟通二维码。

五、开源社区配套

六、适用人群与场景

1. 个人站长、自媒体：自动采集行业资讯更新网站；
2. 数据分析从业者：批量抓取行业公开数据做市场调研；
3. AIGC 研发团队：抓取垂直领域素材训练行业大模型；
4. 中小企业运营：商品、价格、竞品信息自动化监控；
5. 开发人员：二次开发定制专属数据采集工具。

七、重要使用提示

1. 软件开源免费，但使用者必须遵守《网络安全法》，仅采集自身授权、公开合规网页，禁止恶意爬取涉密、付费、受版权保护内容；
2. 部署环境要求 PHP5.4~8.2、MySQL5.5 及以上，支持 Nginx/Apache/IIS；
3. 自动化采集需合理控制抓取频率，避免对目标网站造成服务器压力，防范 IP 封禁风险。