MediaCrawler 是一款开源的多平台自媒体数据采集工具。它基于真实浏览器自动化(Playwright)与登录态保持,无需逆向平台加密即可抓取笔记 / 视频 / 帖子的详情、评论与创作者主页数据,并一键导出为多种格式。
面向内容研究、竞品洞察与舆情分析的公开数据采集,覆盖从「搜索」到「精读」的完整链路。
输入关键词,批量抓取各平台搜索结果下的笔记 / 视频 / 帖子及其元数据。
给定帖子 / 视频 ID 或链接,精准抓取单条内容的完整字段与互动数据。
抓取指定博主 / UP 主主页下的全部作品与公开资料,追踪账号内容矩阵。
深入抓取一级评论与楼中楼回复,还原完整讨论场景,适合舆情分析。
扫码或 Cookie 登录后保存会话,用真实浏览器环境采集,稳定性更好。
可接入代理 IP 池,控制并发与请求频率,降低对目标平台的压力。
一套控制台,切换平台即可采集。
采集结果可直接落地为文件或数据库,方便后续清洗与分析。
全程在网页控制台操作,无需命令行。
访问 crawler.boihk.com,输入访问令牌解锁 MediaCrawler Command Center。
从小红书 / 抖音 / 知乎等平台中选择目标,设定搜索 / 详情 / 创作者模式与关键词或 ID。
使用扫码或 Cookie 登录目标平台账号,控制台实时显示采集进度与日志。
采集完成后,将数据导出为 CSV / Excel / 数据库等格式,进入你的分析流程。
后端 FastAPI 驱动爬虫、前端 React 控制台,浏览器层由 Playwright 自动化。本站部署于服务器无头模式(headless)。