🕷️
MediaCrawler

一个工具,采集七大自媒体平台的公开内容

MediaCrawler 是一款开源的多平台自媒体数据采集工具。它基于真实浏览器自动化(Playwright)与登录态保持,无需逆向平台加密即可抓取笔记 / 视频 / 帖子的详情、评论与创作者主页数据,并一键导出为多种格式。

Playwright 浏览器自动化 扫码 / Cookie 登录 关键词 · 详情 · 创作者 评论 & 二级评论 多格式导出
核心能力

它到底能做什么?

面向内容研究、竞品洞察与舆情分析的公开数据采集,覆盖从「搜索」到「精读」的完整链路。

🔎

关键词搜索采集

输入关键词,批量抓取各平台搜索结果下的笔记 / 视频 / 帖子及其元数据。

📄

指定内容详情

给定帖子 / 视频 ID 或链接,精准抓取单条内容的完整字段与互动数据。

👤

创作者主页采集

抓取指定博主 / UP 主主页下的全部作品与公开资料,追踪账号内容矩阵。

💬

评论 & 二级评论

深入抓取一级评论与楼中楼回复,还原完整讨论场景,适合舆情分析。

🔐

登录态保持

扫码或 Cookie 登录后保存会话,用真实浏览器环境采集,稳定性更好。

🌐

IP 代理池支持

可接入代理 IP 池,控制并发与请求频率,降低对目标平台的压力。

支持平台

七大主流自媒体平台

一套控制台,切换平台即可采集。

📕
小红书Xiaohongshu · xhs
🎵
抖音Douyin · dy
🎬
快手Kuaishou · ks
📺
哔哩哔哩Bilibili · bili
🌊
微博Weibo · wb
💬
百度贴吧Tieba · tieba
🧠
知乎Zhihu · zhihu
持续更新跟随上游仓库
采集模式

三种爬取模式

Search 关键词搜索 Detail 指定详情 Creator 创作者主页
登录方式

两种登录方式

QRCode 扫码登录 Cookie 登录
数据导出

想要什么格式都行

采集结果可直接落地为文件或数据库,方便后续清洗与分析。

CSVJSONJSONL Excel SQLiteMySQL PostgreSQLMongoDB
如何使用

四步开始采集

全程在网页控制台操作,无需命令行。

打开控制台并输入访问令牌

访问 crawler.boihk.com,输入访问令牌解锁 MediaCrawler Command Center。

选择平台与采集模式

从小红书 / 抖音 / 知乎等平台中选择目标,设定搜索 / 详情 / 创作者模式与关键词或 ID。

扫码登录目标平台

使用扫码或 Cookie 登录目标平台账号,控制台实时显示采集进度与日志。

导出结果

采集完成后,将数据导出为 CSV / Excel / 数据库等格式,进入你的分析流程。

技术架构

底层是怎么跑起来的

后端 FastAPI 驱动爬虫、前端 React 控制台,浏览器层由 Playwright 自动化。本站部署于服务器无头模式(headless)。

🐍Python 3.11爬虫核心
🎭Playwright浏览器自动化
FastAPI后端 API
⚛️React + ViteWebUI 控制台

⚠️ 合规与使用须知

  • 本工具基于「非商业学习许可(NON-COMMERCIAL LEARNING LICENSE)」,仅供学习与研究,不得用于任何商业用途。
  • 使用时应遵守目标平台的用户协议与 robots.txt 规则,合理控制请求频率,避免对平台造成运营干扰。
  • 不得进行大规模爬取,不得采集用户隐私数据,不得用于任何非法或不当用途。
  • 采集到的数据请自行确保合法合规使用,风险与责任由使用者自行承担。