7大自媒体平台一键抓取！自媒体爬虫神器
自媒体人必备的数据采集利器，支持小红书/抖音/B站等主流平台
如果想单独使用某音的直播弹幕、礼物等数据，可以看我前期的文章，里面有我个人开发的网站，可以满足。
一、项目介绍
MediaCrawler由开发者NanmiCoder倾力打造，可以高效抓取7大自媒体平台上的视频、图片、评论、点赞和转发等信息。(支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。)
基于Python构建，已收获GitHub Star 35k+ ！，通过创新性地 保留登录态浏览器环境，巧妙绕过平台加密防线，将逆向难度降低80%！
技术关键：
这套方案避免硬刚JS逆向
更多技术细节及用法请进入Github仓库查看，项目地址留在文末
二、覆盖平台与功能矩阵平台支持完整度对比
平台关键词搜索ID精准抓取二级评论创作者主页代理IP池词云生成
小红书
抖音
快手
B站
微博
贴吧
知乎
特色功能：
多种数据存储方式：
三、手把手环境搭建基础环境准备
# 进入项目目录
cd MediaCrawler
# 安装依赖（使用清华镜像加速）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 安装Playwright内核
python -m playwright
运行场景1：小红书关键词采集（扫码登录）
# 关键词可以在配置文件里面修改 ，里面都有中文注释
python main.py --platform xhs --lt qrcode --type search
执行流程：
自动打开二维码登录页
使用小红书APP扫码授权
抓取关键词相关帖子+评论+点赞数据
场景2：抖音视频精准抓取（指定ID）
python main.py --platform dy --lt cookie --type detail --target-ids “video_id1,video_id2”
优势：直接读取本地cookie文件，无需重复登录
python main.py --platform xhs --lt qrcode --type search
python main.py --platform xhs --lt qrcode --type detail
python main.py --help
法律合规红线
所有使用者务必严格遵守
本工具仅限技术交流与学术研究，
严禁用于：
项目star
免责声明：本站为个人博客，博客所发布的一切修改补丁、注册机和注册信息及软件的文章仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。本站信息来自网络，版权争议与本站无关，您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。
访问和下载本站内容，说明您已同意上述条款。本站为非盈利性站点，VIP功能仅仅作为用户喜欢本站捐赠打赏功能，本站不贩卖软件，所有内容不作为商业行为。
评论(0)