REPO·RANK #588·0/6 firing·Python
Rank#588Python
Cross-signal0.00 / 6.0
Quiet across tracked channels.
Cross-signal · 30D+0
GitHubQUIET+0 stars24h
HackerNewsQUIET0 posts7d
RedditQUIET0 posts7d
BlueskyQUIET0 posts7d
Dev.toQUIET0 posts7d
XQUIET0 posts7d
Stars49.5k+93 7d+0 today
Forks10.5k+0 7d21% fork ratio
Contribs0+0 30dsolo-led
Momentum15.52.8stars-velocity score
SurfaceTHIN1 / 6last commit 12d ago
Coverage1 / 13 sources fired (7d)
·
NanmiCoder/MediaCrawler sits at 49,495 GitHub stars with steady Python traction — organic growth keeps it on the trending list.
// 01 · GITHUB MOMENTUM
15.5
0 stars 24h | +93 7d
// 02 · MENTIONS
10
10 in 24h | 1 source
// 03 · CROSS-SIGNAL
0.00
0/6 channels firing
// 04 · PACKAGE ADOPTION
-
no linked package yet
// 05 · PROJECT SURFACE
thin
last commit 12d ago
// 01
Breakdown
How is this scored?
- 6.0
- strong signal across ≥5 of 6 channels
- 5.0
- strong signal across ≥4 of 6 channels
- 4.0
- strong signal across ≥3 of 6 channels
- 3.0+
- active on 2+ channels
- <1.0
- low or no cross-channel activity
Each channel contributes 0-1. Per-channel tiers: GitHub (breakout 1.0 / hot 0.7 / rising 0.4), HN (front-page 1.0 / ≥3 mentions 0.7 / 1-2 mentions 0.4), Bluesky (≥5 mentions 1.0 / 2-4 0.7 / 1 0.4), dev.to (≥3 articles 1.0 / 2 0.7 / 1 0.4), Reddit (corpus-normalized 48h velocity), X (≥10 mentions 24h 1.0 / 3-9 0.7 / 1-2 0.4).
- GitHub momentum0.00
- Reddit0.00
- HackerNews0.00
- Bluesky0.00
- dev.to0.00
- X (Twitter)0.00
* Reddit bar shows a per-repo velocity proxy (raw score / 100); the score formula uses the corpus-normalized version so a single repo's bar may not match its contribution to the corpus-wide ranking.
// KNOWN REPO · PACKAGE · LAUNCH · SITE SURFACES
GitHubNanmiCoder/MediaCrawler49.5k starsWebsitenanmicoder.github.iosite found; profile scan queued
Docspendingdocs scanner pending
npmnoneno linked npm package
ProductHuntnoneno launch linked
Paper/modelpendingHF/arXiv resolver not attached yet
// 02
Growth
Today
49.4k
+74 last 24h
7d
+74
0% wow
30d
+74
0% mom
Spike
+49.4k/d
1d ago · peak day
// 03
Mentions
// last scanreddit 8mhn 3mbluesky 1hdevto 2hph 1hnpm 10h
- X→ OPEN
总结一下发过所有的爬虫，通常都是免费/付费模式 Magnitude 免费开源的 AI 浏览器自动化框架，适合复杂网页的数据采集 基于视觉 AI，自然语言控制浏览器，支持导航、交互、数据提取、自动化校验等 GitHub： github.com/magnitudedev/magn… Chat4Data 免费 AI 爬虫插件，Chrome 扩展，零代码，聊天式操作 支持自然语言采集、自动识别多种数据、自动分页抓取 官网： chat4data.ai Automa 浏览器拖拽自动化流程工具，支持爬虫、录像、日志等，零代码 可视化模块连接，自动填表、批量任务、截图、数据抓取等 GitHub： github.com/AutomaApp/automa 官网： automa.site/ Crawl4AI 现代化、LLM 友好的开源爬虫，近 50K 星 极速网页爬取、内容抽取、输出 Markdown，支持多种结构化抽取方式 GitHub： github.com/unclecode/crawl4a… MediaCrawler 开源免费，支持国内主流社媒平台公开信息抓取 支持小红书、抖音、快手、B站、微博、贴吧、知乎等，基于 Playwright 自动化 GitHub: github.com/NanmiCoder/MediaC… WaterCrawl 支持高级网页爬取，精准内容提取，自定义选择器，内置 OpenAI 集成 GitHub： github.com/watercrawl/WaterC…▶ Twitter5h ago - X→ OPEN
最近试了几个爬虫工具，分享下我的使用体验 做 AI Agent 的时候，数据采集是最头疼的环节。 MediaCrawler（45K+ stars） 如果你要做国内社交媒体的内容抓取，这个几乎是唯一选择。 支持的平台很全：小红书、抖音、B站、微博、快手、知乎、百度贴吧。代码质量不错，社区活跃，更新也及时。 唯一的缺点是它专注国内平台，如果你想抓 Twitter，这就帮不上忙了。 Agent-Reach（8K+ stars） 这个工具的口号是"给你的 AI Agent 一双眼睛"。 支持的平台很广：Twitter、Reddit、YouTube、GitHub、B站、小红书。最重要的是它声称零 API 费用，一条命令就能抓取多平台内容。 但我实测下来，它的稳定性存疑。因为它依赖反向工程，平台一更新可能就挂了。如果你是个人项目、预算有限，可以试试；但如果是生产环境，建议还是用官方 API。 jina-cli（226 stars） 一个极简的 URL 解析工具，可以把任意网页转成 LLM 友好的格式（Markdown/Text）。 我用它来快速抓取新闻、博客、文档页面。它的设计理念就是给 AI Agent 用的，所以输出的格式很干净。 不过它受登录墙限制，想抓 Twitter 时间线是不行的。单页抓取没问题，批量采集就别想了。 x-tweet-fetcher（ythx-101，407 stars） 这是专门为 Twitter 打造的工具。 支持抓取推文串、mentions、时间线，还内置了 LLM 分析功能。我现在的 AI 早报就是用它来巡逻 Twitter 账号的。 它的优势是深度集成 AI 分析，支持自动巡逻和智能筛选。缺点是部署有点复杂，而且文档不算完善。 怎么选？ 抓国内社交媒体MediaCrawlerTwitter 舆情监控x-tweet-fetcher 零成本多平台抓取Agent-Reach（备用） 快速解析单页内容jina-cli 工具只是手段，选适合自己场景的就行。 GitHub 链接： MediaCrawler: github.com/NanmiCoder/MediaC… jina-cli: github.com/geekjourneyx/jina… Agent-Reach: github.com/Panniantong/Agent… x-tweet-fetcher: github.com/ythx-101/x-tweet-…▶ Twitter5h ago - X→ OPEN
推荐一个开源工具项目： MediaCrawler。 它针对小红书、抖音、快手、B 站、微博、贴吧、知乎等主流平台，直接提供现成的评论与内容爬取能力，适合用来做数据分析、选题研究或内容观察。 做内容分析或舆情整理时，真正麻烦的往往不是平台多，而是每个平台的评论结构都不一样。 项目把不同平台的逻辑抽象成统一流程，上手成本不高，不需要为每个平台单独重写一套爬虫。 项目地址： nanmicoder.github.io/MediaCr… 如果你经常需要从多个内容平台获取真实用户反馈，这个项目能省下大量重复劳动。▶ Twitter5h ago - X→ OPEN
最近在折腾 OpenClaw 的数据采集能力，调研了一圈目前自媒体或者网站数据获取的工具 1、agent-reach各社媒平台数据获取： github.com/Panniantong/Agent… 2、opencli浏览器自动化： github.com/jackwener/opencli 3、bb-browser 浏览器就是api： github.com/epiral/bb-browser 4、web-access补上claude code联网策略 + CDP 浏览器操作 + 站点经验积累的能力： github.com/eze-is/web-access 5、wechat_articles_spider公众号爬取： github.com/klin-h/wechat_art… 6、 r.jina.ai [真实URL] 获得任何网页纯Markdown： nitter.tiekoetter.com/vista8/status/20353696… 7、6551资讯SKILL： clawhub.ai/infra403/opentwit… 、 clawhub.ai/infra403/opennews… 8、MediaCrawler - 自媒体平台爬虫，做国内平台： github.com/NanmiCoder/MediaC… 9、xcrawl API 服务，简单高效，省心选择，搭配openclaw使用更佳： docs.xcrawl.com/zh/doc/devel… ，现在注册即可获得1000积分： xcrawl.com/ 10、Obsidian插件：Obsidian Web Clipper，实现一键将网页内容保存Obsidian，可同步X文章，还可以在线阅读▶ Twitter5h ago - X→ OPEN
国内社媒数据采集这块，绕了一圈还是 MediaCrawler。 github.com/NanmiCoder/MediaC… 49.0k Star，非商用学习许可，每周更新 这个仓库专门做了对抗： 1.验证码识别绕过 2.Cookie 算法逆向 3.风控参数模拟 4.Docker 一键部署 覆盖小红书、抖音、B 站、微博的笔记、评论、视频深度获取 非商用学习许可，所以自己研究和拆对标号都可以，集成进商业产品的不行。▶ Twitter5h ago - X→ OPEN
转：最近在折腾 OpenClaw 的数据采集能力，调研了一圈目前自媒体或者网站数据获取的工具 1、agent-reach各社媒平台数据获取： github.com/Panniantong/Ag … 2、opencli浏览器自动化： github.com/jackwener/open … 3、bb-browser 浏览器就是api： github.com/epiral/bb-brow … 4、web-access补上claude code联网策略 + CDP 浏览器操作 + 站点经验积累的能力： github.com/eze-is/web-acc … 5、wechat_articles_spider公众号爬取： github.com/klin-h/wechat_ … 6、 r.jina.ai [真实URL] 获得任何网页纯Markdown： x.com/vista8/status/ … 7、6551资讯SKILL： clawhub.ai/infra403/opent …、 clawhub.ai/infra403/openn … 8、MediaCrawler - 自媒体平台爬虫，做国内平台： github.com/NanmiCoder/Med … 9、xcrawl API 服务，简单高效，省心选择，搭配openclaw使用更佳： docs.xcrawl.com/zh/doc/devel… … ，现在注册即可获得1000积分： xcrawl.com 10、Obsidian插件：Obsidian Web Clipper，实现一键将网页内容保存Obsidian，可同步X文章，还可以在线阅读▶ Twitter5h ago - X→ OPEN
如何白嫖超过 8999u 的私域变现心法！ 一个持续被低估的2000粉博主 昨天， @Leobai825 天策 上了 xhunt 流量榜一 作为真正的头部私域职业玩家，他带领许多人成功运营变现并在这个动盪的时代赚到适当的钱 但其实除了他之外，有一个人 他曾经一个晚上带 @ChengYi3629 滚出234倍的收益 并在小红书及公众号上成功变现 A7 并带无数人做转化 22岁更成为 公司部门负责人 他叫 方外之域 顶级的头部私域玩家 当然 阅读完这篇贴文后我相信不少人也会想知道如何去抓这些热点 底下附赠3+5个神器，免费暴力抓取小红书以及各种平台的热点，并让你快速变现 1.多平台神器（小红书 + 抖音 + 其他私域平台一次搞定）：MediaCrawler（最推荐！） GitHub: github.com/NanmiCoder/MediaC… 支援小红书笔记/评论、抖音影片/评论、快手、B站、微博、知乎、贴吧等。 功能：关键字搜寻热点、指定 ID 抓取、二级评论、词云生成、IP 代理池。基于 Playwright 模拟真实浏览器，零逆向门槛。 适合抓全网私域热点，一行程式码就能跑小红书热搜笔记。 2.Spider_XHS GitHub: github.com/cv-cat/Spider_XHS 纯小红书专用爬虫 + 全域运营工具。 功能：抓笔记存 Excel / 图片 / 影片、AI 一键改写并直接上传。已超过 3000+ Star，适合私域内容批量采集与再创作。 3.XHS-Spider GitHub: github.com/xisuo67/XHS-Spide… 颜值超高的 GUI 介面工具，适合新手。 功能：批量下载小红书笔记、图片、影片资源，直接点选抓取。 全网抓取工具： 1.daily-hot-mcp：专抓全网每日热点，内建 get-xiaohongshu-trending 直接拉小红书热榜。 GitHub: github.com/fancyboi999/daily… 2.OneAPI：提供现成 API（小红书/抖音用户资讯、影片列表、点赞评论、综合搜寻）。 GitHub: github.com/getoneapi/OneAPI 3.LittleCrawler：轻量版，多平台（小红书、知乎、闲鱼）。 GitHub: github.com/pbeenigg/LittleCr… 4.MindSpider：AI 驱动，能自动辨识热点话题并跨平台抓取（含小红书）。 GitHub: github.com/666ghj/MindSpider 5.抖音专用热榜：douyin-hot-hub：每小时自动抓抖音热榜、明星榜、音乐榜，按天存档。 GitHub: github.com/lonnyzhang423/dou…▶ Twitter5h ago - X→ OPEN
做自媒体和数据采集的，这10个工具基本覆盖了从社交平台到网页到公众号的全链路抓取（养龙虾的必装） 围绕OpenClaw生态整理的一套数据获取工具集，按场景分类👇 → Agent-Reach — 一个CLI打通Twitter、Reddit、YouTube、GitHub、B站、小红书的读取和搜索，零API费用 ⭐ 11,208 🍴 830 🔗 github.com/Panniantong/Agent… → opencli — 把任何网站和工具变成命令行接口，AI Agent可以通过统一的AGENT.md直接发现、学习和执行操作 ⭐ 8,292 🍴 677 🔗 github.com/jackwener/opencli → bb-browser — 浏览器就是API，CLI + MCP server让AI Agent直接控制Chrome，带登录态操作 ⭐ 3,009 🍴 311 🔗 github.com/epiral/bb-browser → web-access — 给Claude Code补上完整联网能力，三层通道调度 + 浏览器CDP + 并行分治 ⭐ 1,986 🍴 163 🔗 github.com/eze-is/web-access → wechat_articles_spider — 微信公众号文章爬取，不用抓包工具的轻量方案 ⭐ 302 🍴 36 🔗 github.com/klin-h/wechat_art… → r.jina.ai — 输入任何URL，直接返回纯净Markdown格式的网页内容 🔗 r.jina.ai → 6551资讯SKILL — OpenClaw上的资讯聚合技能 🔗 clawhub.ai/infra403/opent 🔗 clawhub.ai/infra403/openn → MediaCrawler — 国内平台全家桶爬虫，覆盖小红书、抖音、快手、B站、微博、百度贴吧、知乎的笔记/视频/评论抓取 ⭐ 46,798 🍴 10,066 🔗 github.com/NanmiCoder/MediaC… → xcrawl — API形式的爬虫服务，注册送1000积分，搭配OpenClaw使用 🔗 xcrawl.com → Obsidian Web Clipper — Obsidian插件，一键保存网页内容到笔记库，支持同步X文章和在线阅读 做内容、做调研、做竞品监控，这套组合基本够用。MediaCrawler接近4.7万星说明国内平台数据抓取的需求一直很刚性▶ Twitter5h ago - X→ OPEN
给大家推荐一个开源项目 MediaCrawler 它可以抓取多个主流平台的公开数据，包括 小红书、抖音、快手、B站、微博、百度贴吧、知乎 等内容与评论信息，用于数据分析、舆情研究或内容趋势观察。  项目地址： github.com/NanmiCoder/MediaC…▶ Twitter5h ago - X→ OPEN
最近在折腾 OpenClaw，发现制约 Agent 进化的往往不是智商，而是数据“鲜度”和“纯度”。 调研了一圈主流的自媒体和网站采集工具，整理出一份我的私藏清单，建议收藏： 1️⃣ 垂直平台“收割机” MediaCrawler：国内社媒（红/抖/站/快）的全能爬虫，懂的人都懂。 🔗 github.com/NanmiCoder/MediaC… Agent-Reach：专门适配 Agent 的社媒数据获取，接入灵活。 🔗 github.com/Panniantong/Agent… wechat_articles_spider：公众号历史文章采集的最佳实践。 🔗 github.com/klin-h/wechat_art… 2️⃣ 浏览器即 API（深度交互） Web-access：补齐了 Claude Code 联网策略，支持 CDP 浏览器操作。 🔗 github.com/eze-is/web-access BB-browser / OpenCLI：把浏览器变成可编程的 API，适合处理各种反爬和动态加载。 🔗 github.com/epiral/bb-browser 🔗 github.com/jackwener/opencli 3️⃣ LLM 喂料与结构化 r.jina.ai ：一行代码网页转 Markdown，Jina 依然是目前体验最好的。 Xcrawl：推荐搭配 OpenClaw 使用，现在注册还送 1000 积分，简单省心。 xcrawl.com/?keyword=dptgb4sd Crawl4AI：2026 年最火的开源爬虫，专门为 RAG 和 Agent 设计。 🔗 github.com/unclecode/crawl4a… 4️⃣ 搜索与 MCP 生态 Clawhub：提供的 OpenTwitter 和 OpenNews MCP 插件，是 OpenClaw 的原生搭档。 🔗 clawhub.ai/infra403/opentwit… Valyu：Brave 免费额度调整后的首选搜索替代品，质量极高。 5️⃣ 知识闭环 Obsidian Web Clipper：所有采集到的精华，最后都要通过它一键沉淀到 Obsidian，形成自己的“第二大脑”。 🔗 obsidian.md/clipper 💡 总结：对于独立开发和内容创作者，我目前的推荐组合是：OpenClaw + Xcrawl (API) + MediaCrawler (本地任务) + Obsidian (笔记)。 大家最近在用哪些好用的爬虫或者 MCP 插件？欢迎在评论区安利，我再去折腾一下！👇▶ Twitter5h ago
// 04
Context
- ShenZhen
- https://space.bilibili.com/434377496
- @relakkesyang
- 38 public repos
- 2.1k followers
- Yuan1z0825/nature-skillsPython · 5.0k stars
符合nature论文学术表达和科研绘图的Skill
- HKUDS/AI-TraderPython · 16.5k stars
"AI-Trader: 100% Fully-Automated Agent-Native Trading"
- Alishahryar1/free-claude-codePython · 24.1k stars
Use claude-code for free in the terminal, VSCode extension or discord like OpenClaw (voice supported)
- Imbad0202/academic-research-skillsPython · 6.3k stars
Academic Research Skills for Claude Code: research → write → review → revise → finalize
- yizhiyanhua-ai/fireworks-tech-graphPython · 6.5k stars
Generate production-quality SVG+PNG technical diagrams from natural language. 7 styles, UML support, and AI/Agent workflow patterns.
- browser-use/browser-harnessPython · 12.3k stars
Browser Harness | Self-healing harness that enables LLMs to complete any task.
// 05Deep dive
// STARS49.5k+93/ 7dJust updated
// FORKS10.5k—/ 7dJust updated
// CONTRIBUTORS0—/ 30dJust updated
Open Issues147
Last Commit12d ago
Latest Release—
// TREND24h07d+9330d0
X🔥
Ranked confirmation layer for repo-specific X buzz in the last 24h.
Mentions 24h
69
Authors 24h
40
Engagement
6.3k
Peak hour
16:04
Score
100.0
Breakout on X in the last 24h. 69 matched posts across 40 authors.
Top matched posts
- @servasyy_ai1.5k eng
最近试了几个爬虫工具，分享下我的使用体验 做 AI Agent 的时候，数据采集是最头疼的环节。 MediaCrawler（45K+ stars） 如果你要做国内社交媒体的内容抓取，这个几乎是唯一选择。 支持的平台很全：小红书、抖音、B站、微博、快手、知乎、百度贴吧。代码质量不错，社区活跃，更新也及时。 唯一的缺点是它专注国内平台，如果你想抓 Twitter，这就帮不上忙了。 Agent-Reach（8K+ stars） 这个工具的口号是"给你的 AI Agent 一双眼睛"。 支持的平台很广：Twitter、Reddit、YouTube、GitHub、B站、小红书。最重要的是它声称零 API 费用，一条命令就能抓取多平台内容。 但我实测下来，它的稳定性存疑。因为它依赖反向工程，平台一更新可能就挂了。如果你是个人项目、预算有限，可以试试；但如果是生产环境，建议还是用官方 API。 jina-cli（226 stars） 一个极简的 URL 解析工具，可以把任意网页转成 LLM 友好的格式（Markdown/Text）。 我用它来快速抓取新闻、博客、文档页面。它的设计理念就是给 AI Agent 用的，所以输出的格式很干净。 不过它受登录墙限制，想抓 Twitter 时间线是不行的。单页抓取没问题，批量采集就别想了。 x-tweet-fetcher（ythx-101，407 stars） 这是专门为 Twitter 打造的工具。 支持抓取推文串、mentions、时间线，还内置了 LLM 分析功能。我现在的 AI 早报就是用它来巡逻 Twitter 账号的。 它的优势是深度集成 AI 分析，支持自动巡逻和智能筛选。缺点是部署有点复杂，而且文档不算完善。 怎么选？ 抓国内社交媒体MediaCrawlerTwitter 舆情监控x-tweet-fetcher 零成本多平台抓取Agent-Reach（备用） 快速解析单页内容jina-cli 工具只是手段，选适合自己场景的就行。 GitHub 链接： MediaCrawler: github.com/NanmiCoder/MediaC… jina-cli: github.com/geekjourneyx/jina… Agent-Reach: github.com/Panniantong/Agent… x-tweet-fetcher: github.com/ythx-101/x-tweet-…
mediumphrase5h agoopenMatched through a repo-specific project phrase query.
- @grgerwcwetwet1.3k eng
推荐一个开源工具项目： MediaCrawler。 它针对小红书、抖音、快手、B 站、微博、贴吧、知乎等主流平台，直接提供现成的评论与内容爬取能力，适合用来做数据分析、选题研究或内容观察。 做内容分析或舆情整理时，真正麻烦的往往不是平台多，而是每个平台的评论结构都不一样。 项目把不同平台的逻辑抽象成统一流程，上手成本不高，不需要为每个平台单独重写一套爬虫。 项目地址： nanmicoder.github.io/MediaCr… 如果你经常需要从多个内容平台获取真实用户反馈，这个项目能省下大量重复劳动。
mediumphrase5h agoopenMatched through a repo-specific project phrase query.
- @GoSailGlobal1.1k eng
最近在折腾 OpenClaw 的数据采集能力，调研了一圈目前自媒体或者网站数据获取的工具 1、agent-reach各社媒平台数据获取： github.com/Panniantong/Agent… 2、opencli浏览器自动化： github.com/jackwener/opencli 3、bb-browser 浏览器就是api： github.com/epiral/bb-browser 4、web-access补上claude code联网策略 + CDP 浏览器操作 + 站点经验积累的能力： github.com/eze-is/web-access 5、wechat_articles_spider公众号爬取： github.com/klin-h/wechat_art… 6、 r.jina.ai [真实URL] 获得任何网页纯Markdown： nitter.tiekoetter.com/vista8/status/20353696… 7、6551资讯SKILL： clawhub.ai/infra403/opentwit… 、 clawhub.ai/infra403/opennews… 8、MediaCrawler - 自媒体平台爬虫，做国内平台： github.com/NanmiCoder/MediaC… 9、xcrawl API 服务，简单高效，省心选择，搭配openclaw使用更佳： docs.xcrawl.com/zh/doc/devel… ，现在注册即可获得1000积分： xcrawl.com/ 10、Obsidian插件：Obsidian Web Clipper，实现一键将网页内容保存Obsidian，可同步X文章，还可以在线阅读
mediumphrase5h agoopenMatched through a repo-specific project phrase query.
- @elliotchen100564 eng
总结一下发过所有的爬虫，通常都是免费/付费模式 Magnitude 免费开源的 AI 浏览器自动化框架，适合复杂网页的数据采集 基于视觉 AI，自然语言控制浏览器，支持导航、交互、数据提取、自动化校验等 GitHub： github.com/magnitudedev/magn… Chat4Data 免费 AI 爬虫插件，Chrome 扩展，零代码，聊天式操作 支持自然语言采集、自动识别多种数据、自动分页抓取 官网： chat4data.ai Automa 浏览器拖拽自动化流程工具，支持爬虫、录像、日志等，零代码 可视化模块连接，自动填表、批量任务、截图、数据抓取等 GitHub： github.com/AutomaApp/automa 官网： automa.site/ Crawl4AI 现代化、LLM 友好的开源爬虫，近 50K 星 极速网页爬取、内容抽取、输出 Markdown，支持多种结构化抽取方式 GitHub： github.com/unclecode/crawl4a… MediaCrawler 开源免费，支持国内主流社媒平台公开信息抓取 支持小红书、抖音、快手、B站、微博、贴吧、知乎等，基于 Playwright 自动化 GitHub: github.com/NanmiCoder/MediaC… WaterCrawl 支持高级网页爬取，精准内容提取，自定义选择器，内置 OpenAI 集成 GitHub： github.com/watercrawl/WaterC…
mediumphrase5h agoopenMatched through a repo-specific project phrase query.
- @rwayne538 eng
国内社媒数据采集这块，绕了一圈还是 MediaCrawler。 github.com/NanmiCoder/MediaC… 49.0k Star，非商用学习许可，每周更新 这个仓库专门做了对抗： 1.验证码识别绕过 2.Cookie 算法逆向 3.风控参数模拟 4.Docker 一键部署 覆盖小红书、抖音、B 站、微博的笔记、评论、视频深度获取 非商用学习许可，所以自己研究和拆对标号都可以，集成进商业产品的不行。
mediumphrase5h agoopenMatched through a repo-specific project phrase query.
- @fhwofjow51260330 eng
给大家推荐一个开源项目 MediaCrawler 它可以抓取多个主流平台的公开数据，包括 小红书、抖音、快手、B站、微博、百度贴吧、知乎 等内容与评论信息，用于数据分析、舆情研究或内容趋势观察。  项目地址： github.com/NanmiCoder/MediaC…
mediumphrase5h agoopenReturned by a high-confidence repo query and contains a visible project phrase, but the exact URL, slug, or package name was not visible.
- @cnfinancewatch318 eng
转：最近在折腾 OpenClaw 的数据采集能力，调研了一圈目前自媒体或者网站数据获取的工具 1、agent-reach各社媒平台数据获取： github.com/Panniantong/Ag … 2、opencli浏览器自动化： github.com/jackwener/open … 3、bb-browser 浏览器就是api： github.com/epiral/bb-brow … 4、web-access补上claude code联网策略 + CDP 浏览器操作 + 站点经验积累的能力： github.com/eze-is/web-acc … 5、wechat_articles_spider公众号爬取： github.com/klin-h/wechat_ … 6、 r.jina.ai [真实URL] 获得任何网页纯Markdown： x.com/vista8/status/ … 7、6551资讯SKILL： clawhub.ai/infra403/opent …、 clawhub.ai/infra403/openn … 8、MediaCrawler - 自媒体平台爬虫，做国内平台： github.com/NanmiCoder/Med … 9、xcrawl API 服务，简单高效，省心选择，搭配openclaw使用更佳： docs.xcrawl.com/zh/doc/devel… … ，现在注册即可获得1000积分： xcrawl.com 10、Obsidian插件：Obsidian Web Clipper，实现一键将网页内容保存Obsidian，可同步X文章，还可以在线阅读
mediumphrase5h agoopenMatched through a repo-specific project phrase query.
- @yanhua1010255 eng
最近在折腾 OpenClaw，发现制约 Agent 进化的往往不是智商，而是数据“鲜度”和“纯度”。 调研了一圈主流的自媒体和网站采集工具，整理出一份我的私藏清单，建议收藏： 1️⃣ 垂直平台“收割机” MediaCrawler：国内社媒（红/抖/站/快）的全能爬虫，懂的人都懂。 🔗 github.com/NanmiCoder/MediaC… Agent-Reach：专门适配 Agent 的社媒数据获取，接入灵活。 🔗 github.com/Panniantong/Agent… wechat_articles_spider：公众号历史文章采集的最佳实践。 🔗 github.com/klin-h/wechat_art… 2️⃣ 浏览器即 API（深度交互） Web-access：补齐了 Claude Code 联网策略，支持 CDP 浏览器操作。 🔗 github.com/eze-is/web-access BB-browser / OpenCLI：把浏览器变成可编程的 API，适合处理各种反爬和动态加载。 🔗 github.com/epiral/bb-browser 🔗 github.com/jackwener/opencli 3️⃣ LLM 喂料与结构化 r.jina.ai ：一行代码网页转 Markdown，Jina 依然是目前体验最好的。 Xcrawl：推荐搭配 OpenClaw 使用，现在注册还送 1000 积分，简单省心。 xcrawl.com/?keyword=dptgb4sd Crawl4AI：2026 年最火的开源爬虫，专门为 RAG 和 Agent 设计。 🔗 github.com/unclecode/crawl4a… 4️⃣ 搜索与 MCP 生态 Clawhub：提供的 OpenTwitter 和 OpenNews MCP 插件，是 OpenClaw 的原生搭档。 🔗 clawhub.ai/infra403/opentwit… Valyu：Brave 免费额度调整后的首选搜索替代品，质量极高。 5️⃣ 知识闭环 Obsidian Web Clipper：所有采集到的精华，最后都要通过它一键沉淀到 Obsidian，形成自己的“第二大脑”。 🔗 obsidian.md/clipper 💡 总结：对于独立开发和内容创作者，我目前的推荐组合是：OpenClaw + Xcrawl (API) + MediaCrawler (本地任务) + Obsidian (笔记)。 大家最近在用哪些好用的爬虫或者 MCP 插件？欢迎在评论区安利，我再去折腾一下！👇
mediumphrase5h agoopenReturned by a high-confidence repo query and contains a visible project phrase, but the exact URL, slug, or package name was not visible.
- @rtk17025213 eng
如何白嫖超过 8999u 的私域变现心法！ 一个持续被低估的2000粉博主 昨天， @Leobai825 天策 上了 xhunt 流量榜一 作为真正的头部私域职业玩家，他带领许多人成功运营变现并在这个动盪的时代赚到适当的钱 但其实除了他之外，有一个人 他曾经一个晚上带 @ChengYi3629 滚出234倍的收益 并在小红书及公众号上成功变现 A7 并带无数人做转化 22岁更成为 公司部门负责人 他叫 方外之域 顶级的头部私域玩家 当然 阅读完这篇贴文后我相信不少人也会想知道如何去抓这些热点 底下附赠3+5个神器，免费暴力抓取小红书以及各种平台的热点，并让你快速变现 1.多平台神器（小红书 + 抖音 + 其他私域平台一次搞定）：MediaCrawler（最推荐！） GitHub: github.com/NanmiCoder/MediaC… 支援小红书笔记/评论、抖音影片/评论、快手、B站、微博、知乎、贴吧等。 功能：关键字搜寻热点、指定 ID 抓取、二级评论、词云生成、IP 代理池。基于 Playwright 模拟真实浏览器，零逆向门槛。 适合抓全网私域热点，一行程式码就能跑小红书热搜笔记。 2.Spider_XHS GitHub: github.com/cv-cat/Spider_XHS 纯小红书专用爬虫 + 全域运营工具。 功能：抓笔记存 Excel / 图片 / 影片、AI 一键改写并直接上传。已超过 3000+ Star，适合私域内容批量采集与再创作。 3.XHS-Spider GitHub: github.com/xisuo67/XHS-Spide… 颜值超高的 GUI 介面工具，适合新手。 功能：批量下载小红书笔记、图片、影片资源，直接点选抓取。 全网抓取工具： 1.daily-hot-mcp：专抓全网每日热点，内建 get-xiaohongshu-trending 直接拉小红书热榜。 GitHub: github.com/fancyboi999/daily… 2.OneAPI：提供现成 API（小红书/抖音用户资讯、影片列表、点赞评论、综合搜寻）。 GitHub: github.com/getoneapi/OneAPI 3.LittleCrawler：轻量版，多平台（小红书、知乎、闲鱼）。 GitHub: github.com/pbeenigg/LittleCr… 4.MindSpider：AI 驱动，能自动辨识热点话题并跨平台抓取（含小红书）。 GitHub: github.com/666ghj/MindSpider 5.抖音专用热榜：douyin-hot-hub：每小时自动抓抖音热榜、明星榜、音乐榜，按天存档。 GitHub: github.com/lonnyzhang423/dou…
mediumphrase5h agoopenMatched through a repo-specific project phrase query.
- @NFTCPS184 eng
做自媒体和数据采集的，这10个工具基本覆盖了从社交平台到网页到公众号的全链路抓取（养龙虾的必装） 围绕OpenClaw生态整理的一套数据获取工具集，按场景分类👇 → Agent-Reach — 一个CLI打通Twitter、Reddit、YouTube、GitHub、B站、小红书的读取和搜索，零API费用 ⭐ 11,208 🍴 830 🔗 github.com/Panniantong/Agent… → opencli — 把任何网站和工具变成命令行接口，AI Agent可以通过统一的AGENT.md直接发现、学习和执行操作 ⭐ 8,292 🍴 677 🔗 github.com/jackwener/opencli → bb-browser — 浏览器就是API，CLI + MCP server让AI Agent直接控制Chrome，带登录态操作 ⭐ 3,009 🍴 311 🔗 github.com/epiral/bb-browser → web-access — 给Claude Code补上完整联网能力，三层通道调度 + 浏览器CDP + 并行分治 ⭐ 1,986 🍴 163 🔗 github.com/eze-is/web-access → wechat_articles_spider — 微信公众号文章爬取，不用抓包工具的轻量方案 ⭐ 302 🍴 36 🔗 github.com/klin-h/wechat_art… → r.jina.ai — 输入任何URL，直接返回纯净Markdown格式的网页内容 🔗 r.jina.ai → 6551资讯SKILL — OpenClaw上的资讯聚合技能 🔗 clawhub.ai/infra403/opent 🔗 clawhub.ai/infra403/openn → MediaCrawler — 国内平台全家桶爬虫，覆盖小红书、抖音、快手、B站、微博、百度贴吧、知乎的笔记/视频/评论抓取 ⭐ 46,798 🍴 10,066 🔗 github.com/NanmiCoder/MediaC… → xcrawl — API形式的爬虫服务，注册送1000积分，搭配OpenClaw使用 🔗 xcrawl.com → Obsidian Web Clipper — Obsidian插件，一键保存网页内容到笔记库，支持同步X文章和在线阅读 做内容、做调研、做竞品监控，这套组合基本够用。MediaCrawler接近4.7万星说明国内平台数据抓取的需求一直很刚性
mediumphrase5h agoopenMatched through a repo-specific project phrase query.