一天一个开源项目(第48篇):Agent-Reach - 给 AI Agent 装上互联网能力,零 API 费用支持 Twitter、Reddit、YouTub

0 阅读6分钟

引言

"Give your AI agent eyes to see the entire internet."

这是「一天一个开源项目」系列的第 48 篇文章。今天介绍的项目是 Agent-ReachGitHub)。

AI Agent 能帮你写代码、改文档、管项目,但让它去网上找点东西就抓瞎了:YouTube 视频看不了、Twitter 搜不了(API 要付费)、Reddit 403 被封、小红书打不开、B站连不上……Agent-Reach 是一个脚手架工具,给 AI Agent 一键装上互联网能力:支持 Twitter、Reddit、YouTube、GitHub、B站、小红书、抖音、LinkedIn、微信公众号、微博、RSS 等平台,零 API 费用一键安装,兼容 Claude Code、OpenClaw、Cursor、Windsurf 等所有能跑命令行的 Agent。

为什么值得看?

  • 🚀 一键安装:复制一句话给 Agent,自动完成所有配置
  • 💰 零 API 费用:所有工具开源免费,不依赖付费 API
  • 🔌 可插拔架构:每个渠道独立,不满意可替换
  • 🤖 兼容所有 Agent:Claude Code、OpenClaw、Cursor、Windsurf 等
  • 🔒 隐私安全:Cookie 只存本地,不上传不外传,代码完全开源
  • 🩺 自带诊断agent-reach doctor 一条命令检测所有渠道状态
  • 🔄 持续更新:追踪各平台变化,平台封了自动修复

你将学到什么

  • Agent-Reach 的定位与「脚手架」设计理念
  • 支持的平台和上游工具选型(xreach、yt-dlp、Jina Reader、Exa 等)
  • 一键安装流程和配置机制
  • 可插拔架构:如何替换上游工具
  • 安全机制:Cookie 管理、隐私保护
  • 与同类工具(LangChain Tools、CrewAI Tools 等)的对比

前置知识

  • 对 AI Agent 有基本了解
  • 了解命令行工具的基本使用
  • 对网络爬虫、API 调用有基本认识(可选)

项目背景

项目简介

Agent-Reach 是一个脚手架工具,用于给 AI Agent 提供互联网能力。它不是框架,而是帮你完成工具选型和配置的活儿:安装完成后,Agent 直接调用上游工具(xreach CLI、yt-dlp、mcporter、gh CLI 等),不需要经过 Agent-Reach 的包装层。

核心特点

  • 脚手架定位:不是框架,是配置工具,帮你选型和配置上游工具
  • 零 API 费用:所有工具开源免费,不依赖付费 API
  • 一键安装:复制一句话给 Agent,自动完成所有配置
  • 可插拔架构:每个渠道独立,不满意可替换
  • 兼容所有 Agent:任何能跑命令行的 Agent 都能用
  • 持续更新:追踪各平台变化,平台封了自动修复

解决的核心问题

  • AI Agent 无法访问互联网内容(YouTube、Twitter、Reddit 等)
  • 各平台 API 费用高昂(Twitter API 读一条 $0.005)
  • 需要逐个配置工具、装依赖、调配置,踩坑成本高
  • 平台反爬和 API 变化需要持续维护

面向的用户

  • 使用 AI Agent(Claude Code、OpenClaw、Cursor 等)的开发者
  • 需要让 Agent 访问互联网内容的用户
  • 不想为 API 付费的开发者
  • 需要持续维护工具配置的团队

作者/团队介绍

  • 作者PanniantongGitHub
  • 背景:纯 vibe coding 项目,作者自己每天在用,会持续维护
  • 理念:为 Web 4.0 基建贡献一份力量
  • 联系方式pnt01@foxmail.com@Neo_Reidlab

项目数据

  • GitHub Stars: 约 8.2k
  • 🍴 Forks: 约 593
  • 📦 版本: v1.3.0(持续更新中,180+ commits)
  • 📄 License: MIT
  • 🌐 文档: GitHub README
  • 💬 社区: GitHub Issues

技术栈

  • 语言: Python(91.5%)、Shell(8.5%)
  • Python 版本: 3.8+
  • 核心依赖: xreach、yt-dlp、Jina Reader、Exa、mcporter、feedparser 等

主要功能

核心作用

Agent-Reach 的核心作用是:给 AI Agent 一键装上互联网能力,让 Agent 能够:

  1. 读取网页:通过 Jina Reader 读取任意网页内容
  2. 搜索 Twitter:通过 xreach CLI 搜索推文,零 API 费用
  3. 提取 YouTube 字幕:通过 yt-dlp 提取视频字幕和元数据
  4. 访问 GitHub:通过 gh CLI 读取仓库、搜索、提 Issue/PR
  5. 访问 B站:通过 yt-dlp 提取字幕和搜索
  6. 访问 Reddit:通过 Exa 免费搜索,或配置代理读取帖子
  7. 访问小红书:通过 xiaohongshu-mcp 读取、搜索、发帖
  8. 访问抖音:通过 douyin-mcp-server 解析视频、获取无水印下载
  9. 访问 LinkedIn:通过 linkedin-scraper-mcp 读取公开页面
  10. 访问微信公众号:通过 wechat-article-for-ai 搜索和阅读
  11. 访问微博:热搜、搜索、用户动态、评论
  12. 订阅 RSS:通过 feedparser 解析 RSS/Atom 源
  13. 全网搜索:通过 Exa 进行 AI 语义搜索(MCP 接入,免费无需 Key)

使用场景

  1. 内容研究和分析

    • "帮我看看这个 YouTube 教程讲了什么" → 提取字幕和元数据
    • "搜一下推特上大家怎么评价这个产品" → 搜索推文
    • "去 Reddit 上看看有没有人遇到过同样的 bug" → 搜索和读取帖子
  2. 代码和项目研究

    • "这个 GitHub 仓库是做什么的?Issue 里说了什么?" → 读取仓库和 Issue
    • "搜一下 GitHub 上有什么 LLM 框架" → 搜索仓库
  3. 社交媒体监控

    • "帮我看看小红书上这个品的口碑" → 搜索和读取笔记
    • "看看微博上这个话题的讨论" → 搜索和读取微博
  4. 信息聚合

    • "帮我订阅这几个 RSS 源,有更新告诉我" → 解析 RSS 源
    • "全网搜一下最新的 LLM 框架对比" → AI 语义搜索
  5. 内容创作辅助

    • "这个视频讲了什么,帮我总结一下" → 提取字幕并总结
    • "帮我看看这个网页写了啥" → 读取网页内容

快速开始

一键安装

复制这句话给你的 AI Agent(Claude Code、OpenClaw、Cursor 等):

帮我安装 Agent Reach:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

Agent 会自动完成:

  1. 安装 CLI 工具:pip install agent-reach
  2. 安装系统依赖:Node.js、gh CLI、mcporter、xreach 等
  3. 配置搜索引擎:通过 MCP 接入 Exa(免费,无需 API Key)
  4. 检测环境:判断是本地电脑还是服务器,给出配置建议
  5. 注册 SKILL.md:在 Agent 的 skills 目录安装使用指南

更新

帮我更新 Agent Reach:https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/update.md

安全模式

帮我安装 Agent Reach(安全模式):https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md
安装时使用 --safe 参数

诊断

agent-reach doctor

一条命令告诉你每个渠道的状态(哪个通、哪个不通、怎么修)。

使用示例

安装完成后,告诉 Agent 即可:

  • "帮我看看这个链接" → curl https://r.jina.ai/URL 读任意网页
  • "这个 GitHub 仓库是做什么的" → gh repo view owner/repo
  • "这个视频讲了什么" → yt-dlp --dump-json URL 提取字幕
  • "帮我看看这条推文" → xreach tweet URL --json
  • "订阅这个 RSS" → feedparser 解析
  • "搜一下 GitHub 上有什么 LLM 框架" → gh search repos "LLM framework"

不需要记命令。 Agent 读了 SKILL.md 之后自己知道该调什么。

核心特性

  1. 支持的平台

    • 🌐 网页:Jina Reader 读任意网页(装好即用)
    • 📺 YouTube:yt-dlp 字幕提取 + 视频搜索(装好即用)
    • 📡 RSS:feedparser 读任意 RSS/Atom 源(装好即用)
    • 🔍 全网搜索:Exa AI 语义搜索(MCP 接入,免费无需 Key)
    • 📦 GitHub:gh CLI 读公开仓库 + 搜索(装好即用),私有仓库需登录
    • 🐦 Twitter/X:xreach 读单条推文(装好即用),搜索需配置 Cookie
    • 📺 B站:yt-dlp 本地字幕提取 + 搜索(装好即用),服务器需代理
    • 📖 Reddit:Exa 免费搜索(装好即用),读帖子需代理
    • 📕 小红书:xiaohongshu-mcp 阅读、搜索、发帖(需配置)
    • 🎵 抖音:douyin-mcp-server 视频解析、无水印下载(需配置)
    • 💼 LinkedIn:linkedin-scraper-mcp 读公开页面(装好即用),Profile 详情需配置
    • 💬 微信公众号:wechat-article-for-ai 搜索 + 阅读(装好即用)
    • 📰 微博:热搜、搜索、用户动态、评论(装好即用)
    • 🎙️ 小宇宙播客:Whisper 转录(需配置)
  2. 可插拔架构

    • 每个渠道背后是独立的上游工具
    • 不满意可替换:web.py → Jina Reader(可换成 Firecrawl、Crawl4AI)
    • twitter.py → xreach(可换成 Nitter、官方 API)
    • youtube.py → yt-dlp(可换成 YouTube API、Whisper)
    • github.py → gh CLI(可换成 REST API、PyGithub)
  3. 安全机制

    • 🔒 凭据本地存储:Cookie、Token 只存在 ~/.agent-reach/config.yaml,文件权限 600
    • 🛡️ 安全模式agent-reach install --safe 不会自动修改系统
    • 👀 完全开源:代码透明,随时可审查
    • 🔍 Dry Runagent-reach install --dry-run 预览所有操作
    • 🍪 Cookie 安全建议:使用专用小号,不要用主账号(封号风险)
  4. 兼容性

    • 兼容所有能跑命令行的 Agent:Claude Code、OpenClaw、Cursor、Windsurf、Codex 等
    • OpenClaw 用户需先开启 exec 权限:openclaw config set tools.profile "coding"
  5. 持续更新

    • 追踪各平台变化(平台封了自动修复)
    • 接入新渠道(有需求就加)
    • 底层工具定期更新到最新版(yt-dlp、xreach、Jina Reader 等)

项目优势

对比项Agent-ReachLangChain ToolsCrewAI Tools手动配置
安装难度✅ 一键安装⚠️ 需逐个配置⚠️ 需逐个配置❌ 复杂
API 费用✅ 零费用⚠️ 部分需付费⚠️ 部分需付费⚠️ 看情况
平台覆盖✅ 13+ 平台⚠️ 有限⚠️ 有限⚠️ 需自己找
可插拔性✅ 每个渠道独立⚠️ 耦合框架⚠️ 耦合框架✅ 完全控制
持续维护✅ 自动追踪更新⚠️ 需手动更新⚠️ 需手动更新❌ 自己维护
诊断工具doctor 命令❌ 无❌ 无❌ 无
兼容性✅ 所有 Agent⚠️ 仅 LangChain⚠️ 仅 CrewAI✅ 通用

为什么选择 Agent-Reach?

  • 一键安装:复制一句话给 Agent,自动完成所有配置
  • 零 API 费用:所有工具开源免费,不依赖付费 API
  • 可插拔架构:每个渠道独立,不满意可替换
  • 持续更新:追踪各平台变化,平台封了自动修复
  • 自带诊断:agent-reach doctor 一条命令检测所有渠道状态

项目详细剖析

架构设计

Agent-Reach 采用脚手架 + 可插拔架构设计:

核心设计理念

Agent-Reach 是一个脚手架(scaffolding),不是框架。

你给一个新 Agent 装环境的时候,总要花时间去找工具、装依赖、调配置——Twitter 用什么读?Reddit 怎么绕封?YouTube 字幕怎么提取?每次都要重新踩一遍。

Agent-Reach 做的事情很简单:帮你把这些选型和配置的活儿做完了。

安装完成后,Agent 直接调用上游工具(xreach CLI、yt-dlp、mcporter、gh CLI 等),不需要经过 Agent-Reach 的包装层。

架构结构

Agent-Reach
├── channels/(渠道模块)
│   ├── web.py          → Jina Reader(可替换)
│   ├── twitter.py      → xreach(可替换)
│   ├── youtube.py      → yt-dlp(可替换)
│   ├── github.py       → gh CLI(可替换)
│   ├── bilibili.py     → yt-dlp(可替换)
│   ├── reddit.py       → JSON API + Exa(可替换)
│   ├── xiaohongshu.py  → mcporter MCP(可替换)
│   ├── douyin.py       → mcporter MCP(可替换)
│   ├── linkedin.py     → linkedin-mcp(可替换)
│   ├── wechat.py       → camoufox+miku(可替换)
│   ├── rss.py          → feedparser(可替换)
│   ├── exa_search.py   → mcporter MCP(可替换)
│   └── __init__.py     → 渠道注册(doctor 检测用)
├── config/(配置管理)
│   └── config.yaml     → Cookie、Token 存储(本地,权限 600)
├── scripts/(安装脚本)
│   └── install.sh      → 一键安装脚本
└── docs/(文档)
    ├── install.md      → 安装指南
    └── update.md       → 更新指南

每个渠道文件只负责

  • 检测对应上游工具是否可用(check() 方法)
  • agent-reach doctor 提供状态信息
  • 实际的读取和搜索由 Agent 直接调用上游工具完成

上游工具选型

当前选型

场景选型为什么选它
读网页Jina Reader9.8K Star,免费,不需要 API Key
读推特xreachCookie 登录,免费。官方 API 按量付费(读一条 $0.005)
视频字幕 + 搜索yt-dlp148K Star,YouTube + B站 + 1800 站通吃
搜全网Exa via mcporterAI 语义搜索,MCP 接入免 Key
GitHubgh CLI官方工具,认证后完整 API 能力
读 RSSfeedparserPython 生态标准选择,2.3K Star
小红书xiaohongshu-mcp⭐9K+,Go 语言,Docker 一键部署
抖音douyin-mcp-serverMCP 服务,无需登录,视频解析 + 无水印下载
LinkedInlinkedin-scraper-mcp⭐900+,MCP 服务,浏览器自动化
微信公众号wechat-article-for-ai + miku_aiCamoufox 隐身浏览器读全文 + 搜狗搜索

📌 这些都是「当前选型」。不满意?换掉对应文件就行。这正是脚手架的意义。

安装流程

一键安装流程

  1. Agent 接收指令:用户复制安装指令给 Agent
  2. 下载安装指南:Agent 读取 install.md
  3. 执行安装脚本
    • pip install agent-reach(安装 CLI 工具)
    • 检测并安装系统依赖(Node.js、gh CLI、mcporter、xreach 等)
    • 配置搜索引擎(通过 MCP 接入 Exa)
    • 检测环境(本地 vs 服务器)
  4. 注册 SKILL.md:在 Agent 的 skills 目录安装使用指南
  5. 完成:Agent 现在可以使用所有上游工具

安全模式

agent-reach install --safe

不会自动修改系统,只列出需要什么,由你决定装不装。

Dry Run

agent-reach install --dry-run

预览所有操作,不做任何改动。

配置机制

Cookie 配置

需要 Cookie 的平台(Twitter、小红书等),优先使用 Chrome 插件 Cookie-Editor 导出 Cookie,发给 Agent 即可配置。

流程统一:

  1. 浏览器登录平台
  2. Cookie-Editor 导出 Cookie
  3. 发给 Agent:agent-reach configure twitter-cookies "your_cookies"

代理配置

Reddit、B站 等平台在服务器上可能被封,配置住宅代理:

agent-reach configure proxy http://user:pass@ip:port

推荐 Webshare($1/月)。本地电脑一般不会遇到这个问题。

GitHub 登录

告诉 Agent「帮我登录 GitHub」,Agent 会引导你完成 GitHub CLI 认证。

诊断工具

agent-reach doctor

一条命令检测所有渠道状态:

  • ✅ 哪个渠道可用
  • ❌ 哪个渠道不可用
  • 🔧 怎么修复不可用的渠道

输出示例:

✅ Web (Jina Reader): Available
✅ YouTube (yt-dlp): Available
✅ RSS (feedparser): Available
✅ GitHub (gh CLI): Available
⚠️ Twitter (xreach): Not configured (need Cookie)
⚠️ Reddit: Need proxy for server IP
❌ 小红书: Not installed (need Docker)

卸载机制

agent-reach uninstall

会清除:

  • ~/.agent-reach/(含所有 token/cookie)
  • 各 Agent 的 skill 文件
  • mcporter 中的 MCP 配置

选项

# 只预览,不实际删除
agent-reach uninstall --dry-run

# 只删 skill 文件,保留 token 配置(重装时用)
agent-reach uninstall --keep-config

卸载 Python 包本身:pip uninstall agent-reach


项目地址与资源

官方资源

相关资源

适用人群

  • AI Agent 用户:使用 Claude Code、OpenClaw、Cursor、Windsurf 等的开发者
  • 内容研究者:需要让 Agent 访问互联网内容进行研究
  • 成本敏感用户:不想为 API 付费的开发者
  • 多平台需求:需要访问多个平台的用户
  • 快速原型开发:希望快速给 Agent 装上互联网能力

学习价值

  • ✅ 脚手架工具的设计理念和实践
  • ✅ 可插拔架构的实现方式
  • ✅ 上游工具选型和集成
  • ✅ Cookie 和代理配置管理
  • ✅ Agent 工具生态的构建
  • ✅ 持续维护和更新的策略

欢迎来我中的个人主页找到更多有用的知识和有趣的产品