MCP 服务使用指南
使用AI助手管理八爪鱼采集器网页自动抓取任务
前言
在连接到八爪鱼MCP之前,请确保具备以下条件:
- 一个八爪鱼采集器账号:如果你还没有账号,请在八爪鱼采集器官网申请注册。
- 一个能兼容MCP的平台:例如:ChatGPT、Claude Desktop、Claude、Gemini CLI、Cursor、VS Code,或任何支持 MCP 的平台。
- MCP服务器配置访问:你拥有编辑MCP客户端的权限,并以此以添加八爪鱼MCP服务器地址。
快速入门
您可以使用以下任一方法(不同平台)连接八爪鱼MCP。配置完成后,需要OAuth认证。
MCP平台对接设置
请按照以下步骤将八爪鱼MCP服务器添加到您所使用的客户端平台。
逐步配置
请按照以下步骤将八爪鱼MCP与ChatGPT连接起来。
第1步:打开ChatGPT账户/个人资料部分- 使用Plus、Team或Enterprise账号登录ChatGPT。
- 点击左下角的个人资料头像
- 选择个性化
第2步:应用配置
- 在左侧边栏,点击应用
- 在启用应用中,选择高级设置
第3步: 启用开发者模式
- 在 Apps中, 点击 Advanced settings
- 打开Developer mode (Beta) ON
- 查看确认警告信息后继续执行
开发者模式允许添加未经验证的MCP服务器,请自行评估使用风险。
第4步: 创建八爪鱼app (MCP)
- 点击Create app
- 填写以下字段:
- 名称:
八爪鱼 - MCP服务器网址:
https://mcp.bazhuayu.com
- 名称:
- 将 认证方式 设置为 OAuth
- 将OAuth ID and Secret 留空
- 勾选 "I understand and want to continue"
- 点击 Create
第5步: 授权 (OAuth)
- ChatGPT会跳转到八爪鱼采集器进行授权
- 审查请求权限
- 点击 Yes, Allow
一旦通过授权验证,ChatGPT就能访问您的八爪鱼账户了。
运行以下命令即可添加八爪鱼MCP:
claude mcp add bazhuayu -s user -t http https://mcp.bazhuayu.com
添加完服务器后,请打开MCP菜单,选择 八爪鱼, 并在浏览器中完成OAuth授权。
授权后,Claude就可以访问八爪鱼MCP工具了。
打开设置 → Tools & MCP, 然后点击Add Custom MCP。
在configuration.mcpServers中添加八爪鱼MCP服务器。
{
"mcpServers": {
"octoparse": {
"url": "https://mcp.bazhuayu.com"
}
}
}
返回Tools & MCP, 点击 八爪鱼旁边的connect, 并在浏览器中完成OAuth授权。
授权后,Cursor就可以访问八爪鱼MCP工具了。
编辑位于~/.gemini/settings.json的Gemini CLI配置文件
{
"mcpServers": {
"octoparse": {
"httpUrl": "https://mcp.bazhuayu.com",
"oauth": {
"clientId": "八爪鱼",
"enabled": true
}
}
}
}
添加八爪鱼MCP服务器配置,如有需要则重启Gemini CLl。
打开MCP菜单,选择八爪鱼, 并在浏览器中完成OAuth授权。
授权后,Gemini CLl就可以访问八爪鱼MCP工具了。
安装一个支持MCP的扩展,例如Cline或者Roo Code。
打开扩展设置并编辑MCP配置文件。
在configuration.mcpServers中添加八爪鱼MCP服务器。
{
"mcpServers": {
"octoparse": {
"url": "https://mcp.bazhuayu.com"
}
}
}
保存文件,然后在浏览器提示下完成OAuth授权。
授权后,Octoparse MICP工具即可在VS Code中使用。
将会打开一个浏览器窗口用于八爪鱼采集器的登录。请完成登录并授以访问权限。
功能说明
使用AI查找符合要求的八爪鱼采集模板。
通过自然语言沟通,创建新的采集任务。
启动、停止并查看任务执行状态。
实时监控任务进度。
以JSON或CSV格式导出所采集到的数据。
查看账户余额、版本信息等。
MCP场景介绍
账号管理
查看账号详情
查看你八爪鱼账户余额,版本。
- "查看我的八爪鱼账号信息。"
- "我还有多少余额呢?"
- "我的账号是什么版本呢?"
模板采集
模板搜索
使用AI查找符合您需求的八爪鱼采集模板
- "帮我找到能采集小红书评论的模板"
- "是否有能采集到招投标信息的模板?"
- "帮我搜索下电商行业的采集模板。"
- "热门模板都有那些?"
创建模板任务
使用选定的模板创建一个新的采集任务。
- "使用模板-小红书笔记评论采集(一级评论),命名为'小红书评论爬取任务'"
- "创建一个微信公众号文章采集任务"
- "创建一个任务并保存到'电商数据组'"
任务管理
任务搜索
在您的任务列表中查找任务
- "查找我微博相关的任务"
- "搜索名称中包含'爬虫'的任务"
- "显示正在运行的任务"
- "列出所有任务"
任务启动
使用云采集启动任务
- "启动任务XXX"
- "执行我的京东评论采集任务"
- "执行最新生成的任务"
拥有云采集能力的模板才能被控制启动呦,本地采集仅支持在八爪鱼客户端手动启动运行。
数据导出
导出数据
将采集到的数据导出到本地文件。支持JSON和CSV格式。
- "将任务XXX的数据以JSON导出"
- "将抓取的数据保存到 exports/data.csv"
- "批量导出500条数据"
- "预览前100条数据信息"
示例工作流
完整的工作流
你:“查看我的八爪鱼账号信息”
AI:返回您的账号版本,余额等。
你:“查找能采集招投标信息的模板”
AI:返回匹配的模板列表,包括模板ID、名称、描述。
你:"使用模板创建一个任务,名称为‘微博博文爬虫’"
AI:创建任务并返回任务ID。
你:“开始此任务”
AI:启动任务并报告其状态。
你:“任务执行完成了吗?”
AI:检查并返回当前任务状态(运行中/已完成/失败等)。
你:“将所有数据以JSON格式导出”
AI:将数据导出到指定位置。
异常排查
❓ 为什么我的任务无法启动?
通常是以下原因导致此问题:
- 此模板不支持云采集
某些模板只能在本地执行,必须使用八爪鱼客户端手动执行。 - 账号余额不足
部分模板采集数据需要收费,在开始任务前请检查您的余额。 - 此任务正在运行
任务在运行期间,无法再次启动。 - 账号版本限制
某些模板需要个人版或者团队版才能支持,请确定您的版本信息。
❓ 找不到导出文件?
导出的文件将保存到您指定的文件路径中。
- 如果您使用相对路径,文件将相对于当前工作目录保存。./exports/data。
- 建议使用 绝对路径 以避免混淆。
❓ 认证失败
如果授权失败,请检查以下内容:
- 八爪鱼MCP服务器地址已在您的MCP客户端(AI平台)中配置完成。
- 您的MCP客户端(AI平台)支持OAuth认证流程。
- 您已在浏览器中完成授权步骤。
如果问题仍然存在,请尝试重新连接并重新授权八爪鱼MCP服务器。
支持&资源
📚 文档
-
八爪鱼API文档
八爪鱼API技术参考。 -
模型上下文协议 (MCP)
Model Context Protocol的官网说明文档。
💬 支持
- 帮助中心 中提供八爪鱼常见问题、教程和故障排查指南。.
- GitHub技术社区 可用于反馈问题,提问并参与讨论,请关注: 八爪鱼GitHub仓库和社区论坛。
- 官方支持 通过常规支持渠道:官网在线咨询、应用内扫码添加微信、电子邮件:help@skieer.com,均可联系到八爪鱼采集器支持团队。
Changelog
v0.1.0 (2026-01-22)
- Initial release of the Octoparse MCP server
- ✅ Account management tools
- ✅ Template search and task creation
- ✅ Task management (start, stop, status)
- ✅ Data export (JSON/CSV)
- ✅ OAuth authentication support