八分化MCP 服务使用指南

使用AI助手管理八爪鱼采集器网页自动抓取任务

前言

在连接到八爪鱼MCP之前,请确保具备以下条件:

  • 一个八爪鱼采集器账号:如果你还没有账号,请在八爪鱼采集器官网申请注册。
  • 一个能兼容MCP的平台:例如:ChatGPT、Claude Desktop、Claude、Gemini CLI、Cursor、VS Code,或任何支持 MCP 的平台。
  • MCP服务器配置访问:你拥有编辑MCP客户端的权限,并以此以添加八爪鱼MCP服务器地址。

快速入门

您可以使用以下任一方法(不同平台)连接八爪鱼MCP。配置完成后,需要OAuth认证。

MCP平台对接设置

请按照以下步骤将八爪鱼MCP服务器添加到您所使用的客户端平台。

逐步配置

请按照以下步骤将八爪鱼MCP与ChatGPT连接起来。

第1步:打开ChatGPT账户/个人资料部分
  1. 使用Plus、Team或Enterprise账号登录ChatGPT。
  2. 点击左下角的个人资料头像
  3. 选择个性化
第一步 第2步:应用配置
  1. 在左侧边栏,点击应用
  2. 启用应用中,选择高级设置
Step 2 第3步: 启用开发者模式
  1. Apps中, 点击 Advanced settings
  2. 打开Developer mode (Beta) ON
  3. 查看确认警告信息后继续执行

开发者模式允许添加未经验证的MCP服务器,请自行评估使用风险。

Step 3 第4步: 创建八爪鱼app (MCP)
  1. 点击Create app
  2. 填写以下字段:
    • 名称: 八爪鱼
    • MCP服务器网址: https://mcp.bazhuayu.com
  3. 认证方式 设置为 OAuth
  4. OAuth ID and Secret 留空
  5. 勾选 "I understand and want to continue"
  6. 点击 Create
Step 4 第5步: 授权 (OAuth)
  1. ChatGPT会跳转到八爪鱼采集器进行授权
  2. 审查请求权限
  3. 点击 Yes, Allow

一旦通过授权验证,ChatGPT就能访问您的八爪鱼账户了。

运行以下命令即可添加八爪鱼MCP:

Bash
claude mcp add bazhuayu -s user -t http https://mcp.bazhuayu.com

添加完服务器后,请打开MCP菜单,选择 八爪鱼, 并在浏览器中完成OAuth授权。
授权后,Claude就可以访问八爪鱼MCP工具了。

打开设置 → Tools & MCP, 然后点击Add Custom MCP。

Add Custom MCP

configuration.mcpServers中添加八爪鱼MCP服务器。

JSON
{
  "mcpServers": {
    "octoparse": {
      "url": "https://mcp.bazhuayu.com"
    }
  }
}
Add Configuration

返回Tools & MCP, 点击 八爪鱼旁边的connect, 并在浏览器中完成OAuth授权。

Connect for Authorization

授权后,Cursor就可以访问八爪鱼MCP工具了。

Complete Authorization

编辑位于~/.gemini/settings.json的Gemini CLI配置文件

JSON
{
  "mcpServers": {
    "octoparse": {
      "httpUrl": "https://mcp.bazhuayu.com",
      "oauth": {
        "clientId": "八爪鱼",
        "enabled": true
      }
    }
  }
}

添加八爪鱼MCP服务器配置,如有需要则重启Gemini CLl。

打开MCP菜单,选择八爪鱼, 并在浏览器中完成OAuth授权。

授权后,Gemini CLl就可以访问八爪鱼MCP工具了。

安装一个支持MCP的扩展,例如Cline或者Roo Code

打开扩展设置并编辑MCP配置文件。

configuration.mcpServers中添加八爪鱼MCP服务器。

JSON
{
  "mcpServers": {
    "octoparse": {
      "url": "https://mcp.bazhuayu.com"
    }
  }
}

保存文件,然后在浏览器提示下完成OAuth授权。

授权后,Octoparse MICP工具即可在VS Code中使用。

💡 OAuth 认证
将会打开一个浏览器窗口用于八爪鱼采集器的登录。请完成登录并授以访问权限。

功能说明

🔍 搜索模板

使用AI查找符合要求的八爪鱼采集模板。

📋任务创建

通过自然语言沟通,创建新的采集任务。

▶️ 任务控制

启动、停止并查看任务执行状态。

📊 状态检查

实时监控任务进度。

💾 数据导出

以JSON或CSV格式导出所采集到的数据。

👤账号管理

查看账户余额、版本信息等。

MCP场景介绍

账号管理

查看账号详情

查看你八爪鱼账户余额,版本。

💬 提示词示例
  • "查看我的八爪鱼账号信息。"
  • "我还有多少余额呢?"
  • "我的账号是什么版本呢?"

模板采集

模板搜索

使用AI查找符合您需求的八爪鱼采集模板

💬 提示词示例
  • "帮我找到能采集小红书评论的模板"
  • "是否有能采集到招投标信息的模板?"
  • "帮我搜索下电商行业的采集模板。"
  • "热门模板都有那些?"

创建模板任务

使用选定的模板创建一个新的采集任务。

💬 提示词示例
  • "使用模板-小红书笔记评论采集(一级评论),命名为'小红书评论爬取任务'"
  • "创建一个微信公众号文章采集任务"
  • "创建一个任务并保存到'电商数据组'"

任务管理

任务搜索

在您的任务列表中查找任务

💬 提示词示例
  • "查找我微博相关的任务"
  • "搜索名称中包含'爬虫'的任务"
  • "显示正在运行的任务"
  • "列出所有任务"

任务启动

使用云采集启动任务

💬 提示词示例
  • "启动任务XXX"
  • "执行我的京东评论采集任务"
  • "执行最新生成的任务"
⚠️ 提示
拥有云采集能力的模板才能被控制启动呦,本地采集仅支持在八爪鱼客户端手动启动运行。

数据导出

导出数据

将采集到的数据导出到本地文件。支持JSON和CSV格式。

💬 提示词示例
  • "将任务XXX的数据以JSON导出"
  • "将抓取的数据保存到 exports/data.csv"
  • "批量导出500条数据"
  • "预览前100条数据信息"

示例工作流

完整的工作流

1.查看账号信息

你:“查看我的八爪鱼账号信息”
AI:返回您的账号版本,余额等。

2. 搜索模板

你:“查找能采集招投标信息的模板”
AI:返回匹配的模板列表,包括模板ID、名称、描述。

3. 创建任务

你:"使用模板创建一个任务,名称为‘微博博文爬虫’"
AI:创建任务并返回任务ID。

4. 启动任务

你:“开始此任务”
AI:启动任务并报告其状态。

5. 检查状态

你:“任务执行完成了吗?”
AI:检查并返回当前任务状态(运行中/已完成/失败等)。

6. 导出数据

你:“将所有数据以JSON格式导出”
AI:将数据导出到指定位置。

异常排查

❓ 为什么我的任务无法启动?

通常是以下原因导致此问题:

  • 此模板不支持云采集
    某些模板只能在本地执行,必须使用八爪鱼客户端手动执行。
  • 账号余额不足
    部分模板采集数据需要收费,在开始任务前请检查您的余额。
  • 此任务正在运行
    任务在运行期间,无法再次启动。
  • 账号版本限制
    某些模板需要个人版或者团队版才能支持,请确定您的版本信息。

❓ 找不到导出文件?

导出的文件将保存到您指定的文件路径中。

  • 如果您使用相对路径,文件将相对于当前工作目录保存。./exports/data。
  • 建议使用 绝对路径 以避免混淆。

❓ 认证失败

如果授权失败,请检查以下内容:

  • 八爪鱼MCP服务器地址已在您的MCP客户端(AI平台)中配置完成。
  • 您的MCP客户端(AI平台)支持OAuth认证流程。
  • 您已在浏览器中完成授权步骤。

如果问题仍然存在,请尝试重新连接并重新授权八爪鱼MCP服务器。

支持&资源

📚 文档

💬 支持

Changelog

v0.1.0 (2026-01-22)

  • Initial release of the Octoparse MCP server
  • ✅ Account management tools
  • ✅ Template search and task creation
  • ✅ Task management (start, stop, status)
  • ✅ Data export (JSON/CSV)
  • ✅ OAuth authentication support