WEB_INTERFACE.md

Pixiv爬虫Web控制台使用说明

概述

Pixiv爬虫现在提供了一个现代化的Web控制台界面，让你可以通过浏览器轻松启动和管理爬虫任务，无需使用命令行。

功能特性

🎯 单个PID爬取

• 输入单个Pixiv插画ID
• 设置目标爬取数量
• 一键启动爬虫任务

📦 批量PID爬取

• 支持多个PID同时爬取
• 每行一个PID格式
• 批量任务管理

📊 实时状态监控

• 服务运行状态
• 总图片数量统计
• 已下载图片数量
• 平均热度指标

📝 实时日志显示

• 任务执行日志
• 错误信息提示
• 进度状态更新

📈 进度可视化

• 实时进度条显示
• 任务完成状态
• 动态加载动画

使用方法

1. 访问控制台

部署完成后，直接访问你的Vercel域名即可看到控制台界面：

https://your-project.vercel.app

2. 单个PID爬取

1. 在"单个PID爬取"卡片中输入Pixiv插画ID
2. 设置目标数量（默认100张）
3. 点击"🚀 开始爬取"按钮
4. 系统会显示进度条和实时日志

3. 批量PID爬取

1. 在"批量PID爬取"卡片中输入多个PID（每行一个）
2. 设置目标数量（默认500张）
3. 点击"🚀 批量爬取"按钮
4. 系统会依次处理每个PID

4. 监控任务状态

• 查看状态面板了解系统运行情况
• 实时日志显示任务执行过程
• 进度条显示当前任务完成度

界面说明

状态面板

• 服务状态: 显示爬虫服务是否正常运行
• 总图片数: 数据库中存储的总图片数量
• 已下载: 已完成下载的图片数量
• 平均热度: 所有图片的平均热度评分

控制面板

• 单个PID爬取: 适合测试或小规模爬取
• 批量PID爬取: 适合大规模数据收集

日志面板

• 黑色背景，绿色文字，类似终端风格
• 实时显示任务执行信息
• 自动滚动到最新日志

注意事项

1. 任务并发: 同一时间只能运行一个爬虫任务
2. 进度显示: 进度条为模拟显示，实际进度取决于网络和Pixiv响应速度
3. 状态刷新: 系统每30秒自动刷新状态信息
4. 错误处理: 如果任务启动失败，会在日志中显示详细错误信息

技术实现

• 前端: 纯HTML + CSS + JavaScript，无需额外框架
• 后端: Vercel Serverless Functions + TypeScript
• 数据库: Supabase (PostgreSQL)
• 部署: Vercel平台

故障排除

常见问题

1. 页面无法加载

   • 检查Vercel部署状态
   • 确认环境变量配置正确

2. 爬虫任务启动失败

   • 检查Supabase连接
   • 确认Pixiv配置正确
   • 查看日志中的具体错误信息

3. 状态信息不更新

   • 检查网络连接
   • 确认API端点正常响应

调试方法

1. 打开浏览器开发者工具
2. 查看Console标签页的错误信息
3. 查看Network标签页的API请求状态
4. 检查Supabase数据库连接

扩展功能

未来可以考虑添加的功能：

• 任务队列管理
• 爬取历史记录
• 数据导出功能
• 用户权限管理
• 爬取策略配置

---

如有问题，请查看项目日志或联系维护者。