taskPyroer/taskpyro

Registry 信息

项目简介

TaskPyro 是一个分布式爬虫管理平台，集成 AI 助手、可视化操作和完整监控。支持 Scrapy 等主流爬虫框架、Selenium/Playwright/DrissionPage 等浏览器自动化工具、Node.js 环境下的 JS 逆向代码以及 Windows 分布式调度，具备灵活的 Python 环境隔离和低资源占用特性。

要点

• AI 助手实现智能任务管理
• 可视化操作界面与完整监控
• 灵活的 Python 环境隔离，资源占用低
• 支持 Scrapy、Selenium、Playwright、DrissionPage
• Node.js 环境支持 JS 逆向代码
• 支持 Windows 分布式调度

使用场景

• 大规模分布式爬虫调度与数据采集
• 浏览器自动化提取动态内容
• JS 逆向工程绕过反爬机制
• 多环境爬虫管理与隔离运行
• 实时监控与 AI 辅助任务优化

README 摘要

## TaskPyro 是什么？ TaskPyro 是一个轻量级、功能丰富、稳定的 Python 任务调度平台，专注于提供简单易用的任务管理、爬虫调度解决方案和 AI 智能助手功能。它能够帮助您轻松管理和调度 Python 任务，特别适合需要定时执行的爬虫任务、数据处理任务，以及通过 AI 智能交互进行系统管理的场景。专业版独有"流程编排"功能，实现 Python 脚本零 API 封装化，让您的 Python 脚本秒变 HTTP 接口，无缝接入 n8n/Dify/Coze 等低代码生态，打造"脚本即服务"的轻量级 Serverless 函数计算平台"+"低代码集成网关。 > 官网文档：https://docs.taskpyro.cn/    **特别感谢以下赞助商的支持（排序不分先后）：** [](https://www.coreclaw.com/?utm_source=github&utm_medium=referral&utm_campaign=taskpyro&utm_term=taskpyro&utm_id=taskpyro) [](https://www.rapidproxy.io/?ref=blues) ## 开发背景 在当今数字化时代，自动化数据采集、处理和 AI 智能管理变得越来越重要。然而，现有的任务调度解决方案要么过于复杂，要么缺乏针对 Python 环境的特定优化，更缺乏智能化的交互方式。特别是许多用户的代码需要在 Windows 环境下才能更好地运行（如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码），但却缺乏合适的系统来进行统一的管理、调度、监控和智能交互。TaskPyro 正是为了解决这些痛点而诞生的，旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台，同时集成 AI 智能助手，通过自然语言交互实现智能化管理。 ## 为什么选择TaskPyro？ - 🏢 **大型企业**：需要跨机器、跨地域的分布式任务调度管理 - 🔍 **数据工程师**：需要在多台服务器上执行大规模数据采集和处理任务 - 🕷️ **爬虫开发者**：需要管理分布在不同节点的爬虫任务集群 - 📊 **数据分析师**：需要在多个计算节点上并行执行数据分析任务 - 🛠️ **系统运维人员**：需要统一管理多台服务器的定时维护任务 - 👥 **开发团队**：需要多用户协作和权限管理的任务调度平台 - 🌐 **混合环境**：需要同时管理 Windows 和 Linux 服务器的任务调度 - 🤖 **AI 爱好者**：希望通过自然语言交互智能管理任务的开发者 - 💬 **即时通讯用户**：想通过企业微信、钉钉、飞书随时监控系统状态 - 🔄 **集成开发者**：需要将 Python 能力快速接入 n8n/Dify/Coze 等低代码平台 ## 使用流程 - 部署主控节点（Docker） - 配置分布式工作节点（Windows/Linux）（可选，不配置也可以直接本机部署任务） - 配置Python环境和版本 - 创建项目并分发到工作节点 - 配置用户权限和访问控制 - 配置消息通知和监控告警 - 创建本机/分布式定时任务 ## 核心功能 TaskPyro 专业版提供了一系列企业级功能，帮助您构建高可用的分布式任务调度系统： - 🌐 **分布式架构** - 支持 Windows 和 Linux 混合节点部署 - 无需 Docker 环境的轻量级工作节点 - 通过 Docker 一键安装主控节点统一管理所有分布式节

话题