taskPyroer/taskpyro

Registry

Summary

TaskPyro is a distributed crawler management platform with an AI assistant, visual operations, and comprehensive monitoring. It supports mainstream frameworks like Scrapy, browser automation tools (Selenium, Playwright, DrissionPage), Node.js reverse engineering, and Windows distributed scheduling, all with flexible Python environment isolation and low resource usage.

Key features

• AI assistant for intelligent task management
• Visual operation interface with full monitoring
• Flexible Python environment isolation and low resource usage
• Supports Scrapy, Selenium, Playwright, DrissionPage
• Node.js environment for JS reverse engineering
• Windows distributed scheduling support

Use cases

• Large-scale web scraping with distributed scheduling
• Browser automation for dynamic content extraction
• JS reverse engineering for anti-bot bypass
• Multi-environment crawler management with isolation
• Real-time monitoring and AI-assisted task optimization

README excerpt

## TaskPyro 是什么？ TaskPyro 是一个轻量级、功能丰富、稳定的 Python 任务调度平台，专注于提供简单易用的任务管理、爬虫调度解决方案和 AI 智能助手功能。它能够帮助您轻松管理和调度 Python 任务，特别适合需要定时执行的爬虫任务、数据处理任务，以及通过 AI 智能交互进行系统管理的场景。专业版独有"流程编排"功能，实现 Python 脚本零 API 封装化，让您的 Python 脚本秒变 HTTP 接口，无缝接入 n8n/Dify/Coze 等低代码生态，打造"脚本即服务"的轻量级 Serverless 函数计算平台"+"低代码集成网关。 > 官网文档：https://docs.taskpyro.cn/    **特别感谢以下赞助商的支持（排序不分先后）：** [](https://www.coreclaw.com/?utm_source=github&utm_medium=referral&utm_campaign=taskpyro&utm_term=taskpyro&utm_id=taskpyro) [](https://www.rapidproxy.io/?ref=blues) ## 开发背景 在当今数字化时代，自动化数据采集、处理和 AI 智能管理变得越来越重要。然而，现有的任务调度解决方案要么过于复杂，要么缺乏针对 Python 环境的特定优化，更缺乏智能化的交互方式。特别是许多用户的代码需要在 Windows 环境下才能更好地运行（如使用特定的 Windows API、COM 组件或依赖 Windows 特有的软件或一些浏览器自动化爬虫代码），但却缺乏合适的系统来进行统一的管理、调度、监控和智能交互。TaskPyro 正是为了解决这些痛点而诞生的，旨在为 Python 开发者提供一个简单、高效、可靠的跨平台任务调度平台，同时集成 AI 智能助手，通过自然语言交互实现智能化管理。 ## 为什么选择TaskPyro？ - 🏢 **大型企业**：需要跨机器、跨地域的分布式任务调度管理 - 🔍 **数据工程师**：需要在多台服务器上执行大规模数据采集和处理任务 - 🕷️ **爬虫开发者**：需要管理分布在不同节点的爬虫任务集群 - 📊 **数据分析师**：需要在多个计算节点上并行执行数据分析任务 - 🛠️ **系统运维人员**：需要统一管理多台服务器的定时维护任务 - 👥 **开发团队**：需要多用户协作和权限管理的任务调度平台 - 🌐 **混合环境**：需要同时管理 Windows 和 Linux 服务器的任务调度 - 🤖 **AI 爱好者**：希望通过自然语言交互智能管理任务的开发者 - 💬 **即时通讯用户**：想通过企业微信、钉钉、飞书随时监控系统状态 - 🔄 **集成开发者**：需要将 Python 能力快速接入 n8n/Dify/Coze 等低代码平台 ## 使用流程 - 部署主控节点（Docker） - 配置分布式工作节点（Windows/Linux）（可选，不配置也可以直接本机部署任务） - 配置Python环境和版本 - 创建项目并分发到工作节点 - 配置用户权限和访问控制 - 配置消息通知和监控告警 - 创建本机/分布式定时任务 ## 核心功能 TaskPyro 专业版提供了一系列企业级功能，帮助您构建高可用的分布式任务调度系统： - 🌐 **分布式架构** - 支持 Windows 和 Linux 混合节点部署 - 无需 Docker 环境的轻量级工作节点 - 通过 Docker 一键安装主控节点统一管理所有分布式节

Topics