Python 异步爬虫框架
基于 asyncio 的高性能爬虫框架，支持并发控制、自动重试和智能缓存。
Python asyncio aiohttp SQLite
项目介绍
一个基于 Python asyncio 的高性能爬虫框架，内置并发控制、请求去重、自动重试和结果缓存等核心功能。
技术栈
- Python：核心语言
- asyncio：异步并发
- aiohttp：异步 HTTP 客户端
- SQLite：结果缓存
核心特性
- Semaphore 并发控制
- 自动去重与缓存
- 失败自动重试
- 实时日志输出