Scylla 中文文档

Scylla 是一款高质量的免费代理 IP 池工具，仅支持 Python 3.6。特性如下：

  • 自动化的代理 IP 爬取与验证
  • 易用的 JSON API
  • 简单但美观的 web 用户界面，基于 TypeScript 和 React（例如，代理的地理分布）
  • 最少仅用一条命令即可启动
  • 简明直接的编程 API（将在 1.1 版本中加入）
  • 最少仅用一行代码即可与 Scrapy 和 requests 进行集成
  • 无头浏览器（headless browser crawling）爬虫

快速开始

安装

Docker 安装（推荐）

docker run -d -p 8899:8899 -p 8081:8081 -v /var/www/scylla:/var/www/scylla --name scylla wildcat/scylla:latest

使用 pip 直接安装

pip install scylla
scylla --help
scylla # 运行爬虫和 Web 服务器

从源代码安装

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

npm install # 或 yarn install
make build-assets

python -m scylla

使用

这里以服务运行在本地（localhost）为例，使用口号 8899。 注意：首次运行本项目时，您可能需要等待 1～2 分钟以爬取一定量的代理 IP。

JSON API

代理 IP 列表
http://localhost:8899/api/v1/proxies

可选 URL 参数：

参数 默认值 说明
page 1 页码
limit 20 每页显示代理 IP 的数量
anonymous any 是否显示匿名代理。可选值：true，只显示匿名代理；false，只显示透明代理。
https any 是否显示 HTTPS 代理。可选值：true，只显示 HTTPS 代理；false，只显示 HTTP 代理。
countries 无 只选取特定国家的代理，格式示例：US，或者多国家：US,GB

结果样例：

{
    "proxies": [{
        "id": 599,
        "ip": "91.229.222.163",
        "port": 53281,
        "is_valid": true,
        "created_at": 1527590947,
        "updated_at": 1527593751,
        "latency": 23.0,
        "stability": 0.1,
        "is_anonymous": true,
        "is_https": true,
        "attempts": 1,
        "https_attempts": 0,
        "location": "54.0451,-0.8053",
        "organization": "AS57099 Boundless Networks Limited",
        "region": "England",
        "country": "GB",
        "city": "Malton"
    }, {
        "id": 75,
        "ip": "75.151.213.85",
        "port": 8080,
        "is_valid": true,
        "created_at": 1527590676,
        "updated_at": 1527593702,
        "latency": 268.0,
        "stability": 0.3,
        "is_anonymous": true,
        "is_https": true,
        "attempts": 1,
        "https_attempts": 0,
        "location": "32.3706,-90.1755",
        "organization": "AS7922 Comcast Cable Communications, LLC",
        "region": "Mississippi",
        "country": "US",
        "city": "Jackson"
    },
    ...
    ],
    "count": 1025,
    "per_page": 20,
    "page": 1,
    "total_page": 52
}
系统统计
http://localhost:8899/api/v1/stats

结果样例：

{
    "median": 181.2566407083,
    "valid_count": 1780,
    "total_count": 9528,
    "mean": 174.3290085201
}

HTTP 正向代理服务器

默认情况下，Scylla 会在端口 8081 启动一个 HTTP 正向代理服务器（Forward Proxy Server）。 这个服务器会从数据库中选择一个刚更新过的代理，并将其用作正向代理。 每当发出 HTTP 请求时，代理服务器将随机选择一个代理。

注意：目前不支持 HTTPS 请求。

使用此代理服务器的 “curl” 示例如下：

curl http://api.ipify.org -x http://127.0.0.1:8081

你也可以在 requests 中使用这个特性：

requests.get('http://api.ipify.org', proxies={'http': 'http://127.0.0.1:8081'})

Web 界面

打开 http://localhost:8899 即可访问本项目的 Web 界面。

代理 IP 列表
http://localhost:8899/

截图：

screenshot-proxy-list

代理 IP 全球分布
http://localhost:8899/#/geo

截图：

screenshot-geo-distribution

系统设计

API 文档

请阅读 模块索引。更易用的编程接口正在开发中。

开发路线图

请查看 Projects。

开发与贡献

git clone https://github.com/imWildCat/scylla.git
cd scylla

pip install -r requirements.txt

npm install # 或 `yarn install`
make build-assets

测试

本项目使用了较多的单元测试来保证代码的质量，并集成 Travis CI 来实现持续集成。如需在本地运行测试，命令如下：

pip install -r tests/requirements-test.txt
pytest tests/

十分欢迎您添加更多的测试用力以增强本项目的鲁棒性。

项目命名

Scylla，或被称为“锡拉”（中文里），源自于美剧《越狱》中的一组记忆芯片的名字。本项目以此命名，是为了致敬这部美剧。

捐助

如果您认为这个项目有帮助，不妨为它捐助一点钱？

不管钱有多少，您的捐助将会激励作者持续开发新功能！🎉

感谢您的支持！

捐助方法如下：

PayPal

PayPal Donation Official

支付宝或微信

Alipay and WeChat Donation

协议

Apache License 2.0. 如需了解详情，请阅读 LICENSE 这个文件。

索引表