一个轻量化的API请求中转系统。
- 支持多种LLM模型接入
- 基于手机号的API密钥管理
- 实时用量统计和限制
- 支持流式响应
- 安装依赖
pip install -r requirements.txt
- 配置环境变量
export ENV=production # 生产环境必须
export SESSION_SECRET_KEY=your-secure-key # 生产环境必须
- 运行服务
python -m app.main
POST /v1/chat/completions
- 聊天补全POST /v1/completions
- 文本补全
- api_keys_usage.json - API密钥配置
{
"api-key": {
"usage": 0,
"limit": 300000,
"reqs": 0,
"created_at": "2024-02-04 12:00:00",
"last_used": null,
"phone": "139xxxxxxxx"
}
}
- llm_servers_list.json - LLM服务器配置
{
"server-url": {
"model": {
"public-model-name": "actual-model-name"
},
"device": "device-info",
"apikey": "optional-api-key"
}
}
- serve_models_list.json - Serve模型列表
{
"models": [
"deepseek-chat",
"deepseek-reasoner",
"moonshot-v1-8k"
]
}