FreeLLMAPI

认领

FreeLLMAPI 是一款兼容 OpenAI 的代理，通过单一 `/v1` 端点路由多个 LLM 提供商的免费额度请求，支持自动故障转移、加密密钥存储和内置管理面板，适合个人实验。

AI API设计

大语言模型

访问网站

概览

FreeLLMAPI 是一款兼容 OpenAI 的代理，可通过单一 `/v1` 端点路由多个 LLM 提供商的免费额度请求。该项目将自己定位为把各自的免费计划整合为一个共享推理入口，适合个人实验。

它支持一长串提供商集成，也支持任何自定义的兼容 OpenAI 端点，例如 llama.cpp、LM Studio、vLLM 或本地 Ollama 实例。该代理负责模型路由、自动故障转移、上游密钥的加密存储，以及用于管理密钥和查看使用情况的仪表板。

功能

整合多个免费提供商

将包括 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 和 OpenCode Zen 在内的多个提供商免费额度聚合到一个兼容 OpenAI 的统一入口后。

自动路由与故障转移

使用路由器为每个请求选择一个模型；当某个提供商触发限流、返回 429/5xx 或超时时，自动切换到下一个提供商，并对失败的密钥设置短暂冷却时间。

按密钥使用情况追踪

按提供商、模型和密钥跟踪 RPM、RPD、TPM 和 TPD，并在多轮对话期间将会话粘在同一模型上约 30 分钟。

加密密钥与统一应用访问

使用 AES-256-GCM 将提供商 API 密钥加密后存储在 SQLite 中，同时客户端通过单一统一的 bearer token 向代理完成认证。

兼容 OpenAI 的 API 入口

提供 `/v1/chat/completions`、`/v1/models`、`/v1/responses`、`/v1/embeddings`、流式、非流式以及 OpenAI 风格工具调用，兼容相关客户端。

内置管理面板与分析

包含一个 React + Vite 管理面板，可用于管理密钥、调整回退链顺序、查看分析数据，并在 playground 中运行提示词。

使用场景

为 LLM 应用使用单一 API 端点
将 OpenAI SDK、LangChain、LlamaIndex、Continue 或类似客户端指向该代理，并保持相同的应用代码，只需将上游路径切换为 `/v1`。
在多个免费额度之间分散请求
添加多个免费额度服务的提供商密钥，让路由器选择可用模型；当某个提供商被限流或不可用时，自动故障转移。
自托管个人代理栈
在本地或小型服务器上运行 Docker Compose 配置，将 API、管理面板和 SQLite 数据保留在同一个自托管环境中。
管理密钥并监控使用情况
使用管理面板调整回退链顺序、查看延迟和 token 使用情况，并在将客户端接入代理前测试提示词。
路由到自定义本地或远程端点
通过同一个统一路由器连接自定义的兼容 OpenAI 后端，例如 LM Studio、llama.cpp、vLLM 或本地 Ollama。

Pros and Cons

Pros

将许多免费额度提供商整合到一个兼容 OpenAI 的端点后。
在提供商被限流、出错或超时时支持自动回退。
使用 AES-256-GCM 在静态存储时加密上游密钥。
通过更改基础 URL，就能与广泛的兼容 OpenAI 客户端和 SDK 配合使用。
包含一个自托管的管理面板，用于密钥管理和分析。

Cons

它明确限定于个人实验和单用户设置，不适用于多租户团队计费。
部分 OpenAI API 领域尚未实现，包括图像生成、音频、旧版 completions、审核以及 n > 1 completions。

FAQ

哪些客户端可以使用 FreeLLMAPI？

FreeLLMAPI 旨在与兼容 OpenAI 的客户端配合使用。README 说明，你可以通过更改基础 URL，将任何 OpenAI SDK 或兼容客户端（例如 LangChain、LlamaIndex、Continue 或 Hermes）指向该代理。

FreeLLMAPI 通常如何部署？

Docker 指南说明，个人使用时推荐通过 Docker Compose 运行。它在 3001 端口从单个进程提供 API 和管理面板服务，并将 SQLite 持久化到命名卷中。

支持哪些 OpenAI 风格的端点和工作流？

README 说明，该代理实现了 `/v1/chat/completions`、`/v1/models`、`/v1/responses`、`/v1/embeddings`、流式和非流式响应，以及 OpenAI 风格的工具调用。它不实现图像生成、音频、旧版 completions、审核、单次请求多次 completions 或按用户计费。

团队可以使用多租户认证来使用它吗？

该项目围绕单用户设置构建。README 明确说明，目前不支持按用户计费和多租户认证。

Quick Facts

类别: 开发者工具
主要用途: 兼容 OpenAI 的 LLM 代理
部署方式: Docker Compose 或 Node 20+ 自托管
认证模型: 应用使用统一 bearer token；管理端使用邮箱/密码登录
源站域名: github.com
价格: 开源项目；已查看 GitHub 的定价页面以获取托管背景，但该产品本身不提供付费计划

FreeLLMAPI 数据分析

流量数据仅供参考。

流量与排名

月访问量: 6.2亿
平均访问时长: 06:23
每次访问页数: 5.87

流量趋势

主要访问地区

流量来源

FreeLLMAPI 替代品

DDS Hub

DDS Hub 是面向 Claude 和 OpenAI 系列模型工作流的 AI API 平台，提供按 token 计费、模型选择和 Claude Code 配置指引，帮助开发者集中完成 API 接入、用量计费和基础故障排查。

Cerebras

Cerebras 是面向开发者和企业的 AI 推理与训练平台，支持快速模型服务、专属容量和本地部署；提供免费 API、付费云计划及 AWS Marketplace、OpenRouter、Hugging Face、Vercel 合作接入。

NavtoAI API

NavtoAI API 是统一的 AI API 网关，通过一个账号和一个 API 形状路由 200+ 模型请求，支持 API key 用量查询、路由控制及密钥、配额、计费、用户和可观测性集中管理。

书生

书生是通用大模型体系，覆盖语言、多模态、气象海洋、工业设计、三维空间、金融与科学发现等场景，提供模型与平台能力；官网未公开价格、部署步骤或接入文档。

RLAMA

RLAMA 是一款本地 AI 平台，适用于在 macOS、Linux 和 Windows 上构建 RAG 系统与智能体。支持本地处理、交互式终端工作流和用于文档问答及多智能体自动化的 HTTP API。

OpenAI

OpenAI 是一家 AI 研究与部署公司，聚焦 ChatGPT、API、Platform 工具和 Codex。适合个人、开发者和企业探索对话式 AI、构建模型应用并了解产品与研究更新。