整合多個免費供應商
在一個相容 OpenAI 的介面後方，彙整包含 Google、Groq、Cerebras、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare、HuggingFace、Z.ai、Ollama、Kilo、Pollinations、LLM7、OVH AI Endpoints 與 OpenCode Zen 在內的多個供應商免費額度。
概覽
FreeLLMAPI 是一個相容 OpenAI 的代理，透過單一 /v1 端點將請求路由到多個 LLM 供應商的免費額度。此專案定位為將個人的免費方案整合成一個共享推理介面，供個人測試使用。
它支援大量供應商整合，以及任何相容 OpenAI 的自訂端點，例如 llama.cpp、LM Studio、vLLM，或本機 Ollama 執行個體。此代理負責模型路由、自動故障轉移、上游金鑰的加密儲存，以及用來管理金鑰和檢視使用情況的儀表板。
功能
自動路由與故障轉移
使用路由器為每個請求選擇模型；當某個供應商受到速率限制、回傳 429/5xx 或逾時時，會切換到下一個供應商，並對失敗的金鑰維持短暫冷卻時間。
逐金鑰使用量追蹤
依供應商、模型與金鑰追蹤 RPM、RPD、TPM 與 TPD，並在多輪對話期間於同一模型上維持約 30 分鐘的黏性工作階段。
加密金鑰與統一應用存取
將供應商 API 金鑰以 AES-256-GCM 加密後儲存在 SQLite 中，同時讓用戶端透過單一整合的 bearer token 向代理驗證。
相容 OpenAI 的 API 介面
提供 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流、非串流，以及相容用戶端可使用的 OpenAI 風格工具呼叫。
內建儀表板與分析
內建 React + Vite 管理儀表板，可用來管理金鑰、排序備援鏈、查看分析資料，並在 playground 中執行提示詞。
使用情境
讓 LLM 應用只使用單一 API 端點
將 OpenAI SDK、LangChain、LlamaIndex、Continue 或類似用戶端指向此代理，並在將上游路徑切換為 /v1 的同時維持相同的應用程式程式碼。
將請求分散到免費額度
加入多個免費額度服務的供應商金鑰，讓路由器選擇可用模型，當某個供應商被限流或無法使用時自動故障轉移。
自架個人代理堆疊
在本機或小型伺服器上執行 Docker Compose 設定，將 API、儀表板與 SQLite 資料保留在同一個自架環境中。
管理金鑰並監控使用量
使用管理儀表板重新排序備援鏈、檢視延遲與 token 使用量，並在將用戶端接入代理前測試提示詞。
路由到自訂本機或遠端端點
透過同一個統一路由器連接自訂的相容 OpenAI 後端，例如 LM Studio、llama.cpp、vLLM 或本機 Ollama。
Pros and Cons
Pros
- 將多個免費額度供應商整合到單一相容 OpenAI 的端點後方。
- 當供應商受到速率限制、發生錯誤或逾時時，支援自動備援。
- 以 AES-256-GCM 將上游金鑰靜態加密儲存。
- 只要變更 base URL，就能與廣泛的相容 OpenAI 用戶端與 SDK 搭配使用。
- 包含可自架的儀表板，用於金鑰管理與分析。
Cons
- 它明確聚焦於個人測試與單一使用者設定，而非多租戶團隊計費。
- 若干 OpenAI API 範圍未實作，包括圖片生成、音訊、舊版 completions、審核，以及 n > 1 completions。
FAQ
哪些用戶端可以使用 FreeLLMAPI？
FreeLLMAPI 設計為可與相容 OpenAI 的用戶端搭配使用。README 表示，你可以透過變更 base URL，將任何 OpenAI SDK 或相容用戶端，例如 LangChain、LlamaIndex、Continue 或 Hermes，指向此代理。
FreeLLMAPI 通常如何部署？
Docker 指南說，Docker Compose 是個人使用時建議的執行方式。它會在單一程序中於 3001 連接埠提供 API 與儀表板，SQLite 則會持久化到具名磁碟區。
支援哪些 OpenAI 風格的端點與工作流程？
README 說，這個代理實作了 /v1/chat/completions、/v1/models、/v1/responses、/v1/embeddings、串流與非串流回應，以及 OpenAI 風格的工具呼叫。它不支援圖片生成、音訊、舊版 completions、審核、每次請求多個 completions，或 per-user 計費。
團隊可以搭配多租戶驗證使用嗎？
此專案是以單一使用者設定為核心。README 明確表示，目前不支援 per-user 計費與多租戶驗證。
Quick Facts
- 分類
- 開發者工具
- 主要用途
- 相容 OpenAI 的 LLM 代理
- 部署方式
- Docker Compose 或 Node 20+ 自架
- 驗證模式
- 應用使用統一 bearer token；管理員使用 email/password 登入
- 來源網域
- github.com
- 價格
- 開源專案；曾檢視 GitHub 的價格頁以了解主機託管情境，但產品本身未提供付費方案
FreeLLMAPI 數據分析
流量數據僅供參考。
流量與排名
- 月造訪量
- 6.2億
- 平均造訪時長
- 06:23
- 每次造訪頁數
- 5.87
流量趨勢
主要造訪地區
- 美國: 19.3%
- 中國: 11.3%
- 印度: 10.2%
- 俄羅斯: 8.43%
- 德國: 4.06%
- 其他: 46.7%
流量來源
- 直接造訪: 52.1%
- 搜尋: 25.4%
- 引薦: 9.88%
- 社群: 9.24%
- 郵件: 1.16%
- 展示廣告: 0.27%
FreeLLMAPI 替代品
DDS Hub
DDS Hub 是一個支援 Claude 與 OpenAI 家族模型工作流程的 AI API 平台，提供 token 計價、模型選擇與 Claude Code 設定指引，方便開發者在同一處取得 API 存取、用量計費與基本疑難排解。
Cerebras
Cerebras 是專為開發者與企業打造的 AI inference 與 training 平台，提供快速模型服務、專屬容量與 on-prem 部署，並支援免費 API、付費雲端方案及 AWS Marketplace、OpenRouter、Hugging Face、Vercel գործըն
NavtoAI API
NavtoAI API 是整合式 AI API 閘道，透過單一帳號與一致 API 介面串接 200+ 模型，支援路由、API 金鑰查詢、配額、計費與團隊管理。
书生
書生是一個通用大模型體系，提供語言、多模態、氣象海洋、工業設計、三維空間、金融與科學發現等場景的模型與平台能力。
RLAMA
RLAMA 是一款本機 AI 平台，可在 macOS、Linux、Windows 上建立 RAG 系統與智慧代理，支援本機處理、互動式終端工作流程與 HTTP API，用於文件問答與多代理自動化。
OpenAI
OpenAI 是專注於 ChatGPT、API、Platform 工具與 Codex 的 AI 研究與部署公司；探索對話式 AI、以模型開發，並掌握產品與研究更新。