DocsPanduanProvider & endpoint kustom

// Panduan

Provider & endpoint kustom

Menambah model: preset, endpoint OpenAI-compatible HTTP/HTTPS, header, TLS.

Core berbicara dengan model lewat API yang kompatibel dengan OpenAI: POST {base_url}/chat/completions dengan streaming, pemanggilan alat, dan teks penalaran. Artinya hampir semua provider atau server model bisa dipakai.

Preset bawaan#

ProviderBase URLVariabel keyModel bawaan
openaihttps://api.openai.com/v1OPENAI_API_KEYgpt-4o-mini
openrouterhttps://openrouter.ai/api/v1OPENROUTER_API_KEYopenai/gpt-4o-mini
groqhttps://api.groq.com/openai/v1GROQ_API_KEYllama-3.3-70b-versatile
deepseekhttps://api.deepseek.com/v1DEEPSEEK_API_KEYdeepseek-chat
ollamahttp://127.0.0.1:11434/v1(tanpa key)llama3.1

Sebuah preset dianggap "terhubung" bila key-nya ada di ~/.neovarch/.env. Pasang lewat terminal:

bash
neovarch setup --provider groq --api-key gsk_... --non-interactive

Endpoint kustom lewat CLI#

Untuk server apa pun yang kompatibel OpenAI:

bash
neovarch setup --provider custom --base-url https://router.contoh.com/v1 --model nama-model --api-key sk-...

API key untuk provider custom disimpan di .env sebagai NEOVARCH_API_KEY. Atau ubah langsung config.yaml:

yaml
model:
  provider: custom
  base_url: http://192.168.1.20:4000/v1
  default: qwen2.5-coder

Endpoint kustom dari aplikasi segera hadir (v1.4.0)#

Di v1.4.0 aplikasi desktop punya form Endpoint kustom di Pengaturan ▸ Provider. Isinya:

KolomKeterangan
NamaLabel endpoint, juga dipakai sebagai id (custom:<id>).
URLhttps://gateway-online/v1 atau http://localhost:PORT/v1. Port bebas. Tanpa skema, alamat lokal (localhost, 127.*, 10.*, 192.168.*, 172.16-31.*) otomatis memakai http://, selain itu https://.
API keyOpsional. Disimpan di .env sebagai NEOVARCH_EP_<ID>_API_KEY.
Header tambahanOpsional, satu per baris dengan format Nama: nilai. Disimpan di .env sebagai NEOVARCH_EP_<ID>_HEADERS.
Izinkan sertifikat self-signedMati secara bawaan. Nyalakan hanya untuk server milikmu sendiri dengan sertifikat buatan sendiri.
ModelDipilih dari daftar otomatis, atau diketik manual.

Tombol Tes koneksi memanggil GET {base_url}/models (dan {base_url}/v1/models bila URL tanpa /v1). Bila berhasil, daftar model terisi otomatis. Bila server tidak punya /models, ketik nama model secara manual; endpoint tetap bisa dipakai.

Setelah disimpan, endpoint tercatat di custom_providers di config.yaml:

yaml
custom_providers:
  - id: litellm-lokal
    name: LiteLLM lokal
    base_url: http://127.0.0.1:4000/v1
    model: qwen2.5-coder
    discover_models: true
    allow_insecure_tls: false
    key_env: NEOVARCH_EP_LITELLM_LOKAL_API_KEY
    headers_env: NEOVARCH_EP_LITELLM_LOKAL_HEADERS

Contoh server yang bisa dipakai#

  • Lokal di PC yang sama: Ollama (http://127.0.0.1:11434/v1), LM Studio, LiteLLM, llama.cpp server.
  • Di PC lain dalam LAN: http://192.168.x.y:PORT/v1.
  • Gateway online: OpenRouter, router AI, atau gateway perusahaan dengan https://.

Masalah umum#

GejalaPenyebab dan solusi
Tes koneksi gagal dengan error sertifikatServer memakai sertifikat self-signed. Nyalakan "Izinkan sertifikat self-signed", atau pasang CA-nya di sistem.
Terhubung tapi 0 modelServer tidak punya /models. Ketik nama model secara manual.
401 / 403API key salah, atau gateway butuh header tambahan.
Tidak bisa terhubung ke IP LANPastikan server mendengarkan di 0.0.0.0, bukan hanya 127.0.0.1, dan port diizinkan di firewall.
Add model di aplikasi v1.3.0 tidak berfungsiDiketahui di v1.3.0. Pakai neovarch setup; diperbaiki di v1.4.0.

Edit halaman ini di GitHub