Models

Open WebUI

Open WebUI は、いくつもの OpenAI 互換エンドポイントを同時に扱えます。Grafilab を接続の 1 つとして追加すれば、カタログのすべてのモデルが、すでに動かしている他のモデルと並んでチャットのモデルピッカーに現れます。

前提条件

A Grafilab API key. In the console open API (https://app.grafilab.ai/api) and click Generate New Key — see API Keys.

キーには open-webui という名前を付けます。インスタンス上のすべてのチャットがこの 1 つのキーで認証されるため、専用キーにしておくと使用状況ビューでその共有トラフィックを他のツールと分けられます。

アバターを選んで Admin Panel を開き、Settings → Connections に進みます。このページでは Manage OpenAI API Connections の下にモデルプロバイダーが一覧表示されます。
Manage OpenAI API Connections の横にある + ボタンを選んで接続を追加します。
URL を次の値にします。
```
https://llm.grafilab.ai/v1
```
入力中によく知られたエンドポイントが候補として表示されますが、候補は無視して上の値を貼り付けてください。/chat/completions と /models は Open WebUI 自身が追加します。
API Key フィールドに Grafilab のキーを貼り付けます。
Verify Connection を選びます。Open WebUI が GET /v1/models を呼び出し、成功のメッセージが出れば URL とキーの両方が正しいということです。
Save を選びます。この接続はインスタンスのすべてのユーザーに対して有効になります。
新しいチャットを開始してモデルピッカーを開くと、Grafilab のモデル ID が一覧に入っています。

Grafilab のモデルでメッセージを送り、ストリーミングされる様子を確認します。次にコンソールで API を開き、open-webui キーの View Usage を選んで、今日のリクエストが記録されているか確かめてください。集計は 30 分ほど遅れることがあります。

カタログは長く、すべてが入ったピッカーは誰も読まないピッカーです。

必要なモデルだけを表示する。 接続には Model IDs (Filter) という許可リストがあります。Grafilab のモデル ID を入力し、+ を選んで追加する、という手順を繰り返します。1 件でも登録すると、ピッカーにはそれらのモデルだけが表示されます。空のままにすれば、接続が返すすべてが表示されます。
モデルの名前と説明を変える。 Workspace → Models で、モデルにわかりやすい表示名、説明、システムプロンプト、既定のパラメーターを設定できます。変わるのは自分のインスタンスでの見え方だけで、リクエストは引き続き Grafilab の ID を運びます。
画像を生成する。 Open WebUI の画像設定は OpenAI 互換の画像エンドポイントを指定でき、Grafilab の場合は https://llm.grafilab.ai/v1 で、その背後に /v1/images/generations があります。

症状	原因	対処
Verify Connection が失敗する	URL に `/v1` がない、または末尾のスラッシュやパスが付いている	正確に `https://llm.grafilab.ai/v1` に設定する
接続は検証できるがモデルが出てこない	Model IDs (Filter) のエントリがカタログのどの ID とも一致していない	フィルターを消すか、`GET /v1/models` で一覧を取り直して ID を入力し直す
すべてのチャットで `401`	キーに余分な空白がある、またはコンソールでローテーションされた	API からキーを貼り直す
上限に関するメッセージ付きの `429`	Grafilab のクレジット残高が空。スループット制限ではない	コンソールでチャージする
返答がストリーミングされず一度に届く	Open WebUI の前段にあるリバースプロキシが server-sent events をバッファリングしている	Open WebUI 向けの経路でレスポンスのバッファリングを無効にする

Open WebUI + OllamaGrafilab の GPU 上で Open WebUI をローカルモデルとともに動かします。

API キーopen-webui キーをローテーションしたり、インスタンスの消費額を確認したりします。

Playgroundピッカーに追加する前にモデルを試します。