Compute
Open WebUI + Ollama
启动这个模板，你会在浏览器里得到一个私有的 ChatGPT 风格聊天窗口，背后的模型完全跑在你刚租下的 GPU 上。
你会得到什么
Section titled “你会得到什么”镜像是 grafilab/openwebui:0.10.2，里面打包了两样东西：
- 80 端口上的 Open WebUI，发布在
https://<your-slug>.instance.grafilab.ai。 - Ollama，在同一容器内后台启动，监听
127.0.0.1:11434。
Ollama 是刻意绑到 localhost 的，不通过代理发布。它自身没有认证，所以任何能访问到它的人都能在你的 GPU 上加载并运行任意模型。请通过 Open WebUI 或 SSH 使用它 —— 绝不要用 Web Access 映射它。
镜像里没有内置模型。启动后你自己拉需要的模型，它们在租期内存在于容器中。
当重点是模型跑在你自己掌控的硬件上时选这个模板：一个私有助手、一个你不想交给第三方 API 的模型，或者某个想全速试一试的开放权重模型。
如果你真正想要的只是 Open WebUI 界面加上 Grafilab 的托管模型 —— 不租 GPU、不下模型、按 token 付费 —— 那你根本不需要实例。在任何地方运行 Open WebUI，把它指向 Models API 即可：参见 Open WebUI 集成。
照常部署实例，在第 2 步 Template Selection 里选 Open WebUI + Ollama。选一块显存够跑你计划中模型的卡 —— 权重必须放得进 GPU 显存，一个 4-bit 量化的 7–8B 模型在 24 GB 卡上很宽裕，而 70B 模型放不下。
完整流程见部署 GPU 实例。
抢占管理员账号
Section titled “抢占管理员账号”第一个注册的账号成为管理员。立刻自己来做这一步，在你把 URL 分享给任何人之前。
-
在控制台打开 My Instance，等卡片显示 Active。
-
在浏览器里打开
https://<your-slug>.instance.grafilab.ai。你的 slug 就是实例卡片上那个三词名字。 -
选 Sign up，填名字、邮箱和密码并提交。这个账号会被创建为管理员。
-
之后在同一实例上的任何注册都处于待批准状态，直到你批准为止。批准要慎重 —— 每一个通过的用户都在用你付钱的 GPU 跑任务。
如果页面显示的是登录表单而不是注册表单，说明有人先你一步。重新启动一个实例，在分享 URL 之前先把它占下来。
拉一个模型并开始对话
Section titled “拉一个模型并开始对话”不拉就什么都没有。有两种方式：
打开用户菜单，选 Settings → Admin Settings → Models，在模型下载框里输入模型名（例如 llama3.2），然后开始拉取。进度显示在同一个面板里，完成后模型会出现在聊天的模型选择器中。
通过 SSH
Section titled “通过 SSH”通过 SSH 连接 —— 见管理实例 —— 然后直接拉：
ollama pull llama3.2ollama listollama list 会打印容器里已有的模型及其磁盘占用。刷新浏览器标签页，新模型就出现在选择器里。
粗略的容量规则：一个模型大约需要相当于其下载体积的显存，再加上上下文窗口的余量。看一眼实例卡片上的 VRAM 数值，别超过它。放不下的模型要么溢出到 CPU 变得极慢，要么直接失败。
对话并验证 GPU
Section titled “对话并验证 GPU”新建一个对话，选中你拉下来的模型，发一条消息。拉取后的第一次回复慢，因为权重正在加载进显存；之后就快了。
要确认计算落在 GPU 而不是 CPU 上，在生成回复期间通过 SSH 运行：
nvidia-smi你应该在进程列表里看到一个 ollama 进程，并且 GPU 显存占用不为零。
可选：把 Grafilab 的托管模型也加进来
Section titled “可选：把 Grafilab 的托管模型也加进来”你可以两者并用 —— 在同一个选择器里既有跑在你 GPU 上的本地模型，也有 Grafilab 的托管目录。在 Open WebUI 里打开 Settings → Admin Settings → Connections，添加一个 OpenAI 兼容连接，base URL 填 https://llm.grafilab.ai/v1，再填一个 Grafilab API 密钥，保存即可。
细节（包括怎么签发密钥）在 Open WebUI 集成页面上。
持久化与安全
Section titled “持久化与安全”Nothing persists past the rental
Instances have no persistent volume. Anything you write at runtime — downloaded models, installed packages, notebooks, outputs — lives in the container for the lifetime of the rental and is gone when it expires. Before Expire at, back up the folders you care about to Grafilab storage and download the archive.
拉下来的模型是丢了最亏的东西 —— 那是几个 GB 的网络下载。如果你打算重新启动实例又想省掉下载，在租期到期前用实例卡片上的 Backup。
Open WebUI 是唯一自带登录的内置模板，因此它是几个 Web 模板里最安全的。但那个登录的安全性取决于你的批准纪律，而前面的代理并不额外提供保护：
Anyone with the URL can reach your web UI
The Grafilab proxy does not add a login in front of your instance. Your random three-word slug (https://<your-slug>.instance.grafilab.ai) is the only barrier, and the shipped web templates have no application login of their own (Open WebUI is the exception). Treat the URL like a password: don’t paste it in public places, and if you need a lock, add one inside the app over SSH.
- 注册成功但账号处于待批准状态。 你不是第一个账号。用管理员账号登录，打开管理员用户列表，批准该用户。
- 第一次回复要几十秒。 模型正在加载进显存。同一会话中之后的回复很快；切换模型会重新加载。
- 生成失败，或者回复到一半模型被卸载。 模型加上你要求的上下文放不进显存。拉一个量化更低的版本、缩短上下文，或者换一块显存更大的卡重新启动。
- 刚启动后 URL 没响应。 等实例卡片显示 Active —— 容器还在启动中。