如何轻松为您的本地 LLM 设置一个整洁的用户界面

原文：towardsdatascience.com/how-to-easily-set-up-a-neat-user-interface-for-your-local-llm-1a972da2310e

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/ec599266dbaa48d377e23688aca1cdad.png

由 AI（Midjourney）生成的图像 - 作者

1 为什么选择本地 LLM

无论是因为公司限制还是出于对个人数据安全处理的愿望，许多人因为数据隐私问题而避免使用 ChatGPT。

幸运的是，有一些解决方案允许无限使用 LLM，而无需将敏感数据发送到云端。

在我之前的一篇文章中，我通过解释如何利用 Ollama 在本地运行 Llama 3 来探索了这样一个解决方案。

运行本地 LLM 比你想象的更有用且更容易

先决条件：在上一篇文章的最后，我们通过 Ollama 使 Llama 3 在本地运行，我们可以通过终端或 Jupyter Notebook 来使用它。

在这篇文章中，我解释了如何通过简洁的 UI 在几分钟内使本地 LLM 的使用更加用户友好！

因此，这篇文章实际上是一个后续文章，其中我逐步解释了如何通过 ChatGPT-like 的用户界面——Open WebUI——运行本地 LLM。剧透警告：这出奇地简单！

让我们开始吧！

2 Open WebUI 的简要概述

Open WebUI 是一个用于本地运行 AI 模型的开源界面。它允许您通过网页浏览器像与 ChatGPT 聊天一样与您的 LLM 进行聊天。

它与各种不同的 LLM 兼容，并且有一个非常活跃的社区，这确保了解决方案能够与最新的模型保持同步。

界面非常简洁且用户友好，这使得使用起来非常直观。甚至还有可能在不同本地模型之间切换并微调它们的超参数。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/1eb7be5b4a6dd5a1c50ffccf789df9ca.png

来自github.com/open-webui/open-webui的 Open WebUI 快速演示（MIT 许可证）

非常棒！

3 安装 Docker

好吧，我们确实谈到了 Open WebUI，那么 Docker 在这里做什么呢？

Docker 允许您在本地计算机上轻松运行隔离的“容器”中的应用程序。这简化了软件安装，并确保在不同环境中的一致、可靠的执行。换句话说，这正是我们运行 Open WebUI 所需要的。

要下载 Docker，只需访问docker.com并点击下载：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a03d07ab5099810ca92f97670c879b89.png

Docker.com 首页 - 来自 docker.com 的截图 - 作者

下载完成后，就像其他任何应用程序一样，只需按照非常简单的安装步骤进行即可。

步骤 1/2:

1- 将 docker 应用拖到您的应用程序文件夹中安装它

2- 接受 Docker 服务协议

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/39224ae4cc66f058135f0065d77ea8e1.png

步骤 1 和 2 – 作者截图 – Docker 安装程序

步骤 3/4:

3- 如果您愿意，可以创建一个 Docker 账户，或者您可以跳过这一部分，在我们的情况下这不是必需的

4- 最后，按照推荐的设置完成 Docker Desktop 的安装

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9c17ab0fe48ac1e3c9e263426c618a98.png

步骤 3 和 4— 作者截图 – Docker 安装程序

到这一步，docker 已经安装，应该看起来像这样（我立即切换到暗黑模式，原因很明显）：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/9b6ea866ccf5f6df732e9052ff32d00d.png

Docker Desktop 主页 – 作者截图

您现在可以最小化 Docker，因为下一步是安装 Open WebUI！

4 安装 Open WebUI

要安装 Open WebUI，请访问docs.openwebui.com/:

🏡 主页 | Open WebUI

如果您向下滚动一点，您会发现推荐的安装部分（通过 Docker）：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/daa07689773d0262539fd5587c12f07b.png

Open WebUI 开源文档 – 作者截图

您需要的是我这里用红色突出显示的命令。

docker run -d -p 3000:8080 – add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data – name open-webui – restart always ghcr.io/open-webui/open-webui:main

只需在终端中运行该命令，就会下载 Open WebUI 的 Docker 镜像并运行：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d9ff4c8b6af49c03cc6d828485ab433b.png

通过终端安装 Open WebUI – 作者图片

如果您现在回到 Docker Desktop（您之前已经最小化了），您将看到这个容器正在运行：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/756229008a6a3071f7b7d81866fb9a1b.png

通过 Docker 运行 Open WebUI – 作者图片

5 运行 Open WebUI

在 Docker Desktop 中，如果您点击“端口(s)”列中的 3000:8080 链接，它将在您的网页浏览器中打开以下网址：

localhost:3000/auth

您应该看到登录页面。

Open WebUI 要求您在使用前注册。完成后，您只需登录：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/0d87672c30a7e05ae9477f1d6d700a92.png

运行 Open WebUI 时的登录页面 – 作者图片

登录后，您应该会出现在 Open WebUI 的主页上，运行在 localhost:3000，看起来应该像这样：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/05174c9eecdc60d973b7192c22563bfc.png

在 localhost:3000 上运行的 Open WebUI – 图片由作者提供

下一个也是最后一个步骤是通过左上角的下拉菜单选择一个模型。它显示了通过 Ollama 之前下载的所有模型的列表。

在我的情况下，我只下载了 llama3 8B，所以我将使用这个。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/8a462b5a2ecda44380497587c9646c59.png

在 Open WebUI 中选择一个模型 – 图片由作者提供

最后要做的就是使用它！

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d0fd7f5b1bc622e3acf61ad9029df044.png

通过 Open WebUI 界面使用 Llama3 – 图片由作者提供

模型的响应时间通常取决于你的电脑的 GPU / RAM。

6 总结

总结一下，为了在你的电脑上通过一个整洁的用户界面（Open WebUI）运行 LLM（例如 Llama 3），你需要：

1. 在你的电脑上安装 Ollama

2. 下载 Llama 3（或任何其他开源 LLM）

3. 在你的电脑上安装 Docker

4. 通过 Docker 安装和运行本地 Open WebUI

5. 通过 Open WebUI 界面运行 Llama 3

步骤 1 和 2 非常简单，我在这篇文章中详细描述了它们：

运行本地 LLM 比你想象的更有用且更容易

步骤 3、4 和 5 是这篇文章的重点。

希望你发现它很有用！

7 最后的思考

这篇文章的目的是强调通过 Open WebUI 运行本地 LLM 的简单性。

我只是触及了表面，因为 Open WebUI 可以做很多不仅仅是运行模型的事情。比如上传文件、生成图像或用你自己的知识库喂养模型，这些通过这个工具都非常容易访问。

思考的食物。

*感谢你阅读到文章的结尾。**关注我获取更多！*如果你有任何问题或评论，请随意在下面留言，或者通过 LinkedIn / X 联系我！

每当 Guillaume Weingertner 发布内容时，都会收到电子邮件