免费利用腾讯云GPU+Ollama+开源模型+搭配OpenWebUI，搭建自己的本地大模型AI

 

Ollama简介

  地址： https://github.com/ollama/ollama

  Ollama是一个创新的平台，它允许用户在本地启动并运行大型语言模型。它提供了一个简单易用的内容生成接口，类似于OpenAI，但无需开发经验即可直接与模型进行交互。Ollama支持热切换模型，为用户提供了灵活性和多样性。

安装Ollama环境

进入网站并登录

https://ide.cloud.tencent.com/

创建Ollama 模板，直接已经包含了Ollama 功能不需要在安装了

 启动成功以后

确认环境已经安装成功

ollama list 查看已经安装的镜像

下载和使用大型模型

https://ollama.com/library?sort=popular

这里可以看到所有支持的模型

ollama run qwen2.5:32b  选择模型执行，这个命令下载即可

运行模型

通过ollama run命令，你可以运行特定的模型。例如，ollama run qwen将启动qwen模型。

安装ngrok  内网穿透

https://dashboard.ngrok.com/login?state=1C24IvyrjGvVYIgUfKlAm3dczgwwjDQYaGDellB5h4DOe3RwkCia-4HQcCTefsWrhblSJxQiMhu34sJrk1yHnE-XS-hXLzHRRT9LpbqWOdGfMIjxaZyFP1o9ea5hQFsNyztMwqinu1rtdqvNmDrDxB_oaM1b7R6RZD-EJTQoRXBUza7hdiIk

安装完毕会给你一个类似下面的穿透地址

https://72c7-212-64-27-162.ngrok-free.app/

OpenWebUI  安装

OpenWebUI是一个可扩展、功能丰富且用户友好的自托管WebUI，它支持完全离线操作，并兼容Ollama和OpenAI的API。这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷。

地址：https://github.com/open-webui/open-webui?tab=readme-ov-file

安装推荐Docker 安装

 docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=你的内网穿透地址  -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

上面的地址后面可以更改的

• 如果您的计算机上有 Ollama，请使用以下命令：

  docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

上面就是运行成功的界面

配置沉浸式翻译：

docker run -d --rm \

  --network host \

  -e OLLAMA_ORIGINS="chrome-extension://*" \

  -v ollama:/root/.ollama \

  --name ollama \

  ollama/ollama

必须加上 ，OLLAMA_ORIGINS

如果是 ollama serve 不是Docker 启动方式：

nano ~/.bashrc  # 或者使用您喜欢的文本编辑器

b. 在文件末尾添加以下行：

bash

export OLLAMA_ORIGINS="chrome-extension://*"

c. 保存并关闭文件。

d. 重新加载配置文件：

bash

source ~/.bashrc  # 或相应的配置文件

a. 首先，找到 Ollama 的进程 ID：

bash

pgrep ollama

b. 然后，使用 kill 命令停止进程：

bash

kill $(pgrep ollama)

c. 最后，重新启动 Ollama：

bash

ollama serve &

 就可以浏览器扩展使用了