news 2026/4/17 21:20:42

Ollama 服务部署常见配置修改

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Ollama 服务部署常见配置修改

目录

前言

1. 外部无法访问Ollama服务接口

1.1 检查 Ollama 服务状态

1.2 验证 Ollama API 是否可访问

1.3 常见解决方案

方案 A: 检查 Ollama 绑定地址

方案 B: 通过环境变量启动

1.4 Ollama 服务常见命令

2. 设置 Ollama 加载的模型常驻内存

方法1:设置环境变量(推荐)

方法2:设置模型特定的保持时间

方法3:使用 API 设置模型常驻

参数说明:

3. 设置模型预加载

方法一:创建启动后脚本

方法二:创建专门的systemd服务

方法三:修改现有服务


前言

使用 curl -fsSL https://ollama.com/install.sh | sh 命令部署安装 Ollama 服务。

1. 外部无法访问Ollama服务接口

localhost (127.0.0.1) 可以访问,而局域网 IP (如:192.168.0.131) 无法访问。

这通常是 Ollama 默认只绑定到 localhost 接口导致的。

以下是详细的排查步骤和解决方案:

1.1 检查 Ollama 服务状态

# 在 Ollama 所在的服务器上检查服务状态 systemctl status ollama # 或 sudo service ollama status # 如果服务未运行,启动它 sudo systemctl start ollama # 或 sudo service ollama start

1.2 验证 Ollama API 是否可访问

# 在 Ollama 服务器上测试 API curl http://localhost:11434/api/tags # 或在 Dify 服务器上测试 curl http://192.168.0.131:11434/api/tags

执行 curl http://localhost:11434/api/tags 正常访问

执行 curl http://192.168.0.131:11434/api/tags 报错:

1.3 常见解决方案

方案 A: 检查 Ollama 绑定地址

默认情况下 Ollama 只绑定到 127.0.0.1,需要修改配置:

# 1. 停止 Ollama 服务 sudo systemctl stop ollama # 2. 编辑环境变量文件 sudo nano /etc/systemd/system/ollama.service # 3. 在 [Service] 部分添加 Environment="OLLAMA_HOST=0.0.0.0:11434" Environment="OLLAMA_ORIGINS=*" # 4. 重新加载并启动 sudo systemctl daemon-reload sudo systemctl start ollama # 5. 验证监听地址 netstat -tlnp | grep 11434 # 应该显示 0.0.0.0:11434 而不是 127.0.0.1:11434

方案 B: 通过环境变量启动

# 临时设置 export OLLAMA_HOST=0.0.0.0:11434 ollama serve # 或创建 systemd 配置文件 sudo mkdir -p /etc/systemd/system/ollama.service.d/ sudo nano /etc/systemd/system/ollama.service.d/override.conf

添加内容:

[Service] Environment="OLLAMA_HOST=0.0.0.0:11434" Environment="OLLAMA_ORIGINS=*"

然后重启:

# 重新加载 systemd 并重启服务 sudo systemctl daemon-reload sudo systemctl restart ollama

1.4 Ollama 服务常见命令

# 1. 停止所有ollama相关进程 sudo systemctl stop ollama pkill -9 ollama # 2. 重新加载systemd配置 sudo systemctl daemon-reload # 3. 使用systemd启动ollama服务 sudo systemctl start ollama # 4. 检查服务状态 sudo systemctl status ollama # 5. 设置开机自启 sudo systemctl enable ollama # 6. 查看服务日志 sudo journalctl -u ollama -f # 7. 重启ollama服务 sudo systemctl restart ollama # 8. 验证端口监听情况 sudo netstat -tlnp | grep 11434

2. 设置 Ollama 加载的模型常驻内存

要让 Ollama 模型保持常驻内存(UNTIL 为 Forever),需要调整 Ollama 的配置。以下是几种方法:

方法1:设置环境变量(推荐)

临时设置(当前会话有效):

export OLLAMA_KEEP_ALIVE="24h" # 24小时 # 或者设置为永久 export OLLAMA_KEEP_ALIVE="-1" # 重启 ollama 服务 sudo systemctl restart ollama

永久设置(修改 systemd 配置):

# 编辑服务配置文件 sudo nano /etc/systemd/system/ollama.service

添加以下内容(如果已经有内容就添加新的环境变量):

[Service] Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*" Environment="OLLAMA_KEEP_ALIVE=-1"

然后:

# 重新加载并重启 sudo systemctl daemon-reload sudo systemctl restart ollama

方法2:设置模型特定的保持时间

# 在拉取或运行模型时指定保持时间 ollama pull --keep-alive -1 qwen3:14b # 或者 ollama run --keep-alive 24h qwen3:14b

方法3:使用 API 设置模型常驻

# 通过 API 加载模型并设置保持时间 curl -X POST http://localhost:11434/api/generate \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3:14b", "prompt": "Hello", "stream": false, "keep_alive": -1 }'

参数说明:

  1. OLLAMA_KEEP_ALIVE=-1: 永久保持模型在内存中

  2. OLLAMA_KEEP_ALIVE="24h": 保持24小时

  3. OLLAMA_KEEP_ALIVE="30m": 保持30分钟

3. 设置模型预加载

可以通过以下方法实现在Ollama服务启动时自动预加载模型。

方法一:创建启动后脚本

3.1 创建预加载脚本

sudo nano /etc/systemd/system/ollama-preload.sh

3.2 添加以下内容

#!/bin/bash # 等待ollama服务完全启动 sleep 5 # 预加载qwen3:14b模型 curl -X POST http://localhost:11434/api/generate \ -H "Content-Type: application/json" \ -d '{ "model": "qwen3:14b", "prompt": "ping", "stream": false, "options": { "num_predict": 1 } }' > /dev/null 2>&1 # 预加载quentinz/bge-large-zh-v1.5:latest模型 curl -X POST http://localhost:11434/api/generate \ -H "Content-Type: application/json" \ -d '{ "model": "quentinz/bge-large-zh-v1.5:latest", "prompt": "ping", "stream": false, "options": { "num_predict": 1 } }' > /dev/null 2>&1 echo "Models preloaded at $(date)" >> /var/log/ollama-preload.log

3.3赋予执行权限

sudo chmod +x /etc/systemd/system/ollama-preload.sh

3.4 修改systemd服务文件

sudo nano /etc/systemd/system/ollama.service

[Service]部分添加:

ExecStartPost=/etc/systemd/system/ollama-preload.sh

方法二:创建专门的systemd服务

3.1 创建独立的服务文件

sudo nano /etc/systemd/system/ollama-preload.service
[Unit] Description=Preload Ollama Models After=ollama.service Requires=ollama.service [Service] Type=oneshot User=ollama Group=ollama ExecStart=/usr/local/bin/ollama run qwen3:14b "ping" ExecStart=/usr/local/bin/ollama run quentinz/bge-large-zh-v1.5:latest "ping" RemainAfterExit=yes Environment="PATH=/usr/local/bin:/usr/bin:/bin" [Install] WantedBy=multi-user.target

3.2 启用这个服务:

sudo systemctl daemon-reload sudo systemctl enable ollama-preload.service

方法三:修改现有服务

直接修改ollama.service,在ExecStart后添加预加载命令:

[Service] ExecStart=/usr/local/bin/ollama serve ExecStartPost=/bin/bash -c 'sleep 10 && /usr/local/bin/ollama run qwen3:14b "ping" > /dev/null 2>&1 &' ExecStartPost=/bin/bash -c 'sleep 15 && /usr/local/bin/ollama run quentinz/bge-large-zh-v1.5:latest "ping" > /dev/null 2>&1 &'

无论选择哪种方法,最后都需要:

1. 重新加载systemd配置

sudo systemctl daemon-reload

2. 重启ollama服务

sudo systemctl restart ollama

3. 检查日志

sudo journalctl -u ollama -f


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/15 17:37:17

攻防世界Mobile5 EasyJNI 安卓逆向CTF

EasyJNI 最近正好在出写JNI,正好看到了一道JNI相关的较为简单明了的CTF,就一时兴起的写了,不得不说逆向工程和正向开发确实是可以互补互相加深的 JNI JNI(Java Native Interface)即java本地接口,众所周知&a…

作者头像 李华
网站建设 2026/4/8 15:17:05

File System MCP服务器安装以及客户端连接配置

版权声明 本文原创作者:谷哥的小弟作者博客地址:http://blog.csdn.net/lfdfhlFile System MCP服务器概述 File System MCP Server是一种基于模型上下文协议(Model Context Protocol,简称MCP)构建的标准化服务。其主要功…

作者头像 李华
网站建设 2026/4/10 6:45:12

实时流分类方案:云端GPU+Kafka,延迟控制在500ms内

实时流分类方案:云端GPUKafka,延迟控制在500ms内 引言 想象一下,你是一家智能工厂的技术负责人,厂区部署了上千个传感器实时监测设备状态。突然某台机器的温度传感器开始报警,但你的本地服务器因为同时处理太多数据流…

作者头像 李华
网站建设 2026/4/8 15:05:36

3步玩转AI分类器:云端GPU保姆级教程,小白也能懂

3步玩转AI分类器:云端GPU保姆级教程,小白也能懂 引言:不懂技术也能用AI? 作为创业者,你可能经常听到"AI能优化业务流程",但一看到"CUDA"、"PyTorch"这些专业术语就头疼。其…

作者头像 李华
网站建设 2026/3/18 12:46:26

基于RaNER模型的中文实体识别实践|集成Cyberpunk风格WebUI

基于RaNER模型的中文实体识别实践|集成Cyberpunk风格WebUI 在信息爆炸的时代,非结构化文本数据如新闻、社交媒体内容、企业文档等呈指数级增长。如何从这些杂乱无章的文字中快速提取出有价值的信息?命名实体识别(Named Entity Re…

作者头像 李华
网站建设 2026/4/17 12:49:45

政务与教育场景翻译利器|腾讯混元HY-MT1.5模型应用详解

政务与教育场景翻译利器|腾讯混元HY-MT1.5模型应用详解 在跨语言交流日益频繁的今天,高质量、低延迟的机器翻译能力已成为政府服务、教育普及和民族地区信息化建设的关键支撑。腾讯混元团队推出的 HY-MT1.5 系列翻译大模型,凭借对33种语言及…

作者头像 李华