Clawdbot+Qwen3-32B部署教程：Web网关与ELK日志分析平台对接

Clawdbot+Qwen3-32B部署教程：Web网关与ELK日志分析平台对接

1. 为什么需要这个组合：从聊天需求到可观测性闭环

你有没有遇到过这样的情况：团队刚上线一个AI聊天平台，用户反馈“响应慢”“回答不一致”“有时候直接卡住”，但翻遍服务日志，只看到几行模糊的HTTP状态码，根本没法定位是模型推理出问题、网关转发异常，还是前端请求格式不对？

Clawdbot + Qwen3-32B 的组合，本身已经能跑通一个功能完整的私有化Chat平台——但光能用，远远不够。真正让系统可维护、可优化、可信任的关键，在于把每一次对话变成一条可追踪、可分析、可归因的日志链路。

本教程不讲“怎么让AI开口说话”，而是聚焦在如何让整个链路透明化：从用户在网页输入一句话，到Qwen3-32B生成回复，再到Clawdbot封装响应、Web网关转发、ELK平台实时采集并结构化分析——每一步都留下清晰痕迹。这不是锦上添花，而是生产环境落地的必要基建。

整个流程不依赖云厂商黑盒服务，全部基于开源组件自建：Ollama托管大模型、Clawdbot做协议适配与会话管理、Nginx或Caddy作轻量Web网关、Filebeat采集日志、Logstash做字段增强、Elasticsearch存储、Kibana可视化。所有环节你都能看见、能改、能查。

接下来，我们一步步带你把这套可观测性闭环搭起来。不需要提前装好所有东西，每一步都给出明确命令、配置片段和验证方法。

2. 环境准备与核心组件安装

2.1 基础运行时安装（Ubuntu 22.04 LTS 示例）

确保系统已更新，并安装必要工具：

sudo apt update && sudo apt upgrade -y sudo apt install -y curl wget gnupg2 software-properties-common ca-certificates

2.2 安装 Ollama（托管 Qwen3-32B）

Qwen3-32B 是一个对显存要求较高的模型，建议在至少24GB GPU显存（如A100或RTX 6000 Ada）的机器上运行。Ollama 提供了最简模型加载方式：

# 下载并安装 Ollama curl -fsSL https://ollama.com/install.sh | sh # 启动 Ollama 服务（后台常驻） sudo systemctl enable ollama sudo systemctl start ollama # 拉取 Qwen3-32B 模型（注意：需提前确认镜像名是否为官方发布版本） ollama pull qwen3:32b

注意：qwen3:32b是示例标签名，实际请以 Ollama Library 中最新发布的 Qwen3 系列为准。若拉取失败，请先运行ollama list查看本地已有模型，或使用ollama run qwen3:32b "你好"测试基础可用性。

2.3 安装 Clawdbot（Chat协议桥接器）

Clawdbot 是一个轻量级、无数据库依赖的代理服务，负责将标准HTTP/Chat API请求转换为Ollama兼容格式，并注入会话上下文。我们使用预编译二进制方式部署：

# 创建工作目录 mkdir -p ~/clawdbot && cd ~/clawdbot # 下载最新 Linux x86_64 版本（以 v0.8.2 为例，请替换为实际版本号） wget https://github.com/clawdbot/clawdbot/releases/download/v0.8.2/clawdbot-linux-amd64 chmod +x clawdbot-linux-amd64 # 重命名为易记名称 mv clawdbot-linux-amd64 clawdbot

2.4 安装 Web 网关（Caddy，推荐替代 Nginx）

相比Nginx，Caddy自带HTTPS自动签发、配置更简洁，特别适合内部测试与快速部署：

# 添加 Caddy 官方仓库 sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-stable-archive-keyring.gpg curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | sudo tee /etc/apt/sources.list.d/caddy-stable.list sudo apt update # 安装 Caddy sudo apt install -y caddy # 验证安装 caddy version

2.5 安装 ELK 栈（精简版：仅 Logstash + Elasticsearch + Kibana）

我们采用 Docker Compose 方式一键拉起 ELK，避免繁琐的 Java 环境配置：

# 安装 Docker 和 Docker Compose sudo apt install -y docker.io docker-compose sudo systemctl enable docker && sudo systemctl start docker # 创建 ELK 工作目录 mkdir -p ~/elk && cd ~/elk # 创建 docker-compose.yml（精简配置，单节点，适合学习与中小规模） cat > docker-compose.yml << 'EOF' version: '3.8' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.12.2 container_name: elasticsearch environment: - discovery.type=single-node - ES_JAVA_OPTS=-Xms2g -Xmx2g - xpack.security.enabled=false - network.host=0.0.0.0 ports: - "9200:9200" - "9300:9300" volumes: - esdata:/usr/share/elasticsearch/data restart: unless-stopped logstash: image: docker.elastic.co/logstash/logstash:8.12.2 container_name: logstash environment: - xpack.security.enabled=false volumes: - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf:ro - /var/log/clawdbot:/var/log/clawdbot:ro depends_on: - elasticsearch restart: unless-stopped kibana: image: docker.elastic.co/kibana/kibana:8.12.2 container_name: kibana ports: - "5601:5601" environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:9200 - SERVER_NAME=kibana - SERVER_PORT=5601 depends_on: - elasticsearch restart: unless-stopped volumes: esdata: EOF # 创建 Logstash 配置文件 cat > logstash.conf << 'EOF' input { file { path => "/var/log/clawdbot/*.log" start_position => "beginning" sincedb_path => "/dev/null" tags => ["clawdbot"] } } filter { if "clawdbot" in [tags] { grok { match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} \| %{LOGLEVEL:level} \| %{DATA:service} \| %{DATA:method} %{DATA:path} \| %{NUMBER:status} \| %{NUMBER:duration_ms}ms \| req_id=%{DATA:req_id} \| user=%{DATA:user_id} \| model=%{DATA:model_name} \| prompt_len=%{NUMBER:prompt_len} \| resp_len=%{NUMBER:resp_len}" } } date { match => ["timestamp", "ISO8601"] target => "@timestamp" } } } output { elasticsearch { hosts => ["http://elasticsearch:9200"] index => "clawdbot-%{+YYYY.MM.dd}" } } EOF # 启动 ELK docker-compose up -d

等待约1分钟，执行curl http://localhost:9200/_cat/health?v查看集群状态是否为green。若成功，说明ELK已就绪。

3. Clawdbot 与 Qwen3-32B 对接配置

3.1 编写 Clawdbot 配置文件

Clawdbot 默认读取config.yaml。创建该文件，明确指向本地 Ollama 服务：

cd ~/clawdbot cat > config.yaml << 'EOF' # Clawdbot 全局配置 server: host: "0.0.0.0" port: 18789 # 这是 Clawdbot 自身监听端口，Web网关将反向代理至此 timeout: 300 # 整体请求超时（秒） # 模型后端配置 backend: type: "ollama" # 固定值，表示对接 Ollama host: "http://localhost:11434" # Ollama 默认API地址 model: "qwen3:32b" # 必须与 ollama list 中显示的名称完全一致 options: temperature: 0.7 top_p: 0.9 num_ctx: 32768 # 根据 Qwen3-32B 推荐上下文长度设置 # 日志配置（关键！为ELK采集打基础） logging: level: "info" file: "/var/log/clawdbot/clawdbot.log" # 日志路径必须与 Logstash 配置中一致 format: "text" # text 或 json；text 更易读，且 grok 可解析 # 会话管理（可选，但推荐开启） session: enabled: true ttl: 3600 # 会话有效期（秒） EOF

3.2 创建日志目录并授权

sudo mkdir -p /var/log/clawdbot sudo chown $USER:$USER /var/log/clawdbot

3.3 启动 Clawdbot 并验证连通性

# 启动 Clawdbot（前台运行，便于观察日志） ./clawdbot --config config.yaml # 在另一个终端中测试： curl -X POST http://localhost:18789/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "messages": [{"role": "user", "content": "你好，你是谁？"}], "stream": false }'

如果返回包含"content": "我是通义千问..."的 JSON 响应，说明 Clawdbot → Ollama 链路已通。此时/var/log/clawdbot/clawdbot.log中应已出现类似以下格式的日志行：

2025-04-05T10:22:33.184Z | INFO | clawdbot | POST /v1/chat/completions | 200 | 2487ms | req_id=abc123 | user=guest | model=qwen3:32b | prompt_len=12 | resp_len=47

这正是 Logstash 后续要解析的结构化日志源。

4. Web 网关（Caddy）配置与反向代理

4.1 编写 Caddyfile

Caddy 使用声明式配置，比 Nginx 更直观。创建/etc/caddy/Caddyfile：

sudo tee /etc/caddy/Caddyfile > /dev/null << 'EOF' # 监听 8080 端口，提供 HTTP 服务（生产环境建议加 HTTPS） :8080 { # 静态文件服务：前端 Chat 页面 root * /var/www/chat-ui file_server # API 反向代理：将 /v1/chat/completions 转发给 Clawdbot reverse_proxy /v1/* http://localhost:18789 { # 透传关键请求头，便于后端识别 header_up X-Real-IP {remote_host} header_up X-Forwarded-For {remote_host} header_up X-Request-ID {http.request.header.X-Request-ID} } # 健康检查端点（供监控系统调用） @health path /healthz respond @health "OK" 200 } EOF

4.2 部署前端页面（简易 Chat UI）

我们用一个极简 HTML 页面作为测试客户端：

sudo mkdir -p /var/www/chat-ui sudo tee /var/www/chat-ui/index.html > /dev/null << 'EOF' <!DOCTYPE html> <html> <head><title>Clawdbot + Qwen3 Chat</title></head> <body style="font-family: sans-serif; max-width: 800px; margin: 0 auto; padding: 20px;"> <h1> Clawdbot + Qwen3-32B 实时对话</h1> <div id="chat"></div> <input id="input" type="text" placeholder="输入消息..." style="width: 70%; padding: 8px;" /> <button onclick="send()">发送</button> <script> const chat = document.getElementById('chat'); const input = document.getElementById('input'); function addMsg(role, content) { const div = document.createElement('div'); div.innerHTML = `<strong>[${role}]</strong> ${content}`; chat.appendChild(div); chat.scrollTop = chat.scrollHeight; } async function send() { const msg = input.value.trim(); if (!msg) return; addMsg('You', msg); input.value = ''; try { const res = await fetch('http://localhost:8080/v1/chat/completions', { method: 'POST', headers: {'Content-Type': 'application/json'}, body: JSON.stringify({messages: [{role: 'user', content: msg}], stream: false}) }); const data = await res.json(); const reply = data.choices?.[0]?.message?.content || '（无响应）'; addMsg('Bot', reply); } catch (e) { addMsg('Error', e.message); } } // 回车发送 input.addEventListener('keypress', e => e.key === 'Enter' && send()); </script> </body> </html> EOF

4.3 启动 Caddy 并验证网关

# 重载 Caddy 配置 sudo caddy reload # 测试网关连通性（绕过 Clawdbot，直连 Ollama） curl -X POST http://localhost:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"messages":[{"role":"user","content":"今天天气怎么样？"}]}' # 打开浏览器访问 http://localhost:8080 —— 应能看到可交互的聊天界面

此时，完整链路为：
浏览器 → Caddy（8080） → Clawdbot（18789） → Ollama（11434） → Qwen3-32B

每一步的请求与响应，都会被 Clawdbot 记录到/var/log/clawdbot/clawdbot.log中。

5. ELK 日志采集与结构化分析实战

5.1 等待 Logstash 自动采集日志

由于我们在logstash.conf中配置了file输入插件监听/var/log/clawdbot/*.log，且 Clawdbot 已开始写入日志，Logstash 会在几秒内自动发现新日志并开始解析。

验证 Logstash 是否正常工作：

# 查看 Logstash 容器日志 docker logs logstash --tail 10 # 应看到类似输出： # [INFO ] 2025-04-05 10:30:22.123 [Converge PipelineAction::Create<main>] pipeline - Pipeline started successfully # [INFO ] 2025-04-05 10:30:22.125 [Api WebServer] agent - Successfully started Logstash API endpoint {:port=>9600}

5.2 在 Kibana 中创建索引模式并查看日志

1. 打开浏览器访问http://localhost:5601
2. 首次进入，点击Explore on my own
3. 进入Stack Management → Index Patterns → Create index pattern
4. 输入模式名：clawdbot-*
5. 选择时间字段：@timestamp
6. 点击Create index pattern
7. 进入Discover页面，即可看到按时间排序的结构化日志条目

你会看到每一行都已自动拆解为独立字段：status、duration_ms、model_name、prompt_len、resp_len、user_id等。这意味着你可以直接做如下操作：

• 筛选status: 500查看所有失败请求
• 统计model_name分布，确认是否只有qwen3:32b
• 按duration_ms > 5000筛出慢请求，再结合prompt_len分析是否因输入过长导致
• 绘制duration_ms的时间趋势图，观察性能波动

5.3 构建一个实用的 Kibana 仪表板

我们快速创建一个“Qwen3-32B 服务健康看板”：

1. 进入Dashboard → Create dashboard
2. 点击Add from library，选择Lens
3. 新建第一个可视化：
   • 数据源：clawdbot-*
   • X轴：@timestamp（日期直方图）
   • Y轴：Count()（总请求数）
   • 添加过滤器：status: 200
4. 新建第二个可视化：
   • 类型：Metric
   • 数据源：clawdbot-*
   • 指标：Averageofduration_ms
   • 过滤器：status: 200
5. 新建第三个可视化：
   • 类型：Bar vertical
   • X轴：model_name
   • Y轴：Count()
6. 保存仪表板，命名为Qwen3-32B Service Health

这个看板能在 10 秒内告诉你：当前服务是否稳定、平均响应多快、是否混用了其他模型。

6. 总结：不止于部署，更是可观测性起点

你现在已经完成了一套生产就绪级 AI 服务可观测性基础设施的搭建：

• Clawdbot成功对接本地 Ollama 托管的 Qwen3-32B，提供标准化 Chat API；
• Caddy Web 网关将 8080 端口暴露给前端，同时承担反向代理与静态资源服务；
• ELK 栈实现了从原始日志到结构化指标的全自动流转，无需修改一行业务代码；
• Kibana 仪表板让你随时掌握模型响应质量、延迟分布、错误率等核心指标。

但这只是开始。有了这套基础，你可以轻松延伸：

• 把user_id替换为真实登录态，实现按用户维度分析对话质量；
• 在 Logstash 中增加translate插件，将status数字映射为success/timeout/model_error等语义标签；
• 用 Filebeat 替代 Logstash 的file输入，降低资源占用；
• 将 Kibana 告警规则导出为 Alerting，当duration_ms > 10000持续 5 分钟时自动邮件通知。

技术的价值，不在于它多酷炫，而在于它能否帮你更快地回答“为什么”。当你下次再被问到“为什么这个回答不准确”，你不再需要凭空猜测——打开 Kibana，筛选req_id，就能看到完整的输入、模型参数、耗时、输出长度，甚至对比历史相似请求的表现。

这才是真正属于工程师的 AI 时代工作流。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。