GLM-4-9B-Chat工具调用(Function Call)开发指南-程序员充电站

GLM-4-9B-Chat工具调用(Function Call)开发指南

你是不是也遇到过这种情况：想让大模型帮你查个天气、订个外卖，或者从你的数据库里捞点数据出来，结果它只能跟你聊天，一问到具体操作就傻眼了？别急，今天咱们就来解决这个问题。

GLM-4-9B-Chat这个模型有个特别实用的功能，叫做工具调用，或者叫Function Call。简单来说，就是你可以教它怎么用你写的程序，让它不仅能聊天，还能帮你干活。比如你问“今天北京天气怎么样”，它就能调用你写好的天气查询函数，把结果告诉你。

听起来是不是挺酷的？接下来我就手把手带你走一遍完整的开发流程，从零开始，让你也能给自己的应用加上这个智能助手。

1. 环境准备：先把家伙事儿备齐

工欲善其事，必先利其器。咱们先看看需要准备些什么。

1.1 硬件和软件要求

首先得有个能跑模型的机器。GLM-4-9B-Chat是个90亿参数的模型，对硬件要求不算太高：

GPU：至少16GB显存（比如RTX 4090、A10这些都可以）
内存：32GB以上比较稳妥
Python：3.8或更高版本
操作系统：Linux或者Windows WSL都行

如果你手头没有合适的GPU，也可以考虑用云服务，现在很多云平台都提供按小时计费的GPU实例，用起来挺方便的。

1.2 安装依赖包

打开你的命令行，咱们先把需要的包都装上：

# 安装PyTorch（根据你的CUDA版本选择） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装transformers和vLLM pip install transformers>=4.44.0 vllm # 安装其他可能用到的工具 pip install requests pydantic typing-extensions

这里有个小提示：transformers的版本一定要4.44.0或更高，因为GLM-4-9B-Chat用了一些新特性，旧版本可能不支持。

1.3 下载模型

模型可以从Hugging Face或者魔搭社区下载。我比较推荐用魔搭，因为国内访问速度更快：

# 安装modelscope pip install modelscope # 下载GLM-4-9B-Chat-1M模型 from modelscope import snapshot_download model_dir = snapshot_download('ZhipuAI/glm-4-9b-chat-1m') print(f"模型下载到: {model_dir}")

下载完成后，你会看到一个包含模型文件的目录，大概20GB左右。如果网络不太稳定，可以分几次下载，或者找个网络好的时候一次性搞定。

2. 基础概念：工具调用到底是个啥？

在正式写代码之前，咱们先花几分钟搞清楚几个关键概念，这样后面写起来就顺畅多了。

2.1 什么是工具调用？

你可以把工具调用想象成教一个特别聪明但不会用工具的小孩。你告诉它：“看到这个扳手了吗？这是用来拧螺丝的。看到这个锤子了吗？这是用来敲钉子的。”然后小孩就学会了，下次你需要拧螺丝的时候，它就知道该用扳手了。

在技术层面，工具调用就是让大模型能够识别用户的需求，然后调用你预先定义好的函数来完成特定任务。整个过程分三步：

识别意图：模型分析用户的输入，判断需要调用哪个工具
提取参数：从用户的话里提取出函数需要的参数
执行调用：调用对应的函数，把结果返回给用户

2.2 工具调用的工作流程

咱们用一个实际的例子来说明。假设你想让模型帮你查天气，整个流程是这样的：

用户：今天北京天气怎么样？ ↓ 模型：识别到这是天气查询需求，需要调用get_weather函数，参数是city="北京" ↓ 模型：调用get_weather("北京") ↓ 函数：返回"北京今天晴天，温度25℃" ↓ 模型：把结果组织成自然语言回复给用户

2.3 工具定义的标准格式

为了让模型能理解你的工具，你需要按照特定的格式来定义。主要包含三个部分：

函数名：简单明了，比如get_weather、search_database
功能描述：用自然语言说明这个函数是干什么的
参数定义：每个参数的类型、描述、是否必填

后面咱们会看到具体的代码示例，到时候就一目了然了。

3. 第一个工具：从查询天气开始

好了，理论部分讲得差不多了，现在咱们动手写第一个工具。我选择从查询天气开始，因为这个例子简单直观，容易理解。

3.1 定义天气查询工具

首先，咱们创建一个Python文件，比如叫weather_tool.py：

import json from typing import Dict, Any, List from pydantic import BaseModel, Field # 定义工具的参数模型 class WeatherQuery(BaseModel): """查询天气的参数""" city: str = Field(description="城市名称，例如：北京、上海") date: str = Field(default="今天", description="查询日期，例如：今天、明天、2024-12-25") # 实际的天气查询函数 def get_weather(city: str, date: str = "今天") -> str: """ 查询指定城市的天气情况 Args: city: 城市名称 date: 查询日期 Returns: 天气情况的字符串描述 """ # 这里应该是调用天气API的代码 # 为了演示，我们返回一个模拟结果 weather_data = { "北京": {"今天": "晴天，25℃，微风", "明天": "多云，23℃，东南风3级"}, "上海": {"今天": "小雨，22℃，东北风2级", "明天": "阴天，24℃，微风"}, "广州": {"今天": "雷阵雨，28℃，南风4级", "明天": "大雨，26℃，南风5级"} } if city in weather_data and date in weather_data[city]: return f"{city}{date}的天气：{weather_data[city][date]}" else: return f"抱歉，没有找到{city}{date}的天气信息" # 工具定义 weather_tool = { "type": "function", "function": { "name": "get_weather", "description": "查询指定城市的天气情况", "parameters": WeatherQuery.model_json_schema() } }

这段代码做了几件事：

用pydantic定义了一个参数模型，确保参数的类型和格式正确
写了一个实际的天气查询函数（这里用了模拟数据，真实场景可以换成调用天气API）
按照工具调用的格式定义了工具信息

3.2 初始化模型并加载工具

接下来，咱们创建一个主程序来使用这个工具：

import torch from transformers import AutoModelForCausalLM, AutoTokenizer from vllm import LLM, SamplingParams # 初始化模型 def init_model(model_path: str): """初始化GLM-4-9B-Chat模型""" print("正在加载模型...") # 使用vLLM加载模型（性能更好） llm = LLM( model=model_path, tensor_parallel_size=1, # 单GPU trust_remote_code=True, max_model_len=8192 # 根据你的显存调整 ) # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained( model_path, trust_remote_code=True ) return llm, tokenizer # 准备工具列表 def prepare_tools(): """准备可用的工具列表""" tools = [weather_tool] return tools # 主函数 if __name__ == "__main__": # 模型路径（改成你下载的路径） model_path = "/path/to/your/glm-4-9b-chat-1m" # 初始化 llm, tokenizer = init_model(model_path) tools = prepare_tools() print("模型加载完成！") print(f"可用工具：{[tool['function']['name'] for tool in tools]}")

运行这个程序，如果一切正常，你会看到模型加载成功的提示。如果有报错，最常见的问题是显存不足或者模型路径不对，根据错误信息调整一下就行。

3.3 测试工具调用

现在咱们来测试一下工具调用是否正常工作：

def test_weather_tool(): """测试天气查询工具""" # 模拟用户输入 user_query = "今天北京天气怎么样？" # 构建对话 messages = [ {"role": "system", "content": "你是一个有用的助手，可以查询天气信息。"}, {"role": "user", "content": user_query} ] # 使用vLLM生成 sampling_params = SamplingParams( temperature=0.7, max_tokens=1024, stop_token_ids=[151329, 151336, 151338] # GLM的特殊停止token ) # 添加工具定义到提示中 prompt = tokenizer.apply_chat_template( messages, tools=tools, tool_choice="auto", # 让模型自动决定是否调用工具 add_generation_prompt=True, tokenize=False ) # 生成回复 outputs = llm.generate( prompts=[prompt], sampling_params=sampling_params, use_tqdm=False ) # 解析输出 response = outputs[0].outputs[0].text print(f"用户：{user_query}") print(f"模型回复：{response}") # 检查是否调用了工具 if "tool_calls" in outputs[0].outputs[0]: tool_calls = outputs[0].outputs[0].tool_calls print(f"模型决定调用工具：{tool_calls}") # 执行工具调用 for tool_call in tool_calls: if tool_call["function"]["name"] == "get_weather": # 解析参数 args = json.loads(tool_call["function"]["arguments"]) result = get_weather(**args) print(f"工具执行结果：{result}") # 把结果返回给模型继续处理 messages.append({ "role": "assistant", "content": None, "tool_calls": tool_calls }) messages.append({ "role": "tool", "tool_call_id": tool_call["id"], "content": result }) # 让模型基于工具结果生成最终回复 final_prompt = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=False ) final_output = llm.generate( prompts=[final_prompt], sampling_params=sampling_params, use_tqdm=False ) final_response = final_output[0].outputs[0].text print(f"最终回复：{final_response}") # 在main函数中添加测试 if __name__ == "__main__": # ... 之前的初始化代码 ... test_weather_tool()

运行这个测试，你应该能看到类似这样的输出：

用户：今天北京天气怎么样？ 模型回复：我需要查询北京的天气信息。 模型决定调用工具：[{'id': 'call_123', 'function': {'name': 'get_weather', 'arguments': '{"city": "北京", "date": "今天"}'}}] 工具执行结果：北京今天的天气：晴天，25℃，微风 最终回复：根据查询结果，北京今天天气晴朗，温度25℃，有微风，是个好天气！

看到没？模型成功识别了你的意图，调用了正确的工具，拿到了结果，然后组织成了自然的回复。这就是工具调用的魔力！

4. 实战进阶：构建多功能助手

一个工具当然不够用，咱们来加点更实用的功能。我准备了三个常见的场景：数据库查询、计算器、文件操作。

4.1 数据库查询工具

很多业务场景都需要查询数据库，咱们来实现一个简单的版本：

# database_tool.py import sqlite3 from typing import List, Dict, Any from pydantic import BaseModel, Field class DatabaseQuery(BaseModel): """数据库查询参数""" table: str = Field(description="要查询的表名") columns: List[str] = Field(default=["*"], description="要查询的列，默认查询所有列") conditions: Dict[str, Any] = Field(default={}, description="查询条件，键值对形式") limit: int = Field(default=10, description="返回结果数量限制") def query_database(table: str, columns: List[str] = ["*"], conditions: Dict[str, Any] = {}, limit: int = 10) -> str: """ 查询数据库 Args: table: 表名 columns: 要查询的列 conditions: 查询条件 limit: 结果数量限制 Returns: 查询结果的字符串表示 """ try: # 连接数据库（这里用SQLite示例，实际可能是MySQL、PostgreSQL等） conn = sqlite3.connect('example.db') cursor = conn.cursor() # 构建SQL查询 columns_str = ", ".join(columns) if columns != ["*"] else "*" where_clause = "" params = [] if conditions: where_parts = [] for key, value in conditions.items(): where_parts.append(f"{key} = ?") params.append(value) where_clause = "WHERE " + " AND ".join(where_parts) sql = f"SELECT {columns_str} FROM {table} {where_clause} LIMIT ?" params.append(limit) # 执行查询 cursor.execute(sql, params) results = cursor.fetchall() column_names = [description[0] for description in cursor.description] # 格式化结果 if not results: return "查询结果为空" formatted_results = [] for row in results: row_dict = dict(zip(column_names, row)) formatted_results.append(str(row_dict)) conn.close() return f"查询到{len(results)}条记录：\n" + "\n".join(formatted_results) except Exception as e: return f"数据库查询失败：{str(e)}" database_tool = { "type": "function", "function": { "name": "query_database", "description": "查询数据库中的信息", "parameters": DatabaseQuery.model_json_schema() } }

4.2 计算器工具

有时候需要做一些简单的计算：

# calculator_tool.py import math from typing import Union from pydantic import BaseModel, Field class Calculation(BaseModel): """计算参数""" expression: str = Field(description="数学表达式，例如：2 + 3 * 4, sin(30)") precision: int = Field(default=2, description="结果精度（小数位数）") def calculate(expression: str, precision: int = 2) -> str: """ 计算数学表达式 Args: expression: 数学表达式 precision: 结果精度 Returns: 计算结果 """ # 安全地计算表达式 allowed_names = { k: v for k, v in math.__dict__.items() if not k.startswith("__") } try: # 替换一些常见符号 expression = expression.replace("^", "**") # 安全地评估表达式 result = eval(expression, {"__builtins__": {}}, allowed_names) # 格式化结果 if isinstance(result, (int, float)): if precision >= 0: result = round(result, precision) if precision == 0: result = int(result) return f"{expression} = {result}" else: return f"计算结果：{result}" except Exception as e: return f"计算失败：{str(e)}，请检查表达式格式" calculator_tool = { "type": "function", "function": { "name": "calculate", "description": "计算数学表达式", "parameters": Calculation.model_json_schema() } }

4.3 文件操作工具

处理本地文件也很常见：

# file_tool.py import os import json from typing import List, Optional from pydantic import BaseModel, Field class FileOperation(BaseModel): """文件操作参数""" operation: str = Field(description="操作类型：read, write, list, delete") path: str = Field(description="文件路径") content: Optional[str] = Field(default=None, description="要写入的内容（仅write操作需要）") encoding: str = Field(default="utf-8", description="文件编码") def handle_file(operation: str, path: str, content: Optional[str] = None, encoding: str = "utf-8") -> str: """ 处理文件操作 Args: operation: 操作类型 path: 文件路径 content: 要写入的内容 encoding: 文件编码 Returns: 操作结果 """ try: if operation == "read": if not os.path.exists(path): return f"文件不存在：{path}" with open(path, 'r', encoding=encoding) as f: content = f.read() return f"文件内容：\n{content[:1000]}" # 限制返回长度 elif operation == "write": if content is None: return "写入操作需要content参数" os.makedirs(os.path.dirname(path), exist_ok=True) with open(path, 'w', encoding=encoding) as f: f.write(content) return f"文件已写入：{path}" elif operation == "list": if not os.path.exists(path): return f"路径不存在：{path}" if os.path.isfile(path): return f"这是一个文件：{path}" files = os.listdir(path) return f"目录内容：\n" + "\n".join(files[:20]) # 限制返回数量 elif operation == "delete": if not os.path.exists(path): return f"文件不存在：{path}" os.remove(path) return f"文件已删除：{path}" else: return f"不支持的操作：{operation}" except Exception as e: return f"文件操作失败：{str(e)}" file_tool = { "type": "function", "function": { "name": "handle_file", "description": "读写文件或目录", "parameters": FileOperation.model_json_schema() } }

4.4 整合所有工具

现在咱们把所有工具整合到一起：

# multi_tool_assistant.py import json from typing import List, Dict, Any class MultiToolAssistant: """多功能助手""" def __init__(self, model_path: str): """初始化助手""" self.model_path = model_path self.llm = None self.tokenizer = None self.tools = [] self.tool_functions = {} # 工具名到函数的映射 def init_model(self): """初始化模型""" from vllm import LLM, SamplingParams from transformers import AutoTokenizer print("正在加载模型和工具...") self.llm = LLM( model=self.model_path, tensor_parallel_size=1, trust_remote_code=True, max_model_len=8192 ) self.tokenizer = AutoTokenizer.from_pretrained( self.model_path, trust_remote_code=True ) # 注册所有工具 self.register_tools() print(f"助手初始化完成，可用工具：{list(self.tool_functions.keys())}") def register_tools(self): """注册所有工具""" # 天气工具 from weather_tool import weather_tool, get_weather self.tools.append(weather_tool) self.tool_functions["get_weather"] = get_weather # 数据库工具 from database_tool import database_tool, query_database self.tools.append(database_tool) self.tool_functions["query_database"] = query_database # 计算器工具 from calculator_tool import calculator_tool, calculate self.tools.append(calculator_tool) self.tool_functions["calculate"] = calculate # 文件工具 from file_tool import file_tool, handle_file self.tools.append(file_tool) self.tool_functions["handle_file"] = handle_file def process_query(self, user_query: str, conversation_history: List[Dict] = None) -> str: """处理用户查询""" from vllm import SamplingParams if conversation_history is None: conversation_history = [] # 构建消息 messages = [ {"role": "system", "content": "你是一个多功能助手，可以查询天气、查询数据库、计算数学表达式、操作文件等。"} ] messages.extend(conversation_history) messages.append({"role": "user", "content": user_query}) # 生成参数 sampling_params = SamplingParams( temperature=0.7, max_tokens=1024, stop_token_ids=[151329, 151336, 151338] ) # 第一次生成：决定是否调用工具 prompt = self.tokenizer.apply_chat_template( messages, tools=self.tools, tool_choice="auto", add_generation_prompt=True, tokenize=False ) outputs = self.llm.generate( prompts=[prompt], sampling_params=sampling_params, use_tqdm=False ) response = outputs[0].outputs[0] # 如果没有调用工具，直接返回 if not hasattr(response, 'tool_calls') or not response.tool_calls: return response.text # 处理工具调用 tool_results = [] for tool_call in response.tool_calls: func_name = tool_call.function.name args = json.loads(tool_call.function.arguments) if func_name in self.tool_functions: # 执行工具 result = self.tool_functions[func_name](**args) tool_results.append({ "tool_call_id": tool_call.id, "function": func_name, "result": result }) # 添加到消息历史 messages.append({ "role": "assistant", "content": None, "tool_calls": [{ "id": tool_call.id, "function": { "name": func_name, "arguments": tool_call.function.arguments }, "type": "function" }] }) messages.append({ "role": "tool", "tool_call_id": tool_call.id, "content": result }) else: tool_results.append({ "tool_call_id": tool_call.id, "function": func_name, "result": f"未知工具：{func_name}" }) # 第二次生成：基于工具结果生成最终回复 final_prompt = self.tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=False ) final_output = self.llm.generate( prompts=[final_prompt], sampling_params=sampling_params, use_tqdm=False ) return final_output[0].outputs[0].text def chat_loop(self): """交互式聊天循环""" print("多功能助手已启动！输入'退出'或'quit'结束对话。") print("你可以让我：查询天气、查询数据库、计算数学表达式、操作文件等。") history = [] while True: try: user_input = input("\n你：").strip() if user_input.lower() in ['退出', 'quit', 'exit']: print("再见！") break if not user_input: continue print("助手：", end="", flush=True) # 处理查询 response = self.process_query(user_input, history) print(response) # 更新历史（限制长度） history.append({"role": "user", "content": user_input}) history.append({"role": "assistant", "content": response}) # 保持历史长度合理 if len(history) > 10: history = history[-10:] except KeyboardInterrupt: print("\n\n对话结束。") break except Exception as e: print(f"\n出错了：{e}") # 使用示例 if __name__ == "__main__": # 改成你的模型路径 MODEL_PATH = "/path/to/your/glm-4-9b-chat-1m" assistant = MultiToolAssistant(MODEL_PATH) assistant.init_model() assistant.chat_loop()

现在运行这个程序，你就可以跟助手对话了。试试这些命令：

你：今天北京和上海的天气怎么样？ 你：帮我计算一下(15 + 27) * 3 / 4 你：列出当前目录的文件 你：查询用户表中前5条记录

看看助手是怎么调用不同的工具来回答你的问题的。

5. 实用技巧和常见问题

在实际使用中，你可能会遇到一些问题。这里我总结了一些常见的情况和解决方法。

5.1 工具调用不准确怎么办？

有时候模型可能识别错了你的意图，或者调用了错误的工具。这时候可以：

优化工具描述：把工具的功能描述写得更清楚一些
提供示例：在系统提示里给一些调用示例
调整温度参数：把temperature调低一点（比如0.3），让模型更确定

# 更好的工具描述示例 better_tool = { "type": "function", "function": { "name": "get_weather", "description": "查询实时天气信息。当用户询问天气、气温、降水、风力等情况时使用此工具。", "parameters": { "type": "object", "properties": { "city": { "type": "string", "description": "城市名称，必须是具体城市如'北京'、'上海'，不要用'这里'、'当地'等模糊词" } }, "required": ["city"] } } }

5.2 处理复杂参数

有些工具的参数比较复杂，比如嵌套结构、数组等。这时候需要仔细设计参数模式：

class ComplexQuery(BaseModel): """复杂查询参数""" filters: List[Dict[str, Any]] = Field( description="过滤条件列表，每个条件包含field、operator、value" ) sort_by: str = Field(default="id", description="排序字段") sort_order: str = Field(default="asc", description="排序方向：asc或desc") group_by: Optional[List[str]] = Field(default=None, description="分组字段") class Config: schema_extra = { "example": { "filters": [ {"field": "age", "operator": ">", "value": 18}, {"field": "city", "operator": "=", "value": "北京"} ], "sort_by": "name", "sort_order": "asc" } }

5.3 性能优化建议

如果你的应用对响应速度要求比较高，可以考虑这些优化：

批量处理：如果有多个查询，尽量批量处理
缓存结果：对频繁查询的结果进行缓存
异步调用：使用异步IO提高并发性能
模型量化：使用4bit或8bit量化减少显存占用

# 异步处理示例 import asyncio from vllm import AsyncLLMEngine async def async_process_queries(queries: List[str]): """异步处理多个查询""" engine = AsyncLLMEngine.from_engine_args(engine_args) tasks = [] for query in queries: task = process_single_query(engine, query) tasks.append(task) results = await asyncio.gather(*tasks) return results

5.4 错误处理和日志

在生产环境中，良好的错误处理和日志记录很重要：

import logging from typing import Optional # 设置日志 logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s' ) logger = logging.getLogger(__name__) class RobustAssistant: """健壮的助手类""" def safe_process(self, query: str) -> Optional[str]: """安全处理查询，避免崩溃""" try: return self.process_query(query) except Exception as e: logger.error(f"处理查询失败：{query}, 错误：{e}") # 返回友好的错误信息 return "抱歉，处理您的请求时出现了问题。请稍后再试或换一种方式提问。" finally: # 清理资源 self.cleanup()

6. 总结

走完这一趟，你应该对GLM-4-9B-Chat的工具调用功能有了比较全面的了解。从最基础的环境搭建，到单个工具的实现，再到多功能助手的整合，咱们一步步走了过来。

实际用下来，GLM-4-9B-Chat的工具调用效果还是挺不错的，识别意图比较准确，参数提取也基本靠谱。当然，它也不是完美的，有时候可能会误解你的意思，或者调用了不太合适的工具。这时候就需要你根据实际场景做一些调整，比如优化工具描述、提供更多示例，或者调整一下温度参数。

如果你刚开始接触这块，我建议先从简单的工具开始，比如天气查询、计算器这些，等熟悉了流程和原理，再慢慢增加更复杂的工具。在实际项目中，你可能还需要考虑安全性问题，比如对文件操作、数据库查询这些敏感操作加上权限控制。

工具调用这个功能确实能大大扩展大模型的应用场景，让它们从“只能聊”变成“还能干”。希望这篇指南能帮你快速上手，做出一些有意思的应用来。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

GLM-4-9B-Chat工具调用(Function Call)开发指南