ChatGLM3-6B模型实践官方导航-程序员充电站

仓库资料

Github 仓库：https://github.com/THUDM/ChatGLM3

Huggingface 仓库：https://huggingface.co/THUDM/chatglm3-6b

ModelScope 仓库：https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary（国内）

ChatGLM3技术文档：https://zhipu-ai.feishu.cn/wiki/WvQbwU9tiPAxGk8ywDck6yfnof

仓库设计：

basic_demo: 基础的调用示例
composite_demo: 一个完整的调用示例（包含工具调用，代码解释）
finetune_demo: 微调示例（包含SFT, p-tuning, lora）
tools_using_demo: 展现模型的工具调用能力。
langchain_demo: 使用 Langchain 配合 GLM3完成简单的调用
openai_api_demo: 模仿 OpenAI API 格式访问模型。
tensorrt_llm_demo: 使用 TensorRT-LLM 推理框架调用模型（本次不会提到）

Function Call 功能使用

ChatGLM3-6B 的“Function Call”（函数调用/工具调用）能力，这是一个让大模型连接外部世界、执行具体任务的核心高级功能。

什么是Function Call

模型能从给定的有限工具集中，自主判断并选择一个或多个最合适的工具来完成任务。模型需要理解用户自然语言的意图，并将其精确地转换成工具所需的参数格式。例如，将“4乘以5”转换为calculate(a=4, b=5, operator=‘*‘)）。如果某个工具调用失败或无法给出正确答案，模型应具备“思考”能力，尝试调用其他工具或结合自身知识来回答问题。ChatGLM3-6B 已完整具备此项能力，能有效地选择并调用工具。

工具是模型的**“四肢”和“感官”，极大地扩展了其能力范围，使其从一个“知识渊博的大脑”升级为一个“能动手办事的智能体”。有了工具可以处理大模型本身不擅长或无法完成的任务，例如：获取最新天气、股价，或进行复杂数学运算，查询数据库、发送邮件、控制硬件等。将特定任务交给专精的工具执行，结果比模型自行生成更精确、更可靠**。

代码解释器

代码解释器在 ChatGLM3 中的定位属于模型“工具”的一种，专门用于执行代码并可视化结果，用户可以通过自然语言输入需求，大模型会自动生成对应的代码并执行，最终返回代码执行的结果（例如生成图像、数据图表等）。https://github.com/THUDM/chatglm3/tree/main/composite_demo 用户可以通过该链接访问实际案例和源代码

完整示例演示（可视化）

1. 进入 composite_demo 文件夹

cd composite_demo

2. 替换 client.py 中的模型路径

打开 client.py 文件，找到 MODEL_PATH 行并替换为你的模型本地路径或模型名称

例如：MODEL_PATH = os.environ.get(‘MODEL_PATH’, ‘你的模型路径’)

3. 使用 Streamlit 运行完整演示

streamlit run main.py

LangChain 框架的集成使用

如何利用 LangChain 来增强 ChatGLM3 的能力，使其能够调用外部工具。

LangChain提供了与向量数据库交互、工具调用等现成逻辑，能快速构建复杂应用，拥有完善的开发者社区和海量用户，易于获取支持和资源。在国内生态良好，已有基于 LangChain 的二级框架（如Langchain-Chatchat）对 ChatGLM3 进行了充分适配，降低了使用门槛。代码仓库地址：https://github.com/THUDM/ChatGLM3/tree/main/langchain_demo

仿造OpenAI API接入ChatGLM3模型

启动 OpenAI API 服务器

# 进入 openai_api_demo 目录 cd openai_api_demo # 启动 API 服务 python api_server.py

执行示例请求

# 在同一目录下运行请求脚本 python openai_api_request.py

完整的请求示例代码（Python）

# 配置消息messages=[{"role":"system","content":"You are ChatGLM3, a large language model trained by Zhipu.AI. Follow the user's instructions carefully. Respond using markdown."},{"role":"user","content":"你好，请你介绍一下 chatglm3-6b 这个模型"}]# 调用 APIresponse=client.chat.completions.create(model="chatglm3-6b",messages=messages,stream=True,max_tokens=256,temperature=0.8,top_p=0.8)# 处理响应ifresponse:ifuse_stream:# 假设 use_stream 已定义forchunkinresponse:print(chunk.choices[0].delta.content)else:content=response.choices[0].message.contentprint(content)else:print("Error:",response.status_code)