GLM-4.1V-Thinking – 智谱AI开源的视觉语言模型系列

0 4

GLM-4.1V-Thinking是什么

GLM-4.1V-Thinking是智谱AI推出的开源视觉语言模型，专为复杂认知任务设计，支持图像、视频、文档等多模态输入。模型在GLM-4V架构基础上引入思维链推理机制，基于课程采样强化学习策略，系统性提升跨模态因果推理能力与稳定性。模型轻量版GLM-4.1V-9B-Thinking（GLM-4.1V-9B-Base基座模型和GLM-4.1V-9B-Thinking具备深度思考和推理能力）参数量控制在10B级别，在28项权威评测中，有23项达成10B级模型最佳成绩，其中18项持平或超越参数量高达72B的Qwen-2.5-VL，展现出小体积模型的极限性能潜力。

GLM-4.1V-Thinking的主要功能

图像理解：精准识别和分析图像内容，支持复杂的视觉任务，如目标检测、图像分类和视觉问答。
视频处理：具备时序分析和事件逻辑建模能力，支持处理视频输入，进行视频理解、视频描述和视频问答。
文档解析：支持处理文档中的图像和文本内容，支持长文档理解、图表理解和文档问答。
数学与科学推理：支持复杂的数学题解、多步演绎和公式理解，能处理STEM领域的推理任务。
逻辑推理：支持进行逻辑推理和因果分析，支持复杂的推理任务，如多步推理和逻辑判断。
跨模态推理：合视觉和语言信息进行推理，支持图文理解、视觉问答和视觉锚定等任务。

GLM-4.1V-Thinking的技术原理

架构设计：基于AIMv2Huge作为视觉编码器，处理和编码图像和视频输入。MLP适配器将视觉特征对齐到语言模型的token空间。语言解码器用GLM作为语言模型，处理多模态token并生成输出。
训练方法：基于大规模的图像-文本对、学术文献和知识密集型数据进行预训练，构建强大的视觉语言基础模型。用长链推理（CoT）数据进行监督微调，提升模型的推理能力和人类对齐。基于课程采样强化学习（RLCS），动态选择最具信息量的样本进行训练，提升模型在多种任务上的性能。
技术创新：引入思维链推理机制，让模型逐步思考生成详细的推理过程。基于课程采样策略，动态调整训练样本的难度，确保模型在不同阶段都能获得最有效的训练。基于2D-RoPE和3D-RoPE技术，支持任意分辨率和宽高比的图像输入，增强模型的时空理解能力。

GLM-4.1V-Thinking的性能表现

模型在MMStar、MMMU-Pro、ChartQAPro、OSWorld等28项权威评测中，有23项达成10B级模型的最佳成绩，其中18项持平或超越参数量高达72B的Qwen-2.5-VL。

GLM-4.1V-Thinking的项目地址

GitHub仓库：https://github.com/THUDM/GLM-4.1V-Thinking
HuggingFace模型库：https://huggingface.co/collections/THUDM/glm-41v-thinking-6862bbfc44593a8601c2578d
arXiv技术论文：https://arxiv.org/pdf/2507.01006v1
在线体验Demo：https://huggingface.co/spaces/THUDM/GLM-4.1V-9B-Thinking-Demo

如何使用GLM-4.1V-Thinking

API接口：
- 注册账号：访问智谱AI开放平台，注册账号并登录。
- 获取API Key：在平台上创建应用，获取专属的API Key。
- 调用API：根据API文档，使用HTTP请求调用模型接口，发送输入数据并获取模型的输出结果。例如，使用Python调用API的代码示例：

import requests
import json

# 设置API接口地址和API Key
api_url = "https://api.zhipuopen.com/v1/glm-4.1v-thinking"
api_key = "your_api_key"

# 准备输入数据
input_data = {
    "image": "image_url_or_base64_encoded_data",
    "text": "your_input_text"
}

# 设置请求头
headers = {
    "Authorization": f"Bearer {api_key}",
    "Content-Type": "application/json"
}

# 发送请求
response = requests.post(api_url, headers=headers, data=json.dumps(input_data))

# 获取结果
result = response.json()
print(result)

开源模型：
- 下载模型：访问Hugging Face，找到GLM-4.1V-Thinking模型页面，下载模型文件。
- 加载模型：使用相应的深度学习框架（如PyTorch）加载模型。
- 进行推理：将输入数据预处理后输入模型，获取模型的输出结果。例如，使用PyTorch加载模型并进行推理的代码示例：

from transformers import AutoModelForVision2Seq, AutoProcessor
import torch

# 加载模型和处理器
model_name = "THUDM/glm-4.1v-thinking"
model = AutoModelForVision2Seq.from_pretrained(model_name)
processor = AutoProcessor.from_pretrained(model_name)

# 准备输入数据
image_url = "image_url_or_image_path"
text = "your_input_text"
inputs = processor(images=image_url, text=text, return_tensors="pt")

# 进行推理
with torch.no_grad():
    outputs = model(**inputs)

# 获取结果
result = processor.decode(outputs.logits[0], skip_special_tokens=True)
print(result)