API比官方价格便宜最高 28%立即试用 →
Hermes
← 所有 AI 模型

Z.AI · 视觉编程模型

GLM-5V-Turbo:Hermes Agent 视觉编程和 GUI 工作流

GLM-5V-Turbo 适合那些必须先看懂界面才能继续的任务。它可以读取截图、视频和文件,规划下一步,编写代码,再通过新的截图检查结果。

Hermes Agent 将 GLM 模型任务、文件、工具和人工确认连接起来的工作流图

视觉编程 Agent

下面这些信息说明 GLM-5V-Turbo 在 Hermes 中适合放在哪一层,以及哪些参数会影响成本和检查方式。

输入视频、图片、文字和文件
输出文字、代码和工具调用
Hermes 角色视觉编程和 GUI Agent
上下文当前说明为 200K token,最多 128K 输出
价格提示以 Hermes API 当前价格卡为准
典型任务前端重建、GUI 探索和视觉调试
  • 模型可以理解画面,但仍需要浏览器或电脑工具执行点击。
  • 截图看不到的状态必须通过第二张图或工具确认。
  • 视觉看起来正确,不代表业务逻辑正确。
  • 同时提供当前截图和目标截图。
  • 说明设备尺寸和页面状态。
  • 只开放当前需要的浏览器或编辑器动作。
  • 每次补丁后重新截取页面。
01

适合视觉状态

截图、网页布局、GUI 控件、渲染结果和视觉文档都是它擅长的输入。

02

普通文字任务不必使用它

纯文字规划、简单抽取和低成本批量任务用更轻的模型即可。

03

GLM-5V-Turbo 的简单分工规则

如果文字就能解决问题,用文字模型。如果答案取决于屏幕上的内容,用 GLM-5V-Turbo,并通过新截图复核。

按工作选择模型角色

同一个 GLM 系列可以承担不同角色。先看任务,再决定由哪个模型执行。

01

截图转前端

把多张页面截图整理成组件结构,并生成可以运行的前端页面。

02

视觉调试

对比错误页面和参考图,找出布局、颜色和交互问题。

03

GUI 探索

先看懂网页控件,再选择安全的浏览器操作。

04

图表和文档检查

读取可视化文档和图表,返回有依据的说明或结构化数据。

答案取决于像素GLM-5V-Turbo 做视觉执行 Agent

它可以看布局、控件和渲染反馈。

任务只是文字处理使用文字模型

没有必要为视觉输入付费。

任务会修改客户数据使用更严格的 Agent 并人工审批

只靠视觉猜测不适合产生副作用。

把屏幕内容也当成任务状态。

Hermes 给模型截图、当前文件和少量允许的操作。模型执行后再看一次屏幕,并说明发生了什么变化。

01 · 提供画面

Hermes 提供重要的截图、文件、视频帧或文档。

02 · 制定动作

GLM-5V-Turbo 说明当前画面,并选择下一步操作。

03 · 执行动作

Hermes 调用浏览器、编辑器或测试工具。

04 · 再看一次

通过新截图检查结果后,Hermes 才接受任务完成。

Hermes Agent 将 GLM 模型任务、文件、工具和人工确认连接起来的工作流图
GLM 从参考界面到已检查网页的视觉编程流程

设计团队修复只有浏览器中才会出现的问题

开发者认为页面已经完成,但浏览器中的主图被裁剪,移动菜单还挡住了标题。Hermes 把参考图、当前页面截图和组件文件交给 GLM-5V-Turbo。模型找出了错误的图片适配规则和移动端堆叠问题。Hermes 应用修改,再次截图,并让模型同时检查桌面端和移动端。最后由人工确认交互,再发布页面。

这个案例中 Hermes 做了什么

01提供画面

Hermes 发送参考图、当前页面和组件文件。

02找出问题

GLM-5V-Turbo 识别裁剪、遮挡或间距问题。

03应用修改

Hermes 调用编辑器或浏览器工具执行批准的修改。

04再次检查

发布前对比新的桌面端和移动端截图。

结果

团队通过视觉检查修复了只在浏览器中出现的布局问题,而不是只靠猜 CSS。

人工检查

交互、无障碍、数据安全和影响付费体验的视觉决定,都需要人工检查。

只有画面真的重要时,才支付视觉理解成本。

视觉输入会让任务更有用,也可能让请求更大。让 GLM-5V-Turbo 负责视觉判断,再把普通文字修改交给更便宜的模型。

一个简单的成本例子

发送最小但有用的图片或裁剪图。让 GLM-5V-Turbo 负责视觉判断,再把普通文字或 CSS 清理交给更便宜的模型。

在 Hermes 中使用 GLM-5V-Turbo

在 Hermes API 中选择 glm-5v-turbo,把图片、视频或文件作为模型输入的一部分传入。

curl https://api.hermes-ai.net/api/v1/chat/completions \
  -H "Authorization: Bearer $HERMES_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "glm-5v-turbo",
    "messages": [{"role":"user","content":"Run the approved task and return a short verification report."}]
  }'

GLM-5V-Turbo 使用前的几个问题

它真的可以根据截图重建前端页面吗?

可以生成能运行的第一版。Hermes 应该对比桌面端和移动端截图,再把差异交回模型,因为截图不会包含所有交互规则。

它适合 GUI 自动化和 OpenClaw 吗?

适合视觉 Agent 工作,但 Hermes 仍需要浏览器或电脑工具、明确权限,并在每次动作后重新截图。

它可以读取 PDF、图表、幻灯片和手写内容吗?

可以读取视觉文件并返回结构化说明。长文件或业务关键材料仍要保留原文件,并人工核对重要数字。

为什么打开搜索或工具后,任务可能变得很慢?

用户反馈过视觉输入、深度思考和工具同时开启时出现长时间等待。可以缩短单轮任务,设置工具超时、重试次数和停止条件。

什么时候应该改用文字模型?

当答案依赖像素、布局、控件或画面状态时用 GLM-5V-Turbo;主要是文字和代码时用 GLM-5-Turbo 或 GLM-5.1。

HERMES API · GLM-5V-Turbo

在 Hermes 中使用 GLM-5V-Turbo

在 Hermes API 中选择 glm-5v-turbo,把图片、视频或文件作为模型输入的一部分传入。