围绕工具驱动型工作流设计 AI 数字人体验

让 AI 数字人解释并呈现工具驱动型工作流,而不是成为工作流的事实来源。

Spatius Team12 min read 分钟阅读
本页目录
用户在 SaaS 工作流中操作,AI 数字人与用户资料、日历、文档和审批步骤相连。

AI 数字人可以让工具驱动的 SaaS 工作流更容易理解,但它不应成为决定做什么、用户被允许做什么,或某项操作是否成功的系统。

当体验将 AI 智能体与 CRM、计费服务、内部知识库或支持平台等系统结合时,这一区分尤其重要。应用应始终是操作层:它理解用户、应用权限与确认规则、运行工具并记录结果。数字人则是围绕这项工作提供呈现的层。

对于 Spatius 集成,产品边界特别清楚:Spatius 将数字人语音音频转换为实时动作数据,AvatarKit 在本地渲染数字人。它不返回成品视频;ASR、LLM、TTS、轮次管理和打断策略等对话逻辑,归属于客户应用、智能体框架或后端。阅读开发者文档地图。

示意图:SaaS 应用负责工具、权限和工作流决策,Spatius 将应用选择的数字人语音音频转为供本地渲染使用的动作数据。

核心要点

  • 将数字人视为清晰、实时的呈现层,而不是调用工具或批准操作的权威主体。
  • 将身份、上下文、权限、确认规则、工具执行和审计记录保留在你的应用与服务中。
  • 让用户在工具调用前、调用中和调用后都能看到真实的产品状态。数字人可以解释状态,但不应取代状态本身。
  • 让数字人的语音匹配已知工作流状态。应用收到结果之前,不要讲述结果。
  • 从一个解释或引导确有价值的工作流开始,再测试完整交互,包括拒绝、打断、失败和交接路径。

先确定正确的所有权边界

工具驱动型工作流会涉及多个系统。最容易犯的设计错误是把它们模糊成一个对话界面。相反,在决定数字人说什么、在哪里出现前,先定义每一项职责由哪一层负责。

职责建议负责人数字人可在其周围做什么
用户身份与访问你的产品和身份系统承认面向用户的状态,但不暴露敏感细节。
产品上下文与知识你的应用、智能体或后端解释应用已选择展示的信息。
权限与策略你的应用和服务在产品要求时请求确认;应用确认前,绝不要暗示操作已获授权。
工具选择与执行你的应用、智能体框架或后端告知用户即将发生、正在发生或已完成的内容。
工具结果与审计记录拥有该工具的系统呈现与返回结果一致的简明摘要。
数字人语音与动作你的 TTS 层提供语音;Spatius 将该语音音频转为动作数据在数字人说话时渲染它。

这不只是技术架构图练习。它为产品团队的每一句数字人文案提供一条简单规则:这句是在解释已验证的应用状态,还是在假装它本身就是状态?

前者有用,后者会产生歧义——尤其当工具可能修改客户数据、触发外部流程,或要求特定角色时。

Spatius 层接收和返回什么

具体集成路径取决于你的架构,但核心动作路径很窄。在 Direct Mode 中,客户端上的 AvatarKit 将数字人语音音频发送至 Motion Server,接收动作数据,并在本地渲染数字人。后端的 token endpoint 并非数字人运行时中继,也不会运行 ASR、LLM 或 TTS。参阅 Direct Mode 概览。

这让你的产品可以保留现有的工具编排。应用可决定智能体是否应使用工具、如何执行权限、何时请求确认,以及哪项结果应成为语音输出。一旦应用选择了语音音频,Spatius 就能根据该音频驱动数字人动作。

先设计工作流,再加入数字人

不要先问:“我们可以把会说话的数字人放在哪里?” 应从一个具体用户任务开始,并绘制背后的系统状态。

例如,设想一名工作区管理员请求产品内智能体修改订阅设置:

  1. 用户在产品中提出请求。
  2. 你的应用识别用户、相关账户与权限。
  3. 智能体或编排层判断工具是否合适。
  4. 如果该操作依照产品策略需要确认,产品通过可见控制项要求确认。
  5. 你的服务执行已批准的工具调用并接收结果。
  6. 产品更新相关 UI 和审计记录。
  7. 如果你选择通过数字人呈现结果,TTS 层生成已批准的口头回复;Spatius 将该语音音频转换为供本地数字人渲染使用的动作数据。

数字人围绕这个序列增加了解释、节奏与在场感;它不取代产品控制项、权限校验、API 调用或结果展示。

四步工作流图:SaaS 应用准备操作、在需要时收集确认、运行自己的工具,随后让数字人呈现已验证结果。

给每个数字人时刻一个任务

数字人不需要讲述每一个事件。在商业产品中,它的价值应来自一项具体交互任务,而不是用动作填满界面。

工作流时刻有用的数字人角色应保留在产品 UI 中的内容
工具调用前用清晰语言说明预期操作。操作摘要、范围和确认控制项。
应用处理中只有在能增加清晰度时,才用简短状态信息设定预期。可见的进行中状态,以及产品支持的等待、取消或到别处继续的方式。
获得已验证结果后总结应用报告的内容,并指出下一个有用步骤。事实来源结果、已变更记录及相关链接或控制项。
结果需要解读时使用经批准的产品语言解释选项或权衡。底层数据、筛选条件、计算或策略上下文。
工作流无法继续时说明已知信息,并指向可用恢复路径。错误详情、重试路径、支持入口或交接控制项。

一条简明原则在这里很有帮助:关闭声音后,屏幕仍应可理解;即使用户不看数字人,数字人也必须保持真实。

这种方式也更适合偏好文字、已静音、希望快速操作或稍后回到进行中任务的人。

让确认成为产品决策,而不是数字人表演

不同工具调用的后果不同。只读查询、草稿、记录更新和外部发送不应以完全相同的方式呈现。产品团队应依据操作、角色和工作流上下文决定确认策略。

数字人可以清楚地表达这一时刻,例如:“草稿已准备好创建。请查看详情,并在准备好后确认。” 但可见的产品控制项和应用策略才应决定操作是否继续。

决策矩阵:针对只读查询、草稿、会改变数据的操作和外部操作,展示由 SaaS 产品定义的不同确认预期。

供产品与工程团队评审的实用分类

操作类型设计问题产品模式
只读查询用户是否需要知道查询了哪个来源?在重要时展示来源或范围;应用收到结果后让数字人总结答案。
创建草稿用户能否在任何外部变更前先审阅?在产品 UI 中呈现草稿;让数字人说明哪些内容已准备好供审阅。
修改产品数据改变的是哪个对象?谁有权限修改?清楚展示变更及其范围;应用常规权限与确认规则。
外部或不可逆操作用户应批准什么?有哪些恢复路径?使用明确确认和清晰状态;不要让口头语句看似成为唯一的审批记录。

此表是设计起点,不是通用策略。合适的工作流取决于你的产品、客户承诺、风险模型和正在连接的系统。

在数字人开口前让系统状态可见

当数字人在应用取得确认结果之前宣布成功,或者用户无法判断请求是否仍在运行时,工具驱动体验往往会显得不可信。

相反,应围绕一组由应用拥有的小型状态来建模界面:

  • 准备就绪: 用户可看到智能体能帮什么,以及有什么操作可用。
  • 正在澄清: 应用需要一项缺失细节才能决定下一步。
  • 等待确认: 用户可看到拟议操作并决定是否继续。
  • 处理中: 应用正在等待工具或服务响应。
  • 已完成: 产品已有可展示、链接或记录的结果。
  • 需要关注: 结果不完整、失败,或需要其他人或路径。

数字人的措辞应绑定其中一个状态。这样可以避免过度自信的叙述,并让视觉、语音和日志结果保持一致。

界面状态图:数字人如何解释准备就绪、正在澄清、等待确认、处理中、已完成和需要关注等状态,同时产品界面仍是事实来源。

不要把结果藏在对话背后

如果工具修改了一条记录或生成了报告,用户应能够在产品中检查真实对象、数据或状态。口头回顾很有用,但不能代替可见结果。

对于较长或复杂的结果,让数字人先给出结论,并指向相关产品界面:“报告已准备好。我已打开需要审阅的例外项。” 产品 UI 应能证明这句话是否为真、例外项是什么,以及用户下一步能做什么。

让工具路径与数字人路径可独立测试

数字人层不应增加理解底层工作流的难度。先在没有数字人的情况下测试工具路径,再将数字人作为围绕已知状态的独立呈现路径测试。

这种分离在发布期间很有用。如果工具结果正确但数字人体验不可用,产品仍可在标准 UI 中展示结果。如果应用无法安全完成工具路径,数字人应呈现相同的恢复状态,而不是即兴编造答案。

使用一个范围窄的首个工作流,例如解释已完成的配置检查,或引导用户审阅一份可审查的草稿。不要把首次试点设为高后果操作的唯一通路。

工具驱动数字人工作流的试点核对图:选择一个用户任务、映射所有权、测试审批和结果状态、提供非数字人路径,并在扩展前复盘观察到的行为。

产品团队的构建核对清单

实施前,请确保同一个团队能清楚回答以下问题:

  • 这个数字人正在帮助完成哪一项确切的用户任务?
  • 应用中的哪个组件负责选择并执行工具?
  • 权限、确认规则和审计记录存放在哪里?
  • 在结果未知、工具运行中和结果返回后,数字人分别可以说什么?
  • 哪个可视控制项或记录仍是事实来源?
  • 用户打断、拒绝、离开页面或改用文字时,会发生什么?
  • 工具失败或需要人工审核时,产品会显示什么?
  • 发送给 Spatius 的语音音频是否仅限于应用已选择呈现的回复?
  • 哪条 Spatius 集成路径符合现有架构?

对于最后一个问题,先从 Spatius 的集成路径指南开始,再查看所选路径的文档。Spatius 将 Direct Mode、LiveKit Agents、Agora Convo AI 和 Backend Mode 记录为不同路径;合适的选择取决于你的应用已在哪个位置拥有运行时。参见文档地图。

常见问题

Spatius 会调用我的产品工具吗?

不会。Spatius 的文档化职责是将数字人语音音频转换为实时动作数据,并通过 AvatarKit 支持本地数字人渲染。你的应用、智能体框架或后端拥有对话逻辑和工具工作流决策。开发者文档地图

工具运行后,Spatius 会返回成品数字人视频吗?

不会。Spatius 文档说明的是动作数据输出和本地 AvatarKit 渲染,而非成品视频交付。开发者文档地图

数字人能解释一次工具调用的结果吗?

可以——前提是你的应用已收到结果,并已选择要呈现的回复。请让产品 UI、记录或状态指示器保持可见,使用户能检查事实来源。

是否每次工具操作都需要明确确认?

没有通用交互规则。请根据操作、影响、用户角色和产品策略分类。把任何必要确认清晰地放在产品中,让数字人解释选择,而不是成为唯一的批准记录。

工具调用失败时,数字人应该说什么?

使用与应用状态一致的措辞:说明未能完成什么,不要声称已有结果,并指向产品实际提供的恢复选项,例如重试、审阅或转交路径。

构建尊重工作流的数字人层

最可信的工具驱动数字人体验,会让底层产品更容易理解,而不会假装数字人是产品的操作系统。将决策与执行留在应用中,让状态保持可见;再利用数字人解释恰当的时刻,使其与屏幕结果同样清晰、一致并具在场感。

如果你正在把实时数字人层映射到现有 SaaS 工作流,预约 Spatius 演示,讨论适合你架构的集成路径。

来源

相关文章