把模型嵌入代码:Jev 的四种应用实践

Latent Space4 天前

生成式模型擅长组织语言,但软件中的许多环节并不需要一段回答,而是需要一个选择、一个分数,或者一个概率。

在 AI Engineer Code Summit 上,这类被称为 “系统一模型”(System One Models) 的非生成式模型成为讨论重点。与被称作“系统二模型”的推理型大语言模型相比,它们通常强调更低的延迟和成本,以及便于代码处理的结构化输出。

Jev 是此次讨论的核心产品。它的主要创建者、TypeSafe AI 联合创始人兼首席执行官 Diogo Almeida 提出的方向是:不要只把模型放进聊天窗口,而要把模型调用嵌入应用代码,让它参与软件内部的判断与自动化。

1. 将模型作为代码中的决策组件

Almeida 认为,大语言模型驱动的软件面临一个关键问题:表现出色并不等于足够可靠,尤其是在系统无法识别错误的时候。

他的主张是,让系统一模型更紧密地融入代码。模型不必每次都生成完整答案,也可以在程序运行过程中承担局部判断,让软件根据结果执行不同逻辑。

不过,他将 Jev 描述为“可靠的智能”,并提出“自动化一切”,这些属于产品愿景与演讲主张,不能直接视为已经得到验证的可靠性结论。

2. Glean:在变化的分类体系中使用零样本判断

Glean 的 Chinmay Goyal 介绍,团队会同时使用系统一模型、大语言模型和其他分类器,而不是让一种模型承担所有任务。

他认为,Jev 的一个适用点是 “零样本灵活性”:当决策空间的分类体系发生变化时,不必反复微调模型。

Goyal 表示,Jev 已参与 Glean 的相当一部分工作流,但用户不需要知道某一步究竟由 Jev 还是完整的大语言模型完成。产品层面的目标,是隐藏底层复杂性,让功能正常工作。

这项实践呈现的是一种组合方式:不同类型的模型在同一个产品中协作,具体采用哪一种,由任务需求决定。

3. UiPath:用“锦标赛”方式排序文档片段

UiPath 的 Chibi Vikram 和 Kevin Bernstein 展示了 Jev 的实验,其中一个案例是文档片段排序。

他们采用了类似淘汰赛的流程:

  1. 将文档片段分成若干小组。
  2. 让 Jev 从每组中选择最相关的片段。
  3. 将胜出的片段继续分组比较。
  4. 逐轮筛选,得到最终结果。

据演讲者介绍,这项测试即使涉及数千次 Jev 调用,整个过程仍在一秒内完成。这一数字对应的是现场介绍的特定测试,不宜外推为所有部署环境下的性能表现。

Vikram 强调,Jev 可以被视为可组合的构件:单次调用的能力之外,如何设计调用策略与程序结构,同样影响最终效果。

4. Workday:从预测文字到预测操作

Workday 首席工程师 Scott Roberts 展示了团队使用 Jev 制作的原型。

其中一个原型会在用户尚未输入完毕时,就开始填充请假卡片。它不只是预测用户接下来会输入什么文字,而是尝试提前判断用户想完成什么操作,并据此改变界面行为。

Roberts 将这种变化概括为:从“预测你想说什么”,转向“预测你想做什么”。

这里展示的是原型,而非已经全面上线的产品能力;但它具体说明了快速模型调用如何进入交互过程,而不只是出现在用户点击提交之后。

值得关注的是集成方式,而不只是模型能力

这些案例的共同点,是将模型放到软件内部的具体环节:分类、筛选、排序和交互预测,而不是一律要求模型生成长文本。

Glean 展示了多种模型协作的工作流,UiPath 展示了多次调用的组合策略,Workday 则探索了低延迟判断对界面的影响。

它们提供了可讨论的工程实践,但现有材料并未给出统一的准确率、成本对比或生产环境可靠性评测。因此,更适合将这些展示视为设计思路与实验案例,而不是“可以自动化一切”的证明。

评论

请登录后发表观点

暂无数据