9月16日， 前 OpenAI 核心人员Diogo Almeida的公司TypeSafe发布了不同于以往通用大模型的Jev模型，接收自然语言状态和结构化问题，直接输出有限候选上的选择、评分或概率判断，优化了延迟、并行决策和概率校准。

TypeSafe声称Jev经过专门训练，放弃输出传统大模型的字符串，针对结构化输出进行优化，不产生“幻觉”。

Think of Jev as a frontier-intelligence function call: unstructured state in, typed probabilistic decisions out.

可以把 Jev 看作一个前沿智能的函数调用：输入非结构化状态，输出带类型的概率化决策。

核心观点是，快慢思考。《思考，快与慢》书籍中，人的思考分为两类，一类是System One：人脑里快速、启发式、直观的思维系统，第二类是System Two：缓慢、费力、需要注意力、带有显式推理过程的思维系统。目前的Agent系统中，只存在Systen Two。但是实际上，人类完成一个任务，更依赖System One的参与。

Jev与传统大模型（GPT等）的主要区别在于：输出、采样、成本、 速度、幻觉。

  • 输出：Jev是类型安全的结构化值，输出带概率和置信度分数。
  • 采样：传统大模型是顺序采样，一个新的token依赖于前文，一个token一个token地生成。Jev是并行处理，高效
  • 成本：输出结构化的判断或者选择、置信度，几乎免费。输入token: $0.042 / MTok极其便宜。
  • 速度：响应时间短。同等智能水平下，对于决策类的思考，速度提升40倍~200倍
  • 幻觉：不会出现定义以外的输出，所以不产生“幻觉”。但是判断是否正确，不保证。幻觉以另一种方式出现。

我的思考

在需要结构化输出场景，Jev可以做到高效快速，对于结构化抽取，LLM的幻觉问题一直存在，是否可以利用Jev的特性来对LLM的抽取结果做一次检查，并快速重新生成呢？Jev目前正处于内测阶段，具体的实现方式和效果是否真正如博客所说，也暂时不明了。我对这个模型的出现很欣喜，目前的模型思考链路太长，用System Two的方式来做本该快速的System One的任务，确实是一种浪费。

一个观察

使用Jev快速决策（并行），判断Agent运行中的某条上下文是否值得保留，移除不值得保留的内容，达到精准压缩上下文的目的。

x.com/tamarajtran/status/2100694549362553153

jev-ezgif.com-video-to-gif-converter

讨论

知乎@赵泠认为这“充其量是‘智能体系统里的 if-else 子模块’”，不是新技术。