Jev一个不“写字”的大模型 官网 文档 发布博文 TypeSafe 发了一个比较特殊的模型，不做对话、不生成文本，只针对一份 state 做类型化的判断，返回代码能直接用的值。 三种问题原语 - Choice从给定选项里选一个，返回选项 + 各选项概率 + 置信度 - Score按量规给 state 打分，返回分数 + 概率 + 置信度 - Noul这句话为真吗，返回 0~1 的概率 重点是又快又便宜，端到端 70ms~500ms，输入 $0.042MTok，输出免费，比同级别 LLM 快 40~200 倍。当今 LLM 工作流里有一些情况要求时延低，而且结构化输出已经不可或缺，可以说这个创业公司找到了一个很不错的垂类。 社区已经拿它跑了一堆东西浏览器 Age……
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
评论(0)