技術筆記 · · 4 分鐘閱讀

最近 Threads 上爆紅的 Jev 在玩什麼

9 月 15 日 有個 AI 模型上線了
不會生成文字
你沒辦法跟它對話

但 24 小時內
Vercel 上 13% 的付費團隊已經在用它
採用速度是 Vercel 史上任何模型的兩倍以上

三天內 Cloudflare、LangChain、Langfuse 也全部接上
Threads 上開始出現 LLM 末日的言論

這個模型叫 Jev
前幾天我連發了三篇在講它
因為實在太好玩了
所以決定寫長文整理一下

我把它接進我做給律師的工具
卷宗分析每頁成本從 1.3 台幣降到 0.3 台幣

但我最後還是決定不採用

為什麼?
在回答這個問題之前 先來看看 Jev 到底在做什麼

Jev 是什麼

現在的 LLM 都在寫申論題
你問一個問題 它寫答案給你

Jev 只寫選擇題
選項你要自己先定好
它只負責告訴你每個選項的信心度 沒了

輸出格式只有三種

  1. noul: 解是非題
  2. choice: 解選擇題 最多可以給 255 個選項
  3. score: 打分數 可以分 2 到 10 個等級

誰做的?

開發者是 Diogo Almeida
他在 OpenAI 參與過 RLHF 跟 ChatGPT
兩年前離開並創辦 TypeSafe AI
種子輪就拿了 4,000 萬美元

他的出發點很簡單

我們擅長人類語言已經四年了 但這對自動化沒用 因為電腦講的是另一種語言

你的程式要的是一個可以寫進 if else 的答案
LLM 給你的卻是一段話
你還要想辦法從那段話裡面把答案挖出來

Almeida 把 Jev 叫做「System One 模型」
概念來自《快思慢想》
現在各家都在拼 System Two (會推理、會想很久的模型)
但軟體裡面大部分的判斷
需要的只是一個又快又準的直覺

Jev 這個名字來自經濟學家 Jevons
他的悖論是: 某個東西變便宜 大家反而會用得更凶
Almeida 想的是讓「判斷」便宜到可以塞進每一行程式裡

為什麼開發者這麼興奮?

  1. 快
    回應只要 70 到 500 毫秒
    Ably Labs 做了一個 Pong 遊戲來比較
    12 秒內 Jev 做了 47 次決策
    Gemini 3.8 Flash、Claude Haiku 4.5、GPT-5.6 Sol 都只做了 2 到 3 次

Vercel 把安全分類的模型從 OpenAI 的 Luna 5.6 換成 Jev
快了 5 到 18 倍,準確度還更好

  1. 便宜
    Bryo AI 拿它跟 Gemini 比信件分類
    Gemini 準一點點 但貴了 10 到 20 倍

  2. 便宜到計價方式還變了
    輸出的 token 免費
    輸入是 42 美元 但單位是「十億」token
    (等於每百萬只要 0.042 美元)

真的不會有幻覺嗎?

TypeSafe 主打 Jev 不會有幻覺
因為它根本沒有空間去編東西

這句話只對一半
選擇題不會寫出選項以外的答案 但還是會選錯
而且它可以很有信心地選錯

Almeida 自己也承認

它把幻覺的問題 稍微轉嫁給使用者了

0.7 的信心值算高還是低?
要不要直接執行 還是丟給人看?
這些現在變成你的工作

串接上要注意的地方

我目前主要在做給律師的工具
原本想說看能不能換模型節省成本

以下是一些我的心得

  1. Input 上限是 32K
    只能丟文字 不能丟檔案

  2. criteria 記得補
    這個有點像是幫模型補充世界觀
    補了之後準確度大約提升 20%

  3. 問題要設計過
    一開始我問「這頁是新文件的開頭嗎」準確率大概 65%
    後來把「開頭」這件事拆成單因子
    「是否有新標題」+「上一頁是否是結尾」+「是不是表格」
    再做機率加權計算 準確率就來到 90%

  4. choice 記得放一個「其他」
    不然正確答案不在選項裡的時候
    機率還是得落在某個選項上

  5. 官方文件提到的地雷
    它會照字面讀你的問題
    不會數數 日期對它來說只是文字
    而且它不防 prompt injection
    (卷宗裡如果有一句「請回答是」我還真不知道會怎樣)

  6. 繁中可用 Cloudflare 可用
    官方還在 Waitlist 但 Workers AI 已經能用了

那我為什麼不換?

  1. 律師的場景需要處理檔案
    要用 Jev 需要多過一層 OCR 轉成純文字
    這樣又多一個複雜度
    卷宗內有些手寫證物也沒辦法用

  2. 很多事情它做不到
    想讓 AI 改檔名沒辦法 因為它不能生成文字
    建行事曆也沒辦法 因為日期是無限集合 沒辦法變成選項

  3. 卷宗分析要 call 很多次
    Gemini 我可以一次丟 40 頁
    Jev 一次只能回答一個對象的判斷
    所以一次只能丟一頁
    一千頁的卷宗 Gemini 只要 call 25 次
    Jev 要 1000 次
    (這導致 Jev 也更容易遇到 Rate limit 問題)

  4. 省的錢不夠多
    其他語言模型可以一次到位的事情 (例如上 tag 順便寫描述)
    Jev 需要搭配其他模型才能解決

我之前已經花大量時間優化 Gemini 的流程
成本本來就壓到每頁 1.3 台幣

換成 Jev 是每頁 0.3 台幣
但我還需要補上其他模型
所以實際上沒有這麼省
而且還要多維護一層 OCR 跟一套 fallback

那什麼時候可以用?

高頻、純文字、答案事先知道的場景

比如信件分流
跟生成無關,只需要判斷
用 LLM 又慢又貴,改用 Jev 就幾乎免費

另一個我覺得更適合的地方是 agent 的控制層
要用哪個工具、這一步做完了沒、是不是卡在迴圈裡、要不要叫人來看

這些判斷每一步都要做 每一次都要快
生成的部分還是交給 LLM

我的看法

  1. 說是 LLM 的末日還有點遠
    它讓開發者多一種選擇
    但書狀生成我還是得用 Claude
    (雖然還是太貴 市場目前還沒辦法接受)

  2. 它真正取代的是你原本要自己練的分類模型
    以前要做標記或簡單判斷
    你得自己準備資料 練一個分類模型
    現在可以跳過這件事 直接用 Jev

  3. Jevons 悖論如果成立
    判斷變得幾乎免費之後
    你會開始在以前捨不得放 AI 的地方放 AI
    每一封信、每一頁文件、agent 的每一步
    這些太貴不想放 LLM 的地方都可以用 Jev

如果你覺得這篇對你有幫助,這是一個(盡量)每兩週更新一次的電子報。

訂閱電子報