EP2 大食堂全貌:你到底在跟誰說話?
你以為你在直接跟「ChatGPT」或「Gemini」說話,但其實中間還隔著好幾層。搞清楚這張圖,你就懂為什麼同一個模型在不同地方表現差那麼多了。
影片即將上線
本段影片將在 6/20 直播結束後上架。以下是文字重點摘要,可以配合影片一起看。
Take it away
第二幕三個重點
- 大食堂對照圖:你(食客)→ 前端(貓耳服務生)→ API(魔法傳送帶)→ 模型(魔法大廚)
- 沒有「原生 Gemini」這回事:你永遠在跟「某個包裝過的服務」說話,不是直接跟模型
- Token 是計價和容量的基本單位:中文約一字一塊,費用和上下文長度都靠它來算
大食堂對照圖
這是整堂課最重要的一張圖,之後每幕都會回來引用它。
| 廚房角色 | 真實世界對應 | 負責做什麼 |
|---|---|---|
| 食客(你) | 玩家 / 使用者 | 點餐、給回饋 |
| 貓耳服務生 | 前端介面(平台、GPTs、Gemini Gem、酒館) | 整理你的點單,傳給廚房 |
| 魔法傳送帶 | API(應用程式介面) | 安全傳遞點單與回覆 |
| 魔法大廚 | LLM(大型語言模型,如 Gemini、Claude、GPT) | 真正做菜的人 |
服務生只負責整理點單,不參與做菜。
這一點很重要。你在 Character.AI 上打的每一句話,不是直接傳給模型的。Character.AI 的系統會先整理、加工、甚至刪減你的點單,然後才透過 API 送進廚房。你看到的「Character.AI」是服務生,不是大廚。
沒有「原生 Gemini」這回事
這個觀念很多人沒想到:你在 Gemini 網站上聊的「Gemini」,跟你在某個 GPTs 上聊的「用 Gemini 模型的機器人」,背後用的可能是同一個模型。但服務生不同,整理點單的方式不同,你感覺到的「個性」就完全不同。
同一個大廚,在不同的餐廳工作,出菜的口味差很多,因為每間餐廳的系統提詞(釘在牆上的廚房規定)不一樣。
所以「某個平台的 AI 比較好聊」,精確的說法是:某個平台整理點單的方式,讓這個模型在這種任務上表現比較好。
換了同一個模型到酒館(SillyTavern,以下簡稱酒館),你可以自己決定服務生怎麼整理點單,感覺就完全不同了。
Token:食材丁
大廚看不懂「一整句話」,他需要先把點單切碎成名為 Token(食材丁)的小塊才能處理。
Token 切法的特點:
- 中文大約一個字等於一塊 Token
- 英文複雜單字可能被切成好幾塊(例如 "playing" 可能切成 "play" + "ing")
- 空白、標點符號也都算 Token
為什麼你需要了解 Token?
因為 Token 決定了兩件事:
- 費用:付費 API 按 Token 計算,不是按字數。「輸入了多少 Token + 模型輸出了多少 Token」決定這次對話花了多少錢。
- 容量:廚房的流理台(上下文視窗)有 Token 上限,塞不下就要開始捨棄舊資料(這是 EP3 的主題)。
免費平台常常看不見這些數字,但它們一直都在運作。自架酒館+自用 API 之後,你會第一次親眼看到這些數字,那時候很多事情就豁然開朗了。
為什麼同一個模型在不同地方感覺不同?
現在你有了這張圖,可以解釋這件事:
- 服務生(前端)不同:每個平台的系統提詞不同、對點單的加工方式不同。你在平台上打的話,服務生可能會偷偷加上或刪掉一些東西再傳進廚房。
- 分配給你的算力不同:免費平台常在尖峰時段把你排到學徒那邊(較小的模型),或是限縮輸出長度、壓縮上下文。
- 模型版本不同:「GPT-4o」不是一個固定的模型,有舊版新版,同名模型改版後行為可以差很多。
用酒館直接走 API,你看到的就是最接近「模型本體」的狀態,服務生是你自己訓練的,你知道它對點單做了什麼。
常見問題
Q:我在 Character.AI 和 Gemini 網站上用的是同一個模型嗎?
不一定,要看這兩個平台用了哪個後端模型。Character.AI 目前使用自家開發的模型,並非 Google 的 Gemini。Gemini 網站走的是 Google 的 Gemini 系列模型。平台不會透明地告訴你後端在用什麼、以及他們在系統提詞裡加了什麼。
Q:API 跟一般網站有什麼差別?
API 是一個程式介面,讓你的前端(酒館、GPTs、任何 App)和後端模型直接通訊的管道。一般網站是「套好的服務」,API 是「原料批發口」,你可以自己決定怎麼組合原料,彈性大很多,但要自己承擔成本。
下一步
EP3 記憶之桶:上下文是什麼?為什麼 AI 會「失憶」?這是 AI RP 體驗最關鍵的一課。
