国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

這是一份寫給非技術崗的產品經理/運營的token應用指南。可以在了解token概念的同時，也能夠知道設計產品時和token相關的注意點。

自從2022年末OpenAI推出通用大語言模型ChatGPT后，這兩年各種大語言模型層出不窮，眼花繚亂?？赡苣銈児疽泊来烙麆樱拔覀円惨鯝I+產品！”。接著你所在的產品部門喜獲一個Epic，“研究如何引入AI升級原本的產品”或者“研究引入AI是否可以找到新的增長點”。

這個時候還沒怎么了解AI的你，會怎么邁出第一步？你可能已經是LLM的重度使用者，也可能是剛剛體驗的小白。但本著產品經理特有的好奇心，你可能最先想知道的是，大語言模型究竟有什么魔法，竟然可以“聽”懂我們的問題，并給出恰當?shù)幕卮?，有時候給到的回答甚至還滿讓人驚喜的。接著可能就會思考，那我們到底可以怎么使用大語言模型這個全能型”機“才呢？

Token作為大語言模型最基本的概念之一，可能很容易在你搜索相關資料的時候頻繁出現(xiàn)。

在這里小小劇透一下，token不僅是了解大語言模型時最先接觸到的基本概念之一，它也很有可能從此顛覆你某些產品技能，從商業(yè)分析到產品定價，從用戶體驗到產品決策，都可能因為這個小小的概念讓你產品技能的做法或流程變的很不一樣。

一、Token的基本概念

那到底什么是token呢？Token就是指文本中最小的有意義的單位。是不是有點抽象？我們來通過一個簡單的例子看下大語言模型是怎么回答我們的問題，并理解token到底是什么。

1. 大語言模型怎么回答我們的問題？

當大語言模型收到我們一個問題，它的運作原理其實很簡單，用一個我很喜歡的教授說的一個很形象的比喻，就是在做文字接龍游戲。也就是給它一個沒有完成的句子，它幫你補完。在補句子的過程中，它會預測接下來接哪個字是最合理的。

比如問大語言模型，“中國的首都在哪里？”，它會覺得可能接“北”最合理，然后把輸出的內容接在你的問題后面，所以這次的輸入就變成，”中國的首都在哪里？北“，這個時候它會覺得接”京“最合理。接下去重復上一個步驟，然后發(fā)現(xiàn)接好”京“之后看起來沒什么好接的了。就覺得這句句子補完了。那”北京“就是它回答的答案。

2. Token到底是什么

我們給大語言模型一個未完成的句子，后面可以接的字有很多不同的可能。比如輸入上海大，可能是上海大學，可能是上海大樓，可能是上海大師賽等等等等。

實際上大語言模型的輸出就是給每一個可以接的符號一個機率。”學“是一個符號，”樓“是一個符號，”師“也是一個符號。所以它的輸出其實就是一個幾率分布，即給每一個可以選擇的符號一個機率。然后按照這個幾率分布投骰子，投到哪個符號，那個符號就會被輸出出來。這些符號又叫做token。

這就是我們經常所說的，大語言模型的本質上就是在預測下一個token出現(xiàn)的概率。也正是因為這樣，即使問大語言模型相同的問題，每次產生的答案可能也都是不一樣的。因為每次的回答都是有隨機性的。

就如同我們設計MVP產品的時候，最困難的事情不就是怎么定義這個Minimum么？那”文本中最小的有意義的單位“里的“最小”指的是什么呢？一個字？一個詞？

這件困難的事情在訓練語言模型時就交給了模型開發(fā)者，模型開發(fā)者會預先設定好token，用于平衡計算復雜度和語言信息的覆蓋，所以這里的“最小”可能是一個單詞，可能是一個子詞，也可能是一個字符。

正因為每個模型在開發(fā)的時候會設定好token，所以

• 不同的語言模型，定義的token可能不一樣
• 中文的語言模型和英文的語言模型定義的token可能也不一樣

接下來，每個token都會被轉換成一串對應且不變的數(shù)字，因為基于神經網絡的語言模型不能理解文本，只能理解數(shù)字。

所以，一個模型的token總量可以理解為這個模型的詞匯表。而每個token都是一連串的數(shù)字，且這個數(shù)字是不變的。

二、大語言模型中token長度限制

模型能夠同時處理token的數(shù)量，叫做token的長度。這個長度是有限制的。比如我們使用一個模型，它的token限制是4096個token，這就意味著你在一次請求中，輸入和輸出的總token數(shù)不能超過4096個。

Token長度限制很容易和上下文窗口限制混淆。

上下文窗口限制指的是模型在一次交互中可以”記住“多少信息，也就是在整個對話過程中可以使用的最大token數(shù)。上下文窗口決定了模型對輸入內容的理解深度和生成輸出的能力。比如，模型的上下文窗口大小是4096 token，那么無論你對模型輸入多少次信息，所有這些輸入和生成的內容加起來不能超過4096 token。一旦超過，最早輸入的內容可能會被”遺忘“，從而無法用于生成新的輸出。

總結來說，

• token長度限制指模型一次輸入或輸出的總token限制數(shù)。
• 上下文窗口限制指整個對話過程中，模型能夠處理所有token的最大數(shù)量。

舉個例子

假設我們在玩?zhèn)骷垪l游戲，我們只能在紙條上寫下4096個字符的內容，也就是說我們之間所有的交流內容不能超過這個長度。這個就是“上下文窗口限制”。一旦紙條上的內容超過了4096個字符，就必須把最早的內容擦掉一些，才能寫下新的內容。而“token限制”就是我們每次傳紙條最多能寫的字符，比如我們設置了我們每次傳遞最多只能寫200個字符。那如果在一次傳遞中我已經寫了180個字符，你就只能寫20個字符。

三、設計產品時，token會給到你的”驚喜”和”驚嚇”

“驚嚇”：token 從技術單元轉化為計費單元，并且可能比你想象的更貴！

影響：引入大語言模型后，當我們分析ROI時，如果沒有把token的使用成本考慮進入，不僅不能為公司產生利潤，還可能賠錢。有些時候，token的使用成本甚至可能改變產品的定價策略。

舉例：

企業(yè)有一個線上模擬練習的產品，專門為用戶提供在特定場景下的技能練習，從而讓用戶通過刻意練習后在實際工作中也能穩(wěn)定的發(fā)揮所需的技能。通常當我們分析這個產品的ROI時，成本這邊可能最大的投入是一次性的研發(fā)成本以及后續(xù)的軟件維護成本。

企業(yè)想要引入大語言模型升級這個模擬練習產品，這樣可以讓用戶有更真實的體驗從而達到更好的練習效果。當我們分析這個產品的ROI時，不僅要考慮研發(fā)成本等，還需要計算出用戶每練習一次token所產生的成本，這個成本不僅僅是產品發(fā)布后用戶使用時會產生的，在產品研發(fā)測試、GTM的過程中都可能產生。而這些成本不僅會影響GTM Stragety，也會影響到后續(xù)的產品定價。

產品經理只有把token相關的影響因素都充分考慮后，才能提升用戶體驗的同時還能保證產品盈利。

“驚嚇“：更好的體驗？呃，也許沒那么美好。

影響：我們都知道在互聯(lián)網時代性能體驗有一個原則是2-5-10原則，也就是當用戶能夠在2秒以內得到響應時，會感覺系統(tǒng)的響應很快，而在2-5秒間會覺得還可以，在5-10秒間覺得勉強可以接受，但是當超過10s時，用戶會因為感覺糟透了而離開你的產品。但是當我們引入大語言模型后，我們很有可能為了更好的功能用了很長的提示詞，用戶很有可能因為等待時間過長直接離開了產品，甚至都沒有機會體驗到AI帶來的功能提升。

舉例： 還是上面那個例子，企業(yè)想要引入大語言模型升級模擬練習產品，這個模擬練習中有一個NPC會和用戶互動。為了讓NPC能夠根據(jù)用戶的輸入給到更精準的反饋，我們給到NPC一個非常詳細的劇本，包含了方方面面的考量。NPC確實能夠非常精準的回復用戶每次的輸入，但是用戶每一次輸入之后都需要等待10秒以上，如果這個練習的互動是很多輪次的，那顯然用戶是沒有這個耐心完成練習的。

產品經理找到準確性和用戶體驗的最佳平衡點，才能讓用戶感受到AI帶來的更好的體驗。

”驚喜“：效果太差？不，只是token限制了模型發(fā)揮。

影響：在互聯(lián)網時代，一旦我們設計產品功能沒有達到我們的效果，或者技術實現(xiàn)成本過高或有困難的時候，我們需要一起討論并修改整個產品。而當你的想要達到的功能是基于大模型時，有時候你只需要做一個動作，就是換一個大預言模型，產品功能就達到我們的預期效果了。

舉例：

企業(yè)想要把私有知識庫搬進大模型，這樣但凡之后用戶問到和這個領域相關的問題，AI就能表現(xiàn)的非常專業(yè)。但是有些知識庫非常龐大的。在前面token長度我們了解到，大語言模型對于token是有限制的，如果我們選擇了一個模型，它的token限制是4096，但是可能其中一個知識庫本身的量級已經占用了3000個token，再加上相關的提示詞所需要的token數(shù)，知識庫的3000個token在2500個token的時候就被截斷。這個時候當用戶問到相關知識的時候，準確率只有60%。但是當我們換了一個模型，它的token限制是8192，那么準確率一下子就飆升到92%并達到了產品設計時的期待。

四、結語

Token是語言模型中一個非常重要的基本概念，我們越了解token，就可以越有效地利用大語言模型，從而幫助我們在設計AI+產品時更加的游刃有余！