国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

本文作為“AI產(chǎn)品經(jīng)理轉(zhuǎn)型三部曲”的技術(shù)篇開篇之作，將深入淺出地剖析大語(yǔ)言模型（LLM）和智能體（Agent）的核心概念、工作原理及其在實(shí)際應(yīng)用中的關(guān)鍵要點(diǎn)。

通過(guò)前面兩篇AI認(rèn)知文章，想必大家已經(jīng)對(duì)AI有更深入的理解；

如果還沒有看過(guò)，可以先前往閱讀學(xué)習(xí)《AI產(chǎn)品經(jīng)理轉(zhuǎn)型三部曲—認(rèn)知篇①直視AI，認(rèn)識(shí)AI》；《AI產(chǎn)品經(jīng)理轉(zhuǎn)型三部曲-認(rèn)知篇②結(jié)構(gòu)AI本質(zhì)》

今天將進(jìn)入我們?nèi)壳牡诙俊夹g(shù)篇；

我的初衷是幫助每一個(gè)希望轉(zhuǎn)型、進(jìn)入AI行業(yè)的伙伴；所以分享的內(nèi)容會(huì)相對(duì)更細(xì)致；技術(shù)篇我盡量通過(guò)兩篇文章，根據(jù)自己淺顯的見解和經(jīng)驗(yàn)，幫助大家理解AI技術(shù)的理論知識(shí)。

更深入的比如智能體實(shí)操內(nèi)容，我會(huì)后面進(jìn)行分享。

隨著越來(lái)越多的AI智能體和大模型發(fā)布，非常多專業(yè)的術(shù)語(yǔ)進(jìn)入眼簾，我知道很多同學(xué)是排斥的；我舉個(gè)例子：

GPT-5大模型的參數(shù)量可能達(dá)到 52 萬(wàn)億，其上下文窗口可能擴(kuò)展至百萬(wàn) token，可實(shí)現(xiàn)超長(zhǎng)對(duì)話記憶與連貫性；GPT-5 還可能引入多模態(tài)學(xué)習(xí)能力，不僅可以理解和生成文本，還能處理圖像、音頻等多種形式的數(shù)據(jù)。

當(dāng)閱讀這段內(nèi)容時(shí)候，是否會(huì)有很多疑問？以及如果有的同學(xué)已經(jīng)在使用Dify或者Coze之類的低代碼平臺(tái)，發(fā)現(xiàn)大模型輸出內(nèi)容和預(yù)期偏差較大，原因是什么？

今天我分享的內(nèi)容，主要會(huì)圍繞LLM和Agent來(lái)展開。

一、 LLM（Large Language Model 大語(yǔ)言模型）

大模型本質(zhì)上是一個(gè)超級(jí)復(fù)雜的數(shù)學(xué)模型，它的 “大腦” 由數(shù)十億甚至上千億個(gè)參數(shù)組成。

這些模型通過(guò)分析互聯(lián)網(wǎng)級(jí)別的海量文本（比如書籍、網(wǎng)頁(yè)、聊天記錄等），學(xué)會(huì)人類語(yǔ)言的規(guī)律：詞語(yǔ)如何組合成句子，句子如何表達(dá)邏輯，不同語(yǔ)境下語(yǔ)義如何變化等。

我依稀記得在2年前，通過(guò)chatgpt輸出一篇小說(shuō)的時(shí)候，一字一句的展示在大屏幕上給我?guī)?lái)的震驚，我那時(shí)候在想，AI是在自己打字嗎？

其實(shí)不然，大語(yǔ)言模型的輸出過(guò)程本質(zhì)上就是一場(chǎng)超級(jí) “成語(yǔ)接龍”。就像我們玩成語(yǔ)接龍時(shí)，每個(gè)成語(yǔ)的首字要接前一個(gè)成語(yǔ)的尾字；

大語(yǔ)言模型在生成文本時(shí)，它每個(gè)新生成的詞語(yǔ)都需要基于前文的語(yǔ)境來(lái)選擇。?

舉個(gè)簡(jiǎn)單的例子：

當(dāng)模型看到 “下雨天要帶傘” 和 “下雨沒帶傘會(huì)淋濕” 這兩句話，它會(huì)通過(guò)統(tǒng)計(jì)分析發(fā)現(xiàn) “下雨” 和 “帶傘” 之間存在強(qiáng)關(guān)聯(lián)，從而理解雨天與傘具使用的邏輯關(guān)系。

比當(dāng)前文是 “今天天氣很好，我們決定去”，模型需要生成下一個(gè)詞。這時(shí)模型重點(diǎn)關(guān)注 “天氣很好” 和 “去”，從而聯(lián)想到 “公園”” 爬山 ” 等合適的詞語(yǔ)。

所以模型本身并不真正 “理解” 文字含義，它只是通過(guò)數(shù)學(xué)計(jì)算，將人類語(yǔ)言轉(zhuǎn)化為可處理的數(shù)字信號(hào)，再根據(jù)這些信號(hào)預(yù)測(cè)下一個(gè)可能出現(xiàn)的詞語(yǔ)。

接下來(lái)，我會(huì)以多個(gè)大模型關(guān)鍵指標(biāo)維度，和大家分析其原理和作用。

1. 參數(shù)量（Number of Parameters）

在上一篇文章中有提到，大模型的本質(zhì)是模仿人類的神經(jīng)元結(jié)構(gòu)；

所以我們可以把大語(yǔ)言模型的參數(shù)量想象成我們大腦里的“神經(jīng)元”數(shù)量。

人類大概是860億個(gè)神經(jīng)元，黑猩猩大概330億，貓是2.5億，老鼠1億；所以可以看出，神經(jīng)元數(shù)量越多，認(rèn)知、思維和行為能力就越強(qiáng)。

同理，大模型的參數(shù)越多，模型就越聰明，能記住更多東西、理解更復(fù)雜的語(yǔ)言。

可以把參數(shù)簡(jiǎn)單理解為模型的“可調(diào)節(jié)旋鈕”，它決定了AI如何理解和生成信息。但是并不是參數(shù)越多越好，同時(shí)也需要更龐大的算力資源。

如果參數(shù)非常大，但是訓(xùn)練數(shù)據(jù)或計(jì)算資源不足，超大參數(shù)模型可能“過(guò)擬合”（過(guò)度學(xué)習(xí)，導(dǎo)致模型泛化能力下降。）。

2.算力（Computing Power）

算力通常是說(shuō)的?計(jì)算能力，指計(jì)算機(jī)系統(tǒng)在單位時(shí)間內(nèi)處理數(shù)據(jù)或執(zhí)行計(jì)算任務(wù)的能力；

可能會(huì)聽說(shuō)某個(gè)公司采購(gòu)數(shù)千塊電腦GPU，從而滿足公司大模型的算力要求。

以GPT-3舉例：

GPT-3（1750億參數(shù)）的訓(xùn)練需要約?3.14×1023次浮點(diǎn)運(yùn)算（相當(dāng)于數(shù)千塊高端GPU連續(xù)工作數(shù)周）。

訓(xùn)練GPT-3級(jí)模型：?電費(fèi)+硬件成本超1200萬(wàn)美元。

簡(jiǎn)而言之，算力就像汽車的“引擎功率”—引擎越強(qiáng)（算力越高），車跑得越快（AI訓(xùn)練和推理速度越快）。

3.向量（Model Vectors）

在數(shù)學(xué)中，向量是具有方向和大小的量，比如二維坐標(biāo)系中的 (3,4) 就是一個(gè)向量。

而在大模型中，向量是將語(yǔ)言符號(hào)（詞語(yǔ)、句子）轉(zhuǎn)化為數(shù)字?jǐn)?shù)組的工具，我們稱之為 “詞向量” 或 “句向量”。

?

想象一下，每個(gè)詞語(yǔ)都被裝進(jìn)一個(gè) 對(duì)應(yīng)分類的”盒子” 里，這個(gè)盒子里的每個(gè)數(shù)字都代表詞語(yǔ)的一種特征；

以上圖為例，比如 “Antelope” 和 “wildebeest” 的向量中，角馬和羚羊都屬于動(dòng)物，他們的向量關(guān)系比較接近；

“Basketball”和“Soccer”的向量中，足球和籃球都屬于運(yùn)動(dòng)類項(xiàng)目，他們的向量關(guān)系就比較接近。

通過(guò)這種方式，模型就能用數(shù)學(xué)方法計(jì)算詞語(yǔ)之間的相似度。在大語(yǔ)言模型實(shí)際的轉(zhuǎn)換過(guò)程中其實(shí)會(huì)更復(fù)雜；

比如當(dāng)我們輸入 “我喜歡踢足球” 這句話，模型會(huì)先將每個(gè)詞轉(zhuǎn)換成向量：”我”(1,0,3,…)、”喜歡”(2,5,1,…)、”打”(7,2,4,…)、”籃球”(9,6,8,…)。

然后將這些向量輸入到復(fù)雜的神經(jīng)網(wǎng)絡(luò)中，通過(guò)層層計(jì)算，模型就能捕捉到詞語(yǔ)之間的關(guān)系：”喜歡” 和 “打” 組合表示動(dòng)作偏好，”籃球” 是 “打” 的對(duì)象。最終，這些向量經(jīng)過(guò)處理后，會(huì)生成下一個(gè)詞的預(yù)測(cè)向量。

當(dāng)然，實(shí)際的向量轉(zhuǎn)化是涉及非常復(fù)雜函數(shù)的，這里就不展開說(shuō)明，大家理解對(duì)應(yīng)原理就已足夠。

4.切片（Slicing）

大家煮過(guò)西藍(lán)花嗎？我還挺拿手的。

但是西藍(lán)花最大的問題在于它很大，無(wú)法一整顆放進(jìn)鍋；所以需要我需要將大顆西藍(lán)花切成一塊一塊；

其次，我不太喜歡吃西藍(lán)花的桿子，所以會(huì)吃飯的時(shí)候會(huì)特地挑不是桿子的部位吃。

在大語(yǔ)言模型中切片指在編程和數(shù)據(jù)處理中，也是需要做切這個(gè)動(dòng)作的；

切片是一種編程語(yǔ)言特性（尤其在 Python、Go 等語(yǔ)言中非常突出），其核心價(jià)值在于提供了對(duì)序列局部數(shù)據(jù)的高效、非復(fù)制性（視圖）訪問和操作能力，極大地提升了代碼的簡(jiǎn)潔性、表達(dá)力和處理大數(shù)據(jù)時(shí)的性能

我認(rèn)為目前切片的考慮主要以下原因：

• 處理能力有限：?電腦內(nèi)存（RAM）和處理器（CPU/GPU）一次性能處理的數(shù)據(jù)量是有限的。超大的數(shù)據(jù)（比如4K電影、海量文本）必須切成小塊分批處理。
• 關(guān)注局部：?AI模型常常不需要一下子看整張圖片或整篇文章。比如識(shí)別圖片中的人臉，模型可能只需要關(guān)注人臉區(qū)域（切片）的像素；分析一句話的情感，可能只需要看關(guān)鍵詞（切片）。
• 并行加速：?現(xiàn)代GPU有成百上千個(gè)核心。如果把大數(shù)據(jù)切成許多小片，就可以讓這些核心同時(shí)處理不同的切片，速度大大提升！

那為什么需要切？能不能不切？

我認(rèn)為也許在將來(lái)，隨著算力飆升（GPU/TPU集群）、硬件革新（大內(nèi)存服務(wù)器）、以及模型處理長(zhǎng)序列能力的突破，在某些特定場(chǎng)景下，“理論上”確實(shí)可以減少對(duì)顯式“切片”操作的依賴。這個(gè)就交給時(shí)間去驗(yàn)證吧！

5.注意力機(jī)制（Attention Mechanism）

1997 年，注意力機(jī)制首次在圖像識(shí)別領(lǐng)域已被應(yīng)用，但是真正是在 2017 年谷歌提出的 Transformer 架構(gòu)中迎來(lái)革命性突破，成為大語(yǔ)言模型處理序列數(shù)據(jù)的標(biāo)配技術(shù)。

大家還記不記得以前上學(xué)時(shí)候，做閱讀理解的時(shí)候，如果逐字逐句看完文章，效率非常低，我們會(huì)找文章重點(diǎn)，從而快速做題。

比如看到 “下雨天，小明忘記帶傘，結(jié)果全身都濕了”，

我們會(huì)自動(dòng)關(guān)注 “忘記帶傘” 和 “濕了” 之間的因果關(guān)系。注意力機(jī)制就是模仿人類這種選擇性關(guān)注的能力而誕生的。

從技術(shù)本質(zhì)看，注意力機(jī)制是一組復(fù)雜的數(shù)學(xué)運(yùn)算組合，核心在于計(jì)算輸入序列中元素間的 “注意力分?jǐn)?shù)”。具體來(lái)說(shuō)，當(dāng)模型處理位置 X的詞語(yǔ)時(shí)，通過(guò)以下三個(gè)維度去計(jì)算，所在位置Y該輸出的內(nèi)容。

1. Query（查詢向量—提問題）：
2. Key（鍵向量—找線索）
3. Value（值向量—拿答案）

大家有沒有發(fā)現(xiàn)，早期的 AI 回復(fù)很生硬，比如你說(shuō) “今天天氣不錯(cuò)”，它可能回 “是的，天氣很好！”然后就沒下文了。

但現(xiàn)在的 AI 能流暢地接話：”是啊，這么好的天氣適合去公園散步呢！”

這背后就是注意力機(jī)制在發(fā)揮作用。當(dāng) AI 生成 “去公園散步” 時(shí)，會(huì)回顧前面的 “天氣不錯(cuò)”，確保內(nèi)容連貫。就像我們講故事時(shí)，會(huì)順著 “今天生日”” 媽媽買了蛋糕 “”大家一起唱生日歌” 這樣的邏輯線，AI 也學(xué)會(huì)了這種 “上下文接力”，讓對(duì)話和文章更自然。

6.訓(xùn)練集（Training Data）

我們可以簡(jiǎn)單把訓(xùn)練集想象成模型成長(zhǎng)的“書本”或“見過(guò)的世界”。

訓(xùn)練集決定大模型的 “能力邊界”。

在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中，模型通過(guò)對(duì)訓(xùn)練集的學(xué)習(xí)，調(diào)整內(nèi)部的參數(shù)（類似大腦的 “神經(jīng)元連接強(qiáng)度”），從而獲得對(duì)未知數(shù)據(jù)的預(yù)測(cè)或生成能力。

如果把大模型比作一個(gè)正在學(xué)習(xí)的學(xué)生，那么訓(xùn)練集就是它用來(lái)學(xué)習(xí)的 “課本”。

“課本” 里塞滿了各種各樣的知識(shí)、例子和問題，大模型通過(guò)反復(fù) “閱讀” 和 “理解” 這些內(nèi)容，才能學(xué)會(huì)如何回答問題、生成文本、完成任務(wù)。

舉個(gè)例子：

• 當(dāng)我們想讓大模型學(xué)會(huì) “翻譯中文到英文”，訓(xùn)練集里就會(huì)有很多 “中文句子 + 對(duì)應(yīng)的英文翻譯” 的例子，比如 “你好→Hello”“今天天氣不錯(cuò)→The weather is nice today”。
• 當(dāng)我們想讓大模型學(xué)會(huì) “寫新聞稿”，訓(xùn)練集里就會(huì)有大量真實(shí)的新聞文章，包含標(biāo)題、正文結(jié)構(gòu)、事件描述等內(nèi)容。

如果訓(xùn)練集里的例子足夠多、足夠準(zhǔn)確，大模型就能 “記住” 正確的做法；

• 若訓(xùn)練集里有很多 “正確語(yǔ)法的句子”，大模型就不容易說(shuō)出 “我吃飯了昨天” 這種語(yǔ)序錯(cuò)誤的話；
• 若訓(xùn)練集里包含不同文化、不同場(chǎng)景的內(nèi)容，大模型就能避免偏見（比如不誤解某些地區(qū)的習(xí)俗）

說(shuō)句題外話；不知道有沒有聽說(shuō)過(guò)，身邊有的人曾經(jīng)從事過(guò)在網(wǎng)上接單打標(biāo)的工作；比如選擇圖片里哪個(gè)是蘋果、哪個(gè)是香蕉、哪個(gè)是汽車；

在機(jī)器學(xué)習(xí)發(fā)展早期，數(shù)據(jù)的確大部分由人工手動(dòng)標(biāo)注，以構(gòu)建和積累機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)集，盡管耗時(shí)且成本高昂，但手動(dòng)標(biāo)注數(shù)據(jù)確實(shí)在準(zhǔn)確率等方面具有優(yōu)勢(shì)。

不過(guò)現(xiàn)在的大模型已經(jīng)開始使用無(wú)監(jiān)督訓(xùn)練，不需要人工標(biāo)注的標(biāo)簽來(lái)進(jìn)行訓(xùn)練了。

7.微調(diào)（Fine-tuning）

上面說(shuō)到訓(xùn)練集后，我們會(huì)發(fā)現(xiàn)大模型其實(shí)是博覽群書的，但是大多數(shù)的大模型如果只是依靠預(yù)訓(xùn)練階段的數(shù)據(jù)集，那他只能成為一名什么家常菜都能做的“廚師”；但是你想吃特別地道的粵菜，他可能就無(wú)法做好；

能不能給模型 “開小灶”，用少量專業(yè)數(shù)據(jù)訓(xùn)練它？就像給廚師看幾個(gè)粵菜菜譜，他就能學(xué)中山乳鴿。于是，“微調(diào)” 技術(shù)誕生了 —— 在已經(jīng)訓(xùn)練好的大型模型（預(yù)訓(xùn)練模型）基礎(chǔ)上，用特定領(lǐng)域的數(shù)據(jù)再 “打磨” ，讓模型更貼合實(shí)際需求。

更加專業(yè)角度來(lái)說(shuō)，微調(diào)就是指在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用特定任務(wù)或領(lǐng)域的小規(guī)模數(shù)據(jù)，對(duì)模型的部分或全部參數(shù)進(jìn)行優(yōu)化，以提升模型在該任務(wù)上的性能。

我舉幾個(gè)實(shí)際的例子，讓大家更好的能理解：

• 醫(yī)院用醫(yī)療影像數(shù)據(jù)微調(diào) AI，讓它學(xué)會(huì)識(shí)別 X 光片里的肺部結(jié)節(jié)。
• 律師事務(wù)所用法律條文和案例微調(diào) AI，幫律師快速檢索相似案件。
• 保險(xiǎn)行業(yè)的某些行業(yè)用語(yǔ)微調(diào)AI，幫助保險(xiǎn)業(yè)快速對(duì)接潛在用戶。

8.提示工程（Prompt Engineering）

提示詞其實(shí)很好理解，提示詞的前提還是因?yàn)榇竽Ｐ涂梢岳斫馊祟惖淖匀徽Z(yǔ)言，那我們通過(guò)提示詞就可以告訴AI我們需要什么，提供什么給我等信息；

但是為什么叫工程，因?yàn)樵诶斫饽芰τ邢薜那疤嵯拢?/p>

如何通過(guò)設(shè)計(jì)、優(yōu)化輸入給人工智能模型的文本提示，引導(dǎo)模型生成更準(zhǔn)確、符合預(yù)期結(jié)果的技術(shù)與方法是非常值得大家學(xué)習(xí)的。網(wǎng)上有非常多的提示詞技巧，大家可以多去搜索，我這里就不贅述了，簡(jiǎn)單來(lái)說(shuō)好提示詞 = 清晰目標(biāo) + 結(jié)構(gòu)化框架 + 精準(zhǔn)約束 + 明確輸出標(biāo)準(zhǔn)。

好的提示詞是可以提升模型對(duì)任務(wù)的理解和執(zhí)行能力。設(shè)計(jì)高質(zhì)量輸入提示詞，引導(dǎo)大模型生成更符合預(yù)期的結(jié)果，這就是為什么大家用的同樣的大模型，有的人卻可以創(chuàng)意無(wú)限，有的人卻只能做到簡(jiǎn)單問答。

9.Token

Token是大模型中將文本分割處理的最小獨(dú)立單元，它可以是單詞、子詞、字符或標(biāo)點(diǎn)符號(hào)；

比如在一句話中“你好”，大模型將每個(gè) Token 轉(zhuǎn)換為對(duì)應(yīng)的數(shù)字編碼（如 “你” 對(duì)應(yīng) ID=1234；“好”對(duì)應(yīng)6789。），這樣計(jì)算機(jī)就能以數(shù)學(xué)方式處理語(yǔ)義。這就像人類學(xué)習(xí)外語(yǔ)時(shí)，需要將單詞轉(zhuǎn)化為母語(yǔ)理解，Token 就是語(yǔ)言與機(jī)器之間的 “翻譯官”。

那token是按照每個(gè)漢字或者每個(gè)字符計(jì)算的嗎？

我很喜歡拼樂高，所以我以樂高舉例，大家可能會(huì)更加深動(dòng)的理解：

在樂高里，可以看到包裝上有寫比如拼裝需要200個(gè)零件，或者500個(gè)零件；但是這些零件都是一樣的嗎？

實(shí)際上，每個(gè)樂高零件的大小、長(zhǎng)度都不一樣，但是在統(tǒng)計(jì)和使用中，他們都會(huì)計(jì)算為單獨(dú)的零件。

同理在大模型處理內(nèi)容時(shí)候，為了更好的理解語(yǔ)義，會(huì)按照背后復(fù)雜的邏輯推理，將內(nèi)容拆分成不同的token；

比如說(shuō)：“我想吃蘋果”

大模型會(huì)拆分為“我”“想”“吃”“蘋果”；共4個(gè)token；

“我想買蘋果手機(jī)”

如果按照上述分類，它會(huì)分為“我”“想”“買”“蘋果”“手機(jī)”5個(gè)token？實(shí)際上大模型會(huì)根據(jù)算法，它通過(guò)統(tǒng)計(jì)字符對(duì)出現(xiàn)頻率合并單元，并結(jié)合語(yǔ)義，類似將 “蘋果手機(jī)” 拆成 “蘋果”+”手機(jī)”，既理解局部含義又把握整體；然后通過(guò)上下文知道你想買的是手機(jī)品牌；

所以這時(shí)候大模型會(huì)拆分為“我”“想”“買”“蘋果手機(jī)”；共4個(gè)token。

再結(jié)合上面所說(shuō)的注意力機(jī)制，是不是更加好理解了；

Token 是人類語(yǔ)言與計(jì)算機(jī)數(shù)學(xué)世界的轉(zhuǎn)換器。它將無(wú)形的語(yǔ)義轉(zhuǎn)化為有形的數(shù)字序列，讓模型能通過(guò)矩陣運(yùn)算（如 Transformer 中的注意力機(jī)制）處理語(yǔ)言。

二、Agent

從英文直譯來(lái)看，Agent就是代理，代理什么？我們希望AI可以代理人類；

所以我認(rèn)為Agent 的核心本質(zhì)是希望讓AI系統(tǒng)具備類似人類的 “自主性” 和 “環(huán)境交互能力”，幫助人類完成某些特定的工作和任務(wù)。

在當(dāng)今社會(huì)，AI Agent是一種基于人工智能的自動(dòng)化工具，能夠自主決策、執(zhí)行任務(wù)并與用戶或環(huán)境進(jìn)行交互。

我們回到Agent和LLM的關(guān)系來(lái)說(shuō)；

AI Agent = LLM（大模型）+ Planning（規(guī)劃） + Memory（記憶） + Tools（工具）

如果說(shuō)LLM是大腦，

那Agent就是利用大腦和四肢，結(jié)合任務(wù)規(guī)劃和工具調(diào)用，幫助用戶完成復(fù)雜或重復(fù)性工作。

舉個(gè)例子，比如用戶詢問 “如何用 Python 分析股市數(shù)據(jù)”，

Agent 會(huì)先調(diào)用某個(gè)股市軟件的 API 獲取實(shí)時(shí)數(shù)據(jù)，再生成 Python 代碼執(zhí)行分析，結(jié)合網(wǎng)絡(luò)最新的企業(yè)財(cái)報(bào)，最后用自然語(yǔ)言解讀結(jié)果。

1.Agent的工作原理

把Agent的技術(shù)能力解剖，可以分為四層；

1. 輸入：用戶向Agent提出問題或任務(wù)需求。
2. 任務(wù)拆解：Agent根據(jù)LLM將復(fù)雜任務(wù)拆解成多個(gè)可執(zhí)行的小任務(wù)。
3. 工具調(diào)用：根據(jù)任務(wù)需要，Agent可以使用外部工具，比如搜索引擎、計(jì)算器、API等。
4. 執(zhí)行與反饋：完成任務(wù)后，Agent會(huì)將結(jié)果反饋給用戶。

場(chǎng)景：比如我們要寫一篇萬(wàn)字論文。如果直接用chatGPT寫作，我們大概率會(huì)不滿意，愿意很簡(jiǎn)單：1. 字?jǐn)?shù)不夠。 2. 胡編亂造，缺少真實(shí)引用文獻(xiàn)。

但是如果我們使用比如扣子空間這樣的Agent會(huì)怎么做：

第一步：形成大綱，并且考慮清楚每一章節(jié)要編寫的內(nèi)容

第二步：使用搜索引擎搜索一些相關(guān)書信息進(jìn)行閱讀

第三步：使用搜索引擎搜索相關(guān)論文，夯實(shí)理論基礎(chǔ)

第四步：針對(duì)每一個(gè)章節(jié)進(jìn)行內(nèi)容的編寫

第五步：論文經(jīng)過(guò)AI審閱，優(yōu)化其中的段落和內(nèi)容

最后：最終輸出論文，可以是飛書，word，數(shù)據(jù)庫(kù)、html等等

也就是說(shuō)：AI Agent由如下幾部分組成，我還是回到上述講LLM的時(shí)候用的廚師的例子來(lái)說(shuō)明每個(gè)模塊的作用；

1. LLM（大模型）：就像廚師的菜譜知識(shí)庫(kù)，它閱讀了海量的菜譜和資料，不僅知道各種菜的名字，還懂得如何烹飪它們。LLM提供了龐大的信息存儲(chǔ)和處理能力，以理解和響應(yīng)我們提出的各種問題。
2. Planning（規(guī)劃）：廚師需要規(guī)劃每道菜的做菜順序。比如先備菜、洗菜、熱油、下菜、根據(jù)用戶的喜好，放各種調(diào)料，最后出鍋。
3. Memory（記憶）：這類似于廚師的筆記本，記錄了過(guò)去用戶的偏好，以及每道菜的注意事項(xiàng)。記憶模塊讓Agent能記住以往的經(jīng)驗(yàn)和已經(jīng)完成的任務(wù)，確保不會(huì)重復(fù)錯(cuò)誤。
4. Tools（工具）：就是廚師的用具，比如鍋?zhàn)?、鏟子和剪刀等等。Agent的工具模塊，指的是它可以運(yùn)用的各種軟件和程序，幫助它執(zhí)行復(fù)雜的任務(wù)。

2.溫度（Temperature）：

“溫度” 這個(gè)概念其實(shí)并非大模型的專屬，它最早源于物理學(xué)中的熱力學(xué)和統(tǒng)計(jì)學(xué)。

在統(tǒng)計(jì)力學(xué)里，溫度描述的是微觀粒子的熱運(yùn)動(dòng)劇烈程度；

• 溫度越高，粒子運(yùn)動(dòng)越劇烈，分布越分散；
• 溫度越低，粒子運(yùn)動(dòng)越平緩，分布越集中。

大模型中溫度是用于調(diào)整模型生成內(nèi)容時(shí)概率分布的離散程度，本質(zhì)是對(duì)模型輸出隨機(jī)性的量化調(diào)控。

我們可以把溫度比為“模型的性格”或“思考時(shí)的隨機(jī)性”。

• 當(dāng)溫度高時(shí)，模型像個(gè)“天馬行空”的人，生成的內(nèi)容更有創(chuàng)意，但也可能更不靠譜；
• 當(dāng)溫度低時(shí)，模型像個(gè)“謹(jǐn)慎的人”，只會(huì)給出最安全、最保守的回答。

所以當(dāng)我們自己配置一個(gè)Agent時(shí)候，

如果需要生成嚴(yán)謹(jǐn)?shù)募夹g(shù)文檔時(shí)，低溫度（如 0.2-0.5）能讓模型緊扣專業(yè)術(shù)語(yǔ)，避免發(fā)散。

而在創(chuàng)作詩(shī)歌或創(chuàng)意文案時(shí)，較高溫度（如 0.8-1.2）能讓詞匯組合突破常規(guī)，產(chǎn)生意想不到的比喻。

3.Top-K和Top-P;

在上面說(shuō)注意力機(jī)制的時(shí)候，說(shuō)到大語(yǔ)言模型通過(guò)概率分布預(yù)測(cè)下一個(gè)token；

但是那么多可能性，如何高效計(jì)算？

大概可以分為三類：

1. 【貪心解碼（總選最高分）】→ 大模型輸出“今天天氣很好很好很好…”——貪心搜索算法簡(jiǎn)單，主要考慮局部最優(yōu)，并不一定會(huì)是全局最優(yōu)解；比如在生成 “我喜歡吃蘋” 時(shí)，貪心算法會(huì)直接補(bǔ)全 “果”，卻忽略了 “蘋” 可能對(duì)應(yīng) “蘋果派”” 蘋果汁 ” 等更豐富的表達(dá)；
2. 【隨機(jī)采樣（閉眼亂抓）】→ 大模型輸出“企鵝駕駛航天飛機(jī)”——隨機(jī)采樣生成的內(nèi)容邏輯性和效果均較低。
3. 【Top-k/p誕生】 → 平衡質(zhì)量與多樣性

Top-k采樣保留概率最高的k個(gè)token構(gòu)成候選集，再按概率權(quán)重隨機(jī)選擇。

我打個(gè)直接的比方，Top-k 就像在餐廳點(diǎn)餐：k=1 時(shí)只能選菜單上最熱門的菜，k=10 則是從推薦榜前 10 道菜中隨機(jī)挑選。

這種機(jī)制既避免了完全隨機(jī)的混亂，又打破了單一選擇的局限。

Top-k 雖解決了貪心解碼的局限性，但固定 k 值難以應(yīng)對(duì)不同語(yǔ)境下的概率分布變化；

Top-P是選擇累積概率達(dá)到一定閾值 P 的最小數(shù)量的詞進(jìn)行采樣。例如，如果設(shè)定 Top-P = 0.9，那么會(huì)選擇那些累積概率達(dá)到 90% 的詞來(lái)進(jìn)行采樣。P 值越高，模型生成的內(nèi)容越具有多樣性;

說(shuō)到這里，我相信很多人看的有點(diǎn)云里霧里；

所以我索性給大家做一個(gè)總結(jié)，方便未來(lái)大家在實(shí)際配置Agent時(shí)候可以運(yùn)用到。

【溫度】：

摘要：控制模型生成文本時(shí)的 隨機(jī)性和多樣性

T＜1：模型更傾向于選擇 最高概率的詞，生成結(jié)果穩(wěn)定、可預(yù)測(cè)。適用于：事實(shí)性問答、代碼生成等需要精確性的任務(wù)。

T>1：模型會(huì)更均勻地探索 低概率詞，增加輸出的多樣性。適用于：創(chuàng)意寫作、故事生成等需要發(fā)散思維的任務(wù)。

【Top-K】：

調(diào)整K大小，可以控制生成內(nèi)容的多樣性和質(zhì)量

K越大，內(nèi)容生成的多樣性越高；質(zhì)量越低。

K越小，內(nèi)容質(zhì)量越高，多樣性越差。

【Top-P】：

0代表完全按照概率分布去選擇；

1代表完全按照頻率分布去選擇；

P越大，生成的內(nèi)容會(huì)過(guò)于隨機(jī)和無(wú)意義；

P越小，生成的內(nèi)容過(guò)去單調(diào)和重復(fù)；

在工程實(shí)踐的實(shí)際運(yùn)用過(guò)程中，肯定是少不了反復(fù)、多次的調(diào)試的，找到概率平衡點(diǎn)是一個(gè)需要非常耐心的事情。

結(jié)語(yǔ)和預(yù)告：

本章，我們從 LLM 的 “關(guān)鍵要素” 說(shuō)到 Agent 的 “主要指標(biāo)”；

作為AI 產(chǎn)品經(jīng)理不再是需求的被動(dòng)承接者，而是人機(jī)協(xié)同生態(tài)的架構(gòu)師 —— 需要用技術(shù)敏感度預(yù)判模型邊界。

下一章，我將從大模型的知識(shí)庫(kù)、數(shù)據(jù)庫(kù)角度繼續(xù)分享，也謝謝大家的關(guān)注。