如何利用Agent構(gòu)建自動化數(shù)據(jù)采集模型
在電商場景中,面對高頻但受限的數(shù)據(jù)需求,引入AI Agent完成自動化數(shù)據(jù)獲取已逐漸成為高效運營的重要手段。本文旨在分享一個基于AI Agent實現(xiàn)實時、批量、低成本數(shù)據(jù)抓取的完整實踐路徑,并探討其可行性與優(yōu)化策略。
在日常業(yè)務(wù)運營過程中,我們時常需要從多個封閉系統(tǒng)中獲取報表數(shù)據(jù)用于分析,但由于賬號權(quán)限限制或平臺收費機制(例如某主流小程序數(shù)據(jù)分析平臺對導出功能設(shè)置年費近5萬元),企業(yè)尤其是中小型企業(yè)難以承擔持續(xù)成本。
但是公司需要獲取這個數(shù)據(jù)來做分析,因此需要一個解決方案。
思考
基于當前的場景做了部分方案的調(diào)研:
- 人工:目前沒有人力資源來做這個數(shù)據(jù)的統(tǒng)計——Pass
- 爬蟲:調(diào)取接口時發(fā)現(xiàn)這個數(shù)據(jù)返回加密了——Pass
- RPA:沒有運維能力來持續(xù)更新——Pass
- Agent:一勞永逸,每次丟給他,任勞任怨——Deal,開干
接下來,開始搭建Agent。
Agent構(gòu)建核心要素
首先,模擬在沒有Agent幫助的時候,人類是怎么完成這個任務(wù)的。如下,在此流程中,全流程10步,可以分為三大節(jié)點,頁面登錄、數(shù)據(jù)加載、數(shù)據(jù)下載。
在引入AI能力后,整個工作流是:
現(xiàn)在,AI參與的任務(wù)流有了,開始搭建Agent。
遵循當前主流的大模型 Agent 構(gòu)建范式,LLM(以下簡稱推理)、Action(以下簡稱工具)、記憶。下面將分別從這三個要素來講解怎么搭建這個Agent。
注:本次搭建agent過程中,涉及到部分工作,需要懂代碼或者技術(shù)人員的支持才能完成(一次性)。
Action(工具)
工具:提供了與現(xiàn)實世界交互的能力,例如獲取用戶的本地數(shù)據(jù)、調(diào)用用戶的API、操作用戶的電腦等。
按照已有工作流,為了完成任務(wù),至少需要幾種能力:
- 操作網(wǎng)頁的能力;
- 對本地文件夾的增刪改查能力,注意,刪除能力謹慎選擇。
當前Agent用的工具是Playwright(網(wǎng)頁操控)和Cherry/filesystem(文件編輯)、Shell(控制臺)。
MCP廣場,有豐富的MCP,大家可以自行選擇
https://www.modelscope.cn/mcp?page=1
MCP配置,需要一點技術(shù)能力,可以尋求技術(shù)大佬的幫助或者按照MCP自帶的指引一步步自行配置,非本文重點,不贅述。
記憶
記憶:保存任務(wù)上下文,減少多次重復請求
當前任務(wù)流為單次任務(wù),非連續(xù)任務(wù),因此長期記憶可以關(guān)閉,保留單次任務(wù)內(nèi)的短期記憶即可。
推理
推理:提供任務(wù)理解、問題拆解與上下文判斷
模型
最終選擇了qwen3-coder-plus(免費且輸出相對穩(wěn)定。推薦的超參:溫度:0.7,Top-P:0.8)
平臺
選擇了Cherry Studio,一個支持多服務(wù)商集成的 AI 對話客戶端(本地)。
對比Coze等平臺來說,從引入模型、搭建MCP、制作智能體流程,需要全部自己動手處理,可以幫助用戶更好地了解各模塊的邏輯和作用。
使用指南
1.下載并安裝到本地:https://www.cherry-ai.com/
2.右上角設(shè)置,模型服務(wù),綁定聚合供應商,添加大模型
注:Cherry Studio對接了多個大模型聚合供應商,例如硅基流動、openrouter等平臺。類似一個大模型的聚合平臺。添加不同供應商的地址和密鑰,綁定賬戶,添加供應商支持的大模型,并使用綁定的賬戶進行大模型調(diào)用的結(jié)算。
3.去聚合平臺找到大模型的模型唯一ID,添加。
提示詞
下面將按照寫提示詞的流程,并針對里面踩的坑以及解決方案來寫。
Step 1:一個專注于數(shù)據(jù)的Agent
最開始對Agent的定義,是完成Step1-Step10的全流程。實現(xiàn)從打開網(wǎng)頁到下載全部數(shù)據(jù)的全部任務(wù),基于ReAct范式,讓他規(guī)劃計劃,然后完成任務(wù)。
參考提示詞:
#角色#
你是一個自動化機器人助手,你的每一步都是基于大模型的思考,然后使用playwright的MCP服務(wù)去執(zhí)行。
#任務(wù)#
每次任務(wù),我會告訴你對應的網(wǎng)址,賬號、密碼,有可能會告訴你具體對應的頁面,你要做的是根據(jù)我提出的問題,來幫我做自動化的操作,包括但不限于,獲取數(shù)據(jù)、分析總結(jié)、執(zhí)行操作等。
#舉例#
示例1:
問題:幫我在********,這個地址,****模塊里面,找到頁面訪問 數(shù)據(jù)明細表格,查詢8.17號,“我的”頁面的訪問人數(shù)
思考:這個網(wǎng)址是一個基于**平臺的數(shù)據(jù)分析平臺,你現(xiàn)在需要這個數(shù)據(jù),我將使用playwright打開這個網(wǎng)頁,但是需要你掃碼登錄,請掃碼。
用戶交互:線下掃碼
問題:登錄成功。請繼續(xù)執(zhí)行
思考:當前已經(jīng)登錄成功,現(xiàn)在使用playwright打開**模塊里面,找到頁面訪問 數(shù)據(jù)明細表格,使用篩選條件時間為:8.17-8.17,查詢8.17號,“我的”頁面的訪問人數(shù)為10000.
回復:8.17號,“我的”頁面的訪問人數(shù)為10000.
示例2:
問題:繼續(xù),基于任務(wù)一當前數(shù)據(jù)表格,標篩選為全選的所有數(shù)據(jù),并導出表格形式給我。
思考:
1.當前已經(jīng)登錄成功,并找到對應數(shù)據(jù);
2.使用篩選條件2025/08/17-2025/08/17;
3.要求指標全部勾選,當前僅勾選了3個指標,因此需要將全部12個指標全部勾選。
4.勾選指標,完成后執(zhí)行篩選,列表出來的即為用戶要求的所有數(shù)據(jù),現(xiàn)在開始下載數(shù)據(jù);
5.點擊下載數(shù)據(jù),發(fā)現(xiàn)提示需要付費,客戶應該是不希望付費,因此我們選擇通過頁面數(shù)據(jù)來獲取數(shù)據(jù)并組裝成表格形式。
6.我們看到當前頁面展示了10行數(shù)據(jù),每行12列數(shù)據(jù),但是我不確定這是否是全部數(shù)據(jù);
7.底部有翻頁動作,證明當前頁面展示的非全部數(shù)據(jù),需要通過下一頁找到所有數(shù)據(jù),直到最后一頁;
8.另外通過左右滑動屏幕,發(fā)現(xiàn)當前展示的非全部列數(shù),因此,在每一頁,需要通過滑動到最右邊,來獲取一行的所有數(shù)據(jù)。
輸出:按照步驟依次執(zhí)行,最終輸出表格為:
*********
#要求#
1.如果遇到阻礙,請將阻礙拋出來,并讓用戶協(xié)助解決;
2.問題解決后,繼續(xù)執(zhí)行下一步操作。
3.所有的操作基于模型的思考。
4.所有的答案基于獲得的內(nèi)容,不能胡編亂造。
接下來是幾輪的用戶和AI的交互:
在第一輪的任務(wù)中,Prompt有個問題
AI路徑過長,且沒有很好的拆解用戶的任務(wù),執(zhí)行不可控、幻覺頻發(fā)。
-由于token的限制,多任務(wù)可能完不成(例如上面的例子,任務(wù)做到一半欠費了)
-任務(wù)越多,幻覺會越嚴重,到后面,模型回答已經(jīng)開始胡說八道(修改生成的數(shù)據(jù))
解決方案:將上述流程抽象為三個子Agent模型,各司其職:
- 登錄處理Agent:處理認證流程;
- 數(shù)據(jù)篩選Agent:執(zhí)行篩選操作;
- 下載處理Agent:執(zhí)行分頁采集與本地存儲
但是,基于第一次嘗試,Agent處理過于復雜(打開網(wǎng)頁、輸入篩選條件、勾選指標,完成這兩項任務(wù),大概用了12美刀的token,直接給賬戶干欠費了)
且實際過程中,這兩個任務(wù)并不消耗過多的精力。
因此這次搭建的新的Agent將聚焦在重復工作,即數(shù)據(jù)下載模塊。通過人工把所有的前提條件都準備好了,包括登錄、篩選條件、指標勾選等。
下面將僅對下載處理Agent做配置。
Step 2:通用Agent
上述Agent還有個問題:Prompt任務(wù)限定死板,只能執(zhí)行固定任務(wù)。
當前更希望Agent有更泛化的能力,根據(jù)每次單獨任務(wù),完成更多的事情。
基于這個目標,參考Agent提示詞(此時將Agent抽象成了一個通用的Agent,而不是單一完成數(shù)據(jù)存儲的Agent):
你的目標是遵循用戶指令完成用戶任務(wù),通過使用提供的playwright/Shell/FileSystem/Python3/Node等工具并將任務(wù)分解為更小的步驟來實現(xiàn)最終目標。
Environment
-OS: Mac Os
-Browser: Chrome
-node: v23.11.1
-python3: 3.12.8
-Work Folder: /User/Data/xxx
Skills
-你可以使用playwright來操縱瀏覽器
-你可以使用Shell工具來操作終端exec_command
-你可以執(zhí)行Python代碼
-你可以生成Node代碼,并通過exec_command來執(zhí)行
-你可以使用file工具來讀寫文件
## important
-安全的工作區(qū)是Work Folder:*******
-請你每一步都必須選擇一個工具使用,直到結(jié)束時才可以不使用工具!
-每次必須選擇一個工具使用tool_calls-每次都必須選擇一個工具使用tool_calls-每次必須選擇一個工具使用tool_calls
-如果tool_calls的arguments為空,那么請傳入”arguments”: “{}”
請你選擇一個工具執(zhí)行:
好的,一個可以調(diào)用工具的通用的Agent搭建好了。
現(xiàn)在使用Agent的思路也調(diào)整一下,基于第一次嘗試中遇到的各種問題(任務(wù)中斷、中途更換模型等),現(xiàn)在先讓Agent自己規(guī)劃出一個SOP流程,以便于可以讓其他大模型或者Agent也能使用。
好的,到此為止,通用的Agent能力符合預期,現(xiàn)在測試一下輸出的4份文件,開啟新的對話,重新開始執(zhí)行任務(wù),看看結(jié)果是否符合預期。
Step 3:Agent測試
前置處理:打開對應網(wǎng)頁,并找到目標頁面,將篩選條件輸入和設(shè)置完成。
Step 4:反復測試
在Step3 任務(wù)完成后,在已經(jīng)完成的任務(wù)(同一個對話框)后面追加任務(wù),完成另一天的數(shù)據(jù)加載。
在后續(xù)的任務(wù)中,模型反復報錯,包括但不限于:
- 其中包括參數(shù)返回為空;
- 未喚起工具下載成文件;
- 執(zhí)行到一半結(jié)束,再次執(zhí)行僅做文字回復,未執(zhí)行下載動作;
- 陷入死循環(huán)一直點下一頁、替換或者復制歷史下載成功的數(shù)據(jù)等。
在這里,教大家?guī)讉€查看報錯的辦法。
1)查看調(diào)用鏈的輸出,即可看到是哪里報錯;
2)查看模型的思考過程,比如這個地方,一直重復,且沒有下一個任務(wù)節(jié)點的調(diào)用,大概率是失敗了。
在每一次報錯后,只能反復的調(diào)提示詞,以下是修改的過程中,較為經(jīng)典的場景。
3)將之前的任務(wù)拆解為更清晰的todolist
4)刪減任務(wù)
5)單任務(wù)獨立
6)強調(diào)
Step 5:形成SOP
最后,在反復的提示詞修改與測試下,搭建了完善的SOP流程和穩(wěn)定的提示詞。
Offline指用戶脫離Agent的操作。
基于這個流程,幾乎完成率能達到95%。
總結(jié)
所有的Agent都是模擬人的操作,因此,在搭建Agent之前,用戶需要自己理清這個任務(wù)的流程節(jié)點,然后思考,Agent能夠替代哪一部分,如何替代,這樣才能完成一個Agent的搭建。
同時,Agentic Workflows,由于其靈活性、適應性和自我糾正等特性,會更加適應不斷變化的情況和意外困難,高精度的完成重復性的任務(wù)。但是同樣,搭建Agent本身的復雜性,會使本身簡單的工作復雜化(比如上述登錄、篩選指標),且其高度的自主性,會引入一些不可預測的結(jié)果。
因此,需要Agent解決什么問題,是否需要搭建Agent來完成任務(wù),是需要用戶自己思考清楚的。
附:一些To B的商業(yè)場景(電商)
隨著智能體技術(shù)的不斷完善,AI Agent 在電商等To B場景中也具備廣泛的應用潛力:
- 圖像生成標準化處理:輔助商家完成商品圖自動修片、打水印、規(guī)格統(tǒng)一等工作;
- 數(shù)據(jù)報告自動化生成:按日/周自動拉取銷售、流量、轉(zhuǎn)化等核心指標并生成圖表報告;
- 營銷方案編寫:結(jié)合商品特征和歷史數(shù)據(jù)以及平臺銷售數(shù)據(jù),生成定制化營銷方案(滿減、滿贈、優(yōu)惠券等);
- 商家定價策略輔助:參考競品價格變動與季節(jié)波動,輔助制定合理上新價格;
- 采購計劃智能輔助:基于歷史庫存消耗預測趨勢,向B端買手推薦最優(yōu)補貨周期與品類搭配建議。
…
本文由 @諸葛鐵鐵 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
- 目前還沒評論,等你發(fā)揮!