如何利用Agent構(gòu)建自動化數(shù)據(jù)采集模型

0 評論 1123 瀏覽 9 收藏 19 分鐘

在電商場景中,面對高頻但受限的數(shù)據(jù)需求,引入AI Agent完成自動化數(shù)據(jù)獲取已逐漸成為高效運營的重要手段。本文旨在分享一個基于AI Agent實現(xiàn)實時、批量、低成本數(shù)據(jù)抓取的完整實踐路徑,并探討其可行性與優(yōu)化策略。

在日常業(yè)務(wù)運營過程中,我們時常需要從多個封閉系統(tǒng)中獲取報表數(shù)據(jù)用于分析,但由于賬號權(quán)限限制或平臺收費機制(例如某主流小程序數(shù)據(jù)分析平臺對導出功能設(shè)置年費近5萬元),企業(yè)尤其是中小型企業(yè)難以承擔持續(xù)成本。

但是公司需要獲取這個數(shù)據(jù)來做分析,因此需要一個解決方案。

思考

基于當前的場景做了部分方案的調(diào)研:

  • 人工:目前沒有人力資源來做這個數(shù)據(jù)的統(tǒng)計——Pass
  • 爬蟲:調(diào)取接口時發(fā)現(xiàn)這個數(shù)據(jù)返回加密了——Pass
  • RPA:沒有運維能力來持續(xù)更新——Pass
  • Agent:一勞永逸,每次丟給他,任勞任怨——Deal,開干

接下來,開始搭建Agent。

Agent構(gòu)建核心要素

首先,模擬在沒有Agent幫助的時候,人類是怎么完成這個任務(wù)的。如下,在此流程中,全流程10步,可以分為三大節(jié)點,頁面登錄、數(shù)據(jù)加載、數(shù)據(jù)下載。

在引入AI能力后,整個工作流是:

現(xiàn)在,AI參與的任務(wù)流有了,開始搭建Agent。

遵循當前主流的大模型 Agent 構(gòu)建范式,LLM(以下簡稱推理)、Action(以下簡稱工具)、記憶。下面將分別從這三個要素來講解怎么搭建這個Agent。

注:本次搭建agent過程中,涉及到部分工作,需要懂代碼或者技術(shù)人員的支持才能完成(一次性)。

Action(工具)

工具:提供了與現(xiàn)實世界交互的能力,例如獲取用戶的本地數(shù)據(jù)、調(diào)用用戶的API、操作用戶的電腦等。

按照已有工作流,為了完成任務(wù),至少需要幾種能力:

  • 操作網(wǎng)頁的能力;
  • 對本地文件夾的增刪改查能力,注意,刪除能力謹慎選擇。

當前Agent用的工具是Playwright(網(wǎng)頁操控)和Cherry/filesystem(文件編輯)、Shell(控制臺)。

MCP廣場,有豐富的MCP,大家可以自行選擇

https://www.modelscope.cn/mcp?page=1

MCP配置,需要一點技術(shù)能力,可以尋求技術(shù)大佬的幫助或者按照MCP自帶的指引一步步自行配置,非本文重點,不贅述。

記憶

記憶:保存任務(wù)上下文,減少多次重復請求

當前任務(wù)流為單次任務(wù),非連續(xù)任務(wù),因此長期記憶可以關(guān)閉,保留單次任務(wù)內(nèi)的短期記憶即可。

推理

推理:提供任務(wù)理解、問題拆解與上下文判斷

模型

最終選擇了qwen3-coder-plus(免費且輸出相對穩(wěn)定。推薦的超參:溫度:0.7,Top-P:0.8)

平臺

選擇了Cherry Studio,一個支持多服務(wù)商集成的 AI 對話客戶端(本地)。

對比Coze等平臺來說,從引入模型、搭建MCP、制作智能體流程,需要全部自己動手處理,可以幫助用戶更好地了解各模塊的邏輯和作用。

使用指南

1.下載并安裝到本地:https://www.cherry-ai.com/

2.右上角設(shè)置,模型服務(wù),綁定聚合供應商,添加大模型

注:Cherry Studio對接了多個大模型聚合供應商,例如硅基流動、openrouter等平臺。類似一個大模型的聚合平臺。添加不同供應商的地址和密鑰,綁定賬戶,添加供應商支持的大模型,并使用綁定的賬戶進行大模型調(diào)用的結(jié)算。

3.去聚合平臺找到大模型的模型唯一ID,添加。

提示詞

下面將按照寫提示詞的流程,并針對里面踩的坑以及解決方案來寫。

Step 1:一個專注于數(shù)據(jù)的Agent

最開始對Agent的定義,是完成Step1-Step10的全流程。實現(xiàn)從打開網(wǎng)頁到下載全部數(shù)據(jù)的全部任務(wù),基于ReAct范式,讓他規(guī)劃計劃,然后完成任務(wù)。

參考提示詞:

#角色#

你是一個自動化機器人助手,你的每一步都是基于大模型的思考,然后使用playwright的MCP服務(wù)去執(zhí)行。

#任務(wù)#

每次任務(wù),我會告訴你對應的網(wǎng)址,賬號、密碼,有可能會告訴你具體對應的頁面,你要做的是根據(jù)我提出的問題,來幫我做自動化的操作,包括但不限于,獲取數(shù)據(jù)、分析總結(jié)、執(zhí)行操作等。

#舉例#

示例1:

問題:幫我在********,這個地址,****模塊里面,找到頁面訪問 數(shù)據(jù)明細表格,查詢8.17號,“我的”頁面的訪問人數(shù)

思考:這個網(wǎng)址是一個基于**平臺的數(shù)據(jù)分析平臺,你現(xiàn)在需要這個數(shù)據(jù),我將使用playwright打開這個網(wǎng)頁,但是需要你掃碼登錄,請掃碼。

用戶交互:線下掃碼

問題:登錄成功。請繼續(xù)執(zhí)行

思考:當前已經(jīng)登錄成功,現(xiàn)在使用playwright打開**模塊里面,找到頁面訪問 數(shù)據(jù)明細表格,使用篩選條件時間為:8.17-8.17,查詢8.17號,“我的”頁面的訪問人數(shù)為10000.

回復:8.17號,“我的”頁面的訪問人數(shù)為10000.

示例2:

問題:繼續(xù),基于任務(wù)一當前數(shù)據(jù)表格,標篩選為全選的所有數(shù)據(jù),并導出表格形式給我。

思考:

1.當前已經(jīng)登錄成功,并找到對應數(shù)據(jù);

2.使用篩選條件2025/08/17-2025/08/17;

3.要求指標全部勾選,當前僅勾選了3個指標,因此需要將全部12個指標全部勾選。

4.勾選指標,完成后執(zhí)行篩選,列表出來的即為用戶要求的所有數(shù)據(jù),現(xiàn)在開始下載數(shù)據(jù);

5.點擊下載數(shù)據(jù),發(fā)現(xiàn)提示需要付費,客戶應該是不希望付費,因此我們選擇通過頁面數(shù)據(jù)來獲取數(shù)據(jù)并組裝成表格形式。

6.我們看到當前頁面展示了10行數(shù)據(jù),每行12列數(shù)據(jù),但是我不確定這是否是全部數(shù)據(jù);

7.底部有翻頁動作,證明當前頁面展示的非全部數(shù)據(jù),需要通過下一頁找到所有數(shù)據(jù),直到最后一頁;

8.另外通過左右滑動屏幕,發(fā)現(xiàn)當前展示的非全部列數(shù),因此,在每一頁,需要通過滑動到最右邊,來獲取一行的所有數(shù)據(jù)。

輸出:按照步驟依次執(zhí)行,最終輸出表格為:

*********

#要求#

1.如果遇到阻礙,請將阻礙拋出來,并讓用戶協(xié)助解決;

2.問題解決后,繼續(xù)執(zhí)行下一步操作。

3.所有的操作基于模型的思考。

4.所有的答案基于獲得的內(nèi)容,不能胡編亂造。

接下來是幾輪的用戶和AI的交互:

在第一輪的任務(wù)中,Prompt有個問題

AI路徑過長,且沒有很好的拆解用戶的任務(wù),執(zhí)行不可控、幻覺頻發(fā)。

-由于token的限制,多任務(wù)可能完不成(例如上面的例子,任務(wù)做到一半欠費了)

-任務(wù)越多,幻覺會越嚴重,到后面,模型回答已經(jīng)開始胡說八道(修改生成的數(shù)據(jù))

解決方案:將上述流程抽象為三個子Agent模型,各司其職:

  1. 登錄處理Agent:處理認證流程;
  2. 數(shù)據(jù)篩選Agent:執(zhí)行篩選操作;
  3. 下載處理Agent:執(zhí)行分頁采集與本地存儲

但是,基于第一次嘗試,Agent處理過于復雜(打開網(wǎng)頁、輸入篩選條件、勾選指標,完成這兩項任務(wù),大概用了12美刀的token,直接給賬戶干欠費了)

且實際過程中,這兩個任務(wù)并不消耗過多的精力。

因此這次搭建的新的Agent將聚焦在重復工作,即數(shù)據(jù)下載模塊。通過人工把所有的前提條件都準備好了,包括登錄、篩選條件、指標勾選等。

下面將僅對下載處理Agent做配置。

Step 2:通用Agent

上述Agent還有個問題:Prompt任務(wù)限定死板,只能執(zhí)行固定任務(wù)。

當前更希望Agent有更泛化的能力,根據(jù)每次單獨任務(wù),完成更多的事情。

基于這個目標,參考Agent提示詞(此時將Agent抽象成了一個通用的Agent,而不是單一完成數(shù)據(jù)存儲的Agent):

你的目標是遵循用戶指令完成用戶任務(wù),通過使用提供的playwright/Shell/FileSystem/Python3/Node等工具并將任務(wù)分解為更小的步驟來實現(xiàn)最終目標。

Environment

-OS: Mac Os

-Browser: Chrome

-node: v23.11.1

-python3: 3.12.8

-Work Folder: /User/Data/xxx

Skills

-你可以使用playwright來操縱瀏覽器

-你可以使用Shell工具來操作終端exec_command

-你可以執(zhí)行Python代碼

-你可以生成Node代碼,并通過exec_command來執(zhí)行

-你可以使用file工具來讀寫文件

## important

-安全的工作區(qū)是Work Folder:*******

-請你每一步都必須選擇一個工具使用,直到結(jié)束時才可以不使用工具!

-每次必須選擇一個工具使用tool_calls-每次都必須選擇一個工具使用tool_calls-每次必須選擇一個工具使用tool_calls

-如果tool_calls的arguments為空,那么請傳入”arguments”: “{}”

請你選擇一個工具執(zhí)行:

好的,一個可以調(diào)用工具的通用的Agent搭建好了。

現(xiàn)在使用Agent的思路也調(diào)整一下,基于第一次嘗試中遇到的各種問題(任務(wù)中斷、中途更換模型等),現(xiàn)在先讓Agent自己規(guī)劃出一個SOP流程,以便于可以讓其他大模型或者Agent也能使用。

好的,到此為止,通用的Agent能力符合預期,現(xiàn)在測試一下輸出的4份文件,開啟新的對話,重新開始執(zhí)行任務(wù),看看結(jié)果是否符合預期。

Step 3:Agent測試

前置處理:打開對應網(wǎng)頁,并找到目標頁面,將篩選條件輸入和設(shè)置完成。

Step 4:反復測試

在Step3 任務(wù)完成后,在已經(jīng)完成的任務(wù)(同一個對話框)后面追加任務(wù),完成另一天的數(shù)據(jù)加載。

在后續(xù)的任務(wù)中,模型反復報錯,包括但不限于:

  • 其中包括參數(shù)返回為空;
  • 未喚起工具下載成文件;
  • 執(zhí)行到一半結(jié)束,再次執(zhí)行僅做文字回復,未執(zhí)行下載動作;
  • 陷入死循環(huán)一直點下一頁、替換或者復制歷史下載成功的數(shù)據(jù)等。

在這里,教大家?guī)讉€查看報錯的辦法。

1)查看調(diào)用鏈的輸出,即可看到是哪里報錯;

2)查看模型的思考過程,比如這個地方,一直重復,且沒有下一個任務(wù)節(jié)點的調(diào)用,大概率是失敗了。

在每一次報錯后,只能反復的調(diào)提示詞,以下是修改的過程中,較為經(jīng)典的場景。

3)將之前的任務(wù)拆解為更清晰的todolist

4)刪減任務(wù)

5)單任務(wù)獨立

6)強調(diào)

Step 5:形成SOP

最后,在反復的提示詞修改與測試下,搭建了完善的SOP流程和穩(wěn)定的提示詞。

Offline指用戶脫離Agent的操作。

基于這個流程,幾乎完成率能達到95%。

總結(jié)

所有的Agent都是模擬人的操作,因此,在搭建Agent之前,用戶需要自己理清這個任務(wù)的流程節(jié)點,然后思考,Agent能夠替代哪一部分,如何替代,這樣才能完成一個Agent的搭建。

同時,Agentic Workflows,由于其靈活性、適應性和自我糾正等特性,會更加適應不斷變化的情況和意外困難,高精度的完成重復性的任務(wù)。但是同樣,搭建Agent本身的復雜性,會使本身簡單的工作復雜化(比如上述登錄、篩選指標),且其高度的自主性,會引入一些不可預測的結(jié)果。

因此,需要Agent解決什么問題,是否需要搭建Agent來完成任務(wù),是需要用戶自己思考清楚的。

附:一些To B的商業(yè)場景(電商)

隨著智能體技術(shù)的不斷完善,AI Agent 在電商等To B場景中也具備廣泛的應用潛力:

  • 圖像生成標準化處理:輔助商家完成商品圖自動修片、打水印、規(guī)格統(tǒng)一等工作;
  • 數(shù)據(jù)報告自動化生成:按日/周自動拉取銷售、流量、轉(zhuǎn)化等核心指標并生成圖表報告;
  • 營銷方案編寫:結(jié)合商品特征和歷史數(shù)據(jù)以及平臺銷售數(shù)據(jù),生成定制化營銷方案(滿減、滿贈、優(yōu)惠券等);
  • 商家定價策略輔助:參考競品價格變動與季節(jié)波動,輔助制定合理上新價格;
  • 采購計劃智能輔助:基于歷史庫存消耗預測趨勢,向B端買手推薦最優(yōu)補貨周期與品類搭配建議。

本文由 @諸葛鐵鐵 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!