EasySpider是一個(gè)可視化爬蟲軟件,可以使用圖形化界面,無代碼可視化的設(shè)計(jì)和執(zhí)行爬蟲任務(wù)。只需要在網(wǎng)頁上選擇自己想要爬的內(nèi)容并根據(jù)提示框操作即可完成爬蟲設(shè)計(jì)和執(zhí)行。同時(shí)軟件還可以單獨(dú)以命令行的方式進(jìn)行執(zhí)行,從而可以很方便的嵌入到其他系統(tǒng)中。官網(wǎng)提供了詳細(xì)的視頻教程:
一、下載安裝EasySpider
支持Windows、MacOS、Linux系統(tǒng)安裝。
下載地址:https://github.com/NaiboWang/EasySpider/releases
下載完成后,如下圖所示(macos安裝為例):
二、測試獲取ebay網(wǎng)站數(shù)據(jù)
1、設(shè)計(jì)任務(wù)
1)打開EasySpider主程序
2)點(diǎn)擊【中文】
3)點(diǎn)擊【設(shè)計(jì)任務(wù)】
然后這里選擇【使用純凈版瀏覽器設(shè)計(jì)】,無需用戶登錄信息。
4)進(jìn)入EasySpider設(shè)計(jì)窗口,大概過5秒鐘后,會同時(shí)打開一個(gè)瀏覽器窗口
5)點(diǎn)擊【新建任務(wù)】,輸入ebay網(wǎng)址地址https://www.ebay.com,點(diǎn)擊【開始設(shè)計(jì)】,打開ebay官網(wǎng)
6)輸入搜索關(guān)鍵字:右擊搜索框,點(diǎn)擊【輸入文字】按鈕;輸入搜索關(guān)鍵字,然后點(diǎn)擊【確定】按鈕
7)搜索:右擊【搜索】按鈕,點(diǎn)擊【點(diǎn)擊該按鈕】,搜索出關(guān)于關(guān)鍵字“手機(jī)”的所有商品
此時(shí)會發(fā)現(xiàn)EasySpider主窗口的設(shè)計(jì)面板,會多出輸入文字、點(diǎn)擊元素兩個(gè)動作,表示剛才的操作被加入當(dāng)前任務(wù)隊(duì)列中了。
8)采集標(biāo)題:右擊手機(jī)商品的標(biāo)題,點(diǎn)擊【選擇全部】,這時(shí)所有的商品的標(biāo)題都會選中;點(diǎn)擊【采集數(shù)據(jù)】,則采集當(dāng)前頁面的手機(jī)商品標(biāo)題的任務(wù)會被加入隊(duì)列中
這時(shí)可以看到EasySpider主窗口的設(shè)計(jì)面板,又有新的任務(wù)加入。
9)循環(huán)點(diǎn)擊下一頁:頁面滾動至底部,可以看到分頁按鈕;右擊【下一頁】按鈕,點(diǎn)擊【循環(huán)點(diǎn)擊該鏈接】按鈕
10)通過【剪切元素】調(diào)整任務(wù)順序,實(shí)現(xiàn)循環(huán)點(diǎn)擊下一頁并循環(huán)相應(yīng)頁面的所有商品標(biāo)題
最終采集步驟如下所示:
11)保存設(shè)計(jì)任務(wù),關(guān)閉設(shè)計(jì)窗口,返回首頁
2、執(zhí)行任務(wù)
1)回到EasySpider首頁,點(diǎn)擊【查看執(zhí)行任務(wù)】
2)點(diǎn)擊【任務(wù)信息】
3)點(diǎn)擊【調(diào)用任務(wù)】
4)修改執(zhí)行任務(wù)條件,點(diǎn)擊【本地直接執(zhí)行】按鈕;復(fù)制彈框里的執(zhí)行腳本
5)打開easyspider_executestage程序,粘貼步驟5生成的腳本,然后靜靜地等待任務(wù)執(zhí)行完成
6)最終獲取的數(shù)據(jù)文件會保存在Data目錄下
來源今日頭條,作者:好呀魚