使用workerman做一個爬蟲服務器網(wǎng)站，進行數(shù)據(jù)獲取

segcbryjntfbrdtesrgdfhjg 更新于2022-11-17

想做一個爬蟲服務器，提交網(wǎng)頁url，然后后臺調(diào)用selenium瀏覽器進行瀏覽,瀏覽完成返回渲染好的網(wǎng)頁,以及Cookie,header等信息,要怎么設計這樣的網(wǎng)站架構使用workerman的話.

太多網(wǎng)站進行動態(tài)渲染了,而且本地寫selenium挺麻煩,而且某些網(wǎng)站有地市限制,所以想做成一個服務統(tǒng)一調(diào)取,方便公司對子公司的業(yè)務進行搜集

我該怎么設計這種網(wǎng)站呢?

有什么比較好用的架構方案嗎?

 1712  1 0

nitron 2022-11-17

PHPCreeper ,基于Workerman,作者也在論壇里 @blogdaren

gddd 2022-11-17

這個都沒維護了吧，文檔卡的要死，官網(wǎng)也打不開
nitron 2022-11-17

最后一次提交時間, 2 Days ago,文檔打開很快,官網(wǎng)也沒問題

有不少小伙伴反饋說文檔網(wǎng)站經(jīng)常打不開或訪問很慢，這是因為文檔是托管在國外的公益性虛擬機FWA上，作者沒有參與任何商業(yè)性平臺和資源，手上也沒有任何給力的服務器資源，無論是爬山虎項目還是PHP內(nèi)核視頻或其他技術參與等，多年來一直都是在做無償性的付出，所以無法給大家提供更好的服務，盡力了。
segcbryjntfbrdtesrgdfhjg 2022-11-17

我去試試
segcbryjntfbrdtesrgdfhjg 2022-11-17

還有就是爬蟲是一個耗時的工作,這種耗時的工作該怎么分配