數(shù)據(jù)采集之websocket

這里有一篇很好的解釋websocket的網(wǎng)站供大家參考

https://segmentfault.com/a/1190000013149749

我自己在爬取有關(guān)websocket時的一些想法

1.一般情況下你要構(gòu)造一個類,針對發(fā)送請求和接受數(shù)據(jù)都有相應(yīng)的方法去做處理,所以說我們可以直接用websocket自帶的一個方法類去封裝我們的代碼。

2。在瀏覽器頁面通過開發(fā)者工具去找到ws的規(guī)律。(找不到的時候刷新一下頁面就可以了)


圖一

3.當(dāng)我們在模擬websocket發(fā)送請求的時候,注意要根據(jù)瀏覽器對應(yīng)的信息去更換紅色邊框的內(nèi)容。


圖二

4.我們整個的爬蟲代碼,除了我們根據(jù)websocket發(fā)送的message,找到對應(yīng)的參數(shù)外,這個rid是關(guān)鍵,他的前10位是一個時間戳,我們可以通過找到他的規(guī)律去循環(huán)我們的代碼,也可以通過這個時間戳,找到當(dāng)瀏覽器發(fā)送這條message請求時,服務(wù)端返回的數(shù)據(jù)。


圖四

5.在用websocket發(fā)送請求時,會遇到send報紅,我當(dāng)時也做了很多的處理,但依然會報紅,我認(rèn)為應(yīng)該是有的rid并沒有返回的數(shù)據(jù)才會導(dǎo)致這個結(jié)果,所以不用關(guān)代碼,讓他繼續(xù)運(yùn)行就好。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Web MVC Spring Web MVC 是包含在 Spring 框架中的 Web 框架,建立于...
    Hsinwong閱讀 22,978評論 1 92
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,715評論 19 139
  • 原文地址:http://www.ibm.com/developerworks/cn/java/j-lo-WebSo...
    敢夢敢當(dāng)閱讀 9,037評論 0 50
  • 讀經(jīng)典:《易經(jīng)》《大學(xué)》 自強(qiáng)的生命之勢 昨天看到了被鐵架捆綁的大樹,今天看到一種植物,這種植物,大家都不會陌生很...
    悅2017137閱讀 279評論 2 2
  • 玉寒經(jīng)霜節(jié)猶在,孤野留客意自閑。心中無塵人勝仙,浮華虛幻笑不言。
    黨向陽閱讀 244評論 0 0

友情鏈接更多精彩內(nèi)容