造了個瀏覽器擴展，自動把網(wǎng)頁列表變成 JSON + XPath，連 iframe 和 Shadow DOM 都不放過 經(jīng)常寫爬蟲或者做數(shù)據(jù)采集的你，一定有過這種體驗：打開一個...
發(fā)簡信
IP屬地：廣東
-
通用列表網(wǎng)頁數(shù)據(jù)自動抽取 -
基于pugixml構(gòu)建xpath插件
背景：之前用的c#的HtmlAgilityPack做的插件，存在嚴(yán)重的內(nèi)存泄露問題，解析器跑的時間長了必崩。讓ai給推薦基于c++的庫，封裝一款aardio插件，來回折騰喂了...
-
sqlite 擴展：注冊方法，變更監(jiān)聽
工具方法，擴展sqlite方法 demo1:注冊正則查詢函數(shù)到sqlite demo2：監(jiān)聽數(shù)據(jù)表變更
-
擴展background.js中fetch隊列，用來后臺請求控制
簡單的fetch并行改串行控制 接受content.js的消息，控制后臺下載，返回給content.js渲染都界面backgroud.js 與backgroud.js通訊，發(fā)...
-
擴展content.js與原始網(wǎng)頁間消息通訊
發(fā)現(xiàn)問題：1、content.js，原始網(wǎng)頁，iframe之間不同作用域，不能互相通訊；2、chrome.scripting.executeScript在content.js...
-
aardio代碼實現(xiàn)jsonPath
純aardio代碼實現(xiàn)jsonPath。注意：[(…)]，[?(…)] 里面的表達式要用aardio對應(yīng)對象方法操作。 簡單測試： 參考：https://goessner.n...
-
臨時記錄，通用列表歸類抽取
chrome瀏覽器中網(wǎng)頁文字列表類數(shù)據(jù)，通用抽取方案。目的是自動識別可以抽取的文字類列表數(shù)據(jù)，用于爬蟲自動生成xpath腳本。半成品記錄 原始 xpath通過文本定位 $x方...
-
記錄32位conda安裝64位python環(huán)境
切換conda環(huán)境配置到64位 安裝python環(huán)境 刪除環(huán)境 4.conda切換32位模式
-
兩種字符串相似度歸類算法
要使用余弦相似度或Levenshtein距離來計算字符串之間的相似度，我們需要對字符串進行一些預(yù)處理。余弦相似度通常用于比較文檔或句子，而Levenshtein距離用于計算兩...
-
Chrome多用戶實例基于CDP的Web爬蟲自動化cookie獲取技術(shù)研究
一 Chrome CDP簡介和原理 1.1 Chrome CDP的概念 ??Chrome DevTools Protocol (CDP) 是一種允許第三方應(yīng)用程序與瀏覽器進行...
-
webview+Amis極速應(yīng)用開發(fā)近期項目回顧：使用Webview+Amis開發(fā)復(fù)雜Excel策略分配應(yīng)用 背景： 接到一個復(fù)雜的需求，需要提供一個獨立應(yīng)用程序，完成Excel數(shù)據(jù)的策略分配和結(jié)果導(dǎo)出。 要求...