這個爬蟲是的架構會是一個主副程式
這次爬了三個網站(pchome,momo,shopee),為了方便新增和維護每個網站的爬蟲,所以一個網站一個py檔
主程式的部分是去call副程式寫好的爬蟲,所以主程式這邊就是把所有資源的結果拿出來後再整理排序由小到大
沉思的程式酒客
這個爬蟲是的架構會是一個主副程式
這次爬了三個網站(pchome,momo,shopee),為了方便新增和維護每個網站的爬蟲,所以一個網站一個py檔
主程式的部分是去call副程式寫好的爬蟲,所以主程式這邊就是把所有資源的結果拿出來後再整理排序由小到大
這一篇文章是要說當你要同時做很多事情時,就可以用到threading達成多執行緒 閱讀全文〈python 多執行緒(thread)〉
要把已寫好的python編成exe檔 閱讀全文〈把.py檔編成.exe檔〉
當python抓到的資料要傳到php做處理的時候,可以這樣做 閱讀全文〈python 傳值給 php〉
要開啟別的程式抓下來東西去做打開和讀寫的話可以這樣做
他的檔案模式有 r r+ w w+ a a+ 閱讀全文〈python 檔案讀寫〉
在寫爬蟲時會用到的基本三個函示庫:requests , BeautifulSoup , lxml
requests是解析網路資源的套件,所以這邊是給網址的,網址抓下來後要分析他的架構就交給BeautifulSoup
閱讀全文〈爬蟲的函示庫介紹〉