1、學習Python基礎知識并實現基本的爬蟲過程 。一般獲取數據的過程都是按照 發送請求-獲得頁面反饋-解析并且存儲數據 這三個流程來實現的 。這個過程其實就是模擬了一個人工瀏覽網頁的過程 。
2、Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，我們可以按照requests 負責連接網站，返回網頁，Xpath 用于解析網頁，便于抽取數據 。

3、了解非結構化數據的存儲 。爬蟲抓取的數據結構復雜 傳統的結構化數據庫可能并不是特別適合我們使用 。我們前期推薦使用MongoDB 就可以 。
4、掌握一些常用的反爬蟲技巧 。使用代理IP池、抓包、驗證碼的OCR處理等處理方式即可以解決大部分網站的反爬蟲策略 。
【學python首先要知道什么 學習python前最好學習什么】5、了解分布式存儲 。分布式這個東西 ， 聽起來很恐怖 ， 但其實就是利用多線程的原理讓多個爬蟲同時工作 ， 需要你掌握 Scrapy + MongoDB + Redis 這三種工具就可以了 。

推薦閱讀

• 學字什么結構? 學字什么結構的字體
• 首屆湖南產城發展峰會舉辦，晚安家居集團大放異彩
• 甘肅高中綜合素質評價登錄入口網址 甘肅中學生綜合素質評價登錄入口
• 學海無涯心存高遠是什么意思 學海無涯心存高遠是名言嗎
• 學會寫字有什么用處 會寫字的好處
• 學記的教育思想有哪些? 學記的教育思想有哪些
• 學界的三魂是哪三魂 學界有哪三魂
• 黨校是學歷嗎 黨校算學歷嗎
• 個稅子女教育終止時間計算 個稅子女教育終止時間
• 學前教育主要學什么 兒童學前教育主要學什么