目標:爬取淘寶上關鍵詞為『飛機杯』的商品數據,和銷量前十的所有評論。
工具:Python Scrapy 爬數據,Excel + World Cloud 分析數據
數據抓取
簡單找出翻頁方法,數據都藏在這裡
https://s.taobao.com/search?data-key=s&data-value=44&ajax=true&_ksTS=1504329067199_977&callback=jsonp978&q=%E9%A3%9E%E6%9C%BA%E6%9D%AF&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170902&bcoffset=4&p4ppushleft=%2C48https://s.taobao.com/search?data-key=s&data-value=88&ajax=true&_ksTS=1504329110124_1174&callback=jsonp1175&q=%E9%A3%9E%E6%9C%BA%E6%9D%AF&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170902&bcoffset=4&p4ppushleft=%2C48&s=44https://s.taobao.com/search?data-key=s&data-value=132&ajax=true&_ksTS=1504329292131_1421&callback=jsonp1422&q=%E9%A3%9E%E6%9C%BA%E6%9D%AF&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.50862.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_20170902&bcoffset=4&p4ppushleft=%2C48&s=88
做好相應的應對措施就好了
數據解讀
在進行簡單數據處理後,看看發現了什麼?
竟然在10-20元有這麼多商品,哇,難以想象。
你平時買多少的?
我們看看銷量
看來大多數飛機杯銷量都不大好,在40下,我們來研究下銷量大於10K的,有這些:
- 名器男用自慰器擼飛機杯 ¥9.80。 34496人付款
- 全自動雙穴夾吸飛機杯 ¥39.00。 11437人付款
- 全自動飛機杯 ¥399.00。 12429人付款
- 夾吸全自動飛機杯 ¥79.00。 12699人付款
- 全自動飛機杯 ¥48.00。 13572人付款
- 免提飛機杯 ¥49.00。 13475人付款
- 發聲飛機杯 ¥109.00。 31892人付款
價格是亮點
最後我們來研究下評論
使用評論做成的圖雲
商品種類的詞雲
太污了,我還隻是個孩紙
商品名稱詞雲
最後來試試情感分析, 參考了@王樹義 老師寫的 如何用Python做情感分析?
主要用到了snownlp 和 TextBlob
Sentiment(polarity=0.9578947368421052,subjectivity=0.6252631578947367)
0.96,看來人們的評價還是極高的。
如果你想購買某件商品,可以先把評論抓了,然後做個分析什麼的。
這可能就是學Python的應用吧~
需要更多python學習資料,請評論轉發後私信回復51py,更多資料自動發給你!