周董新歌《說好不哭》上線，20W評(píng)論，歌迷都說了些啥

千鋒Python學(xué)堂 >《Python基礎(chǔ)教程分享》

2019.09.19

關(guān)注

周杰倫作為天王，具有劃時(shí)代的意義毋庸置疑，他的歌伴隨了多少個(gè)90后的日日夜夜，是多少人的回憶和情懷！

9 月 16 日晚間，一代天王周董發(fā)布了最新單曲《說好不哭》

發(fā)布后，真的讓一波人哭了

一群想搶鮮聽的小伙伴直接淚奔

因?yàn)?QQ 音樂直接被搞崩了

沒想到干翻 QQ 音樂的不是網(wǎng)易云音樂

也不是蝦米音樂

而是周董！

周董成成功地憑一己之力干翻了 QQ 音樂

那么聽過周董新歌后的小伙伴都是怎么評(píng)價(jià)的呢？

這里，我們獲取了 QQ 音樂的近 20W 條評(píng)論數(shù)據(jù)進(jìn)行分析

看看其中有哪些有趣的東西

一、數(shù)據(jù)獲取

1、請(qǐng)求分析

在 QQ 網(wǎng)頁版直接搜索『說好不哭』

很容易就能找到單曲頁面

說好不哭

拉到頁面最下方

可以看到評(píng)論的分頁查看按鈕

分頁查看

按下 F12 點(diǎn)擊第二頁

在請(qǐng)求流中就可以看到對(duì)應(yīng)的請(qǐng)求

評(píng)論請(qǐng)求

其中可以看到兩個(gè)重要參數(shù)：pagenum 和 pagesize

將請(qǐng)求 copy 到 Postman 中進(jìn)行測(cè)試

Postman測(cè)試

發(fā)現(xiàn)可以直接獲取到數(shù)據(jù)

連 Header 都不需要添加

這里嘗試對(duì)請(qǐng)求參數(shù)進(jìn)行了精簡

最終只需要如下幾個(gè)參數(shù)即可

參數(shù)精簡

從 Postman 中可以直接獲取到對(duì)應(yīng)的代碼

import requests
url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg"
querystring = {"biztype":"1","topid":"237773700","cmd":"8","pagenum":"1","pagesize":"25"}
response = requests.request("GET", url, params=querystring)
print(response.text)

這里是單頁評(píng)論的獲取

所有評(píng)論的獲取只需遞增 pagenum 即可

2、數(shù)據(jù)解析

返回?cái)?shù)據(jù)中有很多暫時(shí)不需要的字段

這里我們只取其中的用戶名、評(píng)論時(shí)間、評(píng)論內(nèi)容、點(diǎn)贊數(shù)

對(duì)應(yīng)如下字段

{ "nick": "丨那壹刻永遠(yuǎn)消失\"\"", "praisenum": 1, "rootcommentcontent": "越聽越好聽怎么回事！", "time": 1568729836,}

由于數(shù)據(jù)量較大這里我們暫時(shí)將數(shù)據(jù)存放在 Excel 中

一來無須依賴外部數(shù)據(jù)庫

二來可以使用 Excel 對(duì)數(shù)據(jù)進(jìn)行二次處理

數(shù)據(jù)存儲(chǔ)代碼如下：

def file_do(list_info, file_name): # 獲取文件大小 if not os.path.exists(file_name): wb = openpyxl.Workbook() page = wb.active page.title = 'jay' page.append(['昵稱','時(shí)間','點(diǎn)贊數(shù)','評(píng)論']) else: wb = openpyxl.load_workbook(file_name) page = wb.active for info in list_info: try: page.append(info) except Exception: print(info) wb.save(filename=file_name)