Day 23：专案05 - KKBOX风云榜02 | AJAX

昨天已经找到的KKBOX用来传资料的API，也知道各个参数的意义了，今天就实际将资料抓下来吧!

歌曲资讯

回到昨天那个API，是用JSON格式传递资料，资料的格式大致如下：

我们可以发现新歌的资料都放在 "newrelease" 之下，一个element就是一首歌的资讯，另外，每首歌的资讯也以key:value的形式整理的很清楚。

接着，就用之前教过的requests.get(url)直接取得API回传的资料，但回传的型态是json字串，所以再用Python本身内建的json.loads()函数转成Python的list和dict资料型态。

# KKBOX华语新歌日榜
url = "https://kma.kkbox.com/charts/api/v1/daily?category=297&lang=tc&limit=50&terr=tw&type=newrelease"
# 取得歌曲资讯json档
response = requests.get(url)
# 将json字串转为Python的字典型态
data = json.loads(response.text)

既然已经转成list和dict的型态了，再根据刚才观察API得知的架构，要筛选资料就非常简单，直接来看程序码：

song_list = data["data"]["charts"]["newrelease"]
# 取得每首歌的排名、曲名、连结、作者、时间
for song in song_list:
    song_rank = song["rankings"]["this_period"]
    song_name = song["song_name"]
    song_url = song["song_url"]
    song_artist = song["artist_name"]
    song_timestamp = int(song["release_date"])
    # 从timestamp转为日期格式
    song_date = time.strftime(
        "%Y-%m-%d", time.localtime(song_timestamp))

    print("排名:", song_rank)
    print("歌名:", song_name)
    print("连结:", song_url)
    print("作者:", song_artist)
    print("发行日期:", song_date)

发行时间的部分比较特别，因为资料提供的是时间戳记timestamp，所以要另外用time.strftime()函数从timestamp转为人类习惯的日期格式(年-月-日)。

时间戳记(Unix timestamp)
是一种统一的时间标记方式，代表从1970/01/01累积到现在的秒数，透过这个转换器可以从timestamp转成人类习惯的时间标记方式，反过来也可以。
另外有一件有趣的事，因为有些系统的timestamp用32-bits的int储存，所以在2038/01/19时这个timestamp就会overflow，又被称为Year 2038 problem。

执行结果：

歌词

刚才的资讯里面有一项是连结，而这个连结刚好就是歌词的连结，随便挑一首歌，对歌词的部分右键>>检查，发现歌词就在class="lyrics"的<div>中。

因此，要得到歌词这样写就好了。

song_response = requests.get(song_url)
soup = BeautifulSoup(song_response.text, "html.parser")
lyric = soup.find("div", class_="lyrics").text
print("歌词:", lyric)

执行结果(抓歌词因为要get新的网页，所以会稍微慢一点)：

储存csv档

储存资料常用的副档名除了.txt或.json之外，.csv也是常用的储存格式，像是excel。

因为这次的资料很格式化，刚好就很适合储存为csv档。

首先，开启一个csv档，编码记得要为big5，不然只会出现乱码。newline=''则可以避免一些错误。

接着，引用Python内建的csv套件，然後建立一个writer物件，用writer物件的writerow()写入一行资料，writerow()的参数一定是一个list，list中放要写入的资料。

歌词字太多了，放在csv中会很不好看，所以我就不存歌词了。

import csv

with open('songs.csv', 'w', newline='', encoding="big5") as csvfile:
    # 建立 CSV 档写入器
    writer = csv.writer(csvfile)
    # 写入一列资料
    writer.writerow(["排名", "歌名", "作者", "发行日期", "连结"])
    
    ...
    
    writer.writerow([song_rank, song_name, song_artist, song_date, song_url])

结果：