爬取图片基本上告一段落了,方法大同小异,最关键的是如何应对反爬虫,使自己的爬虫程序能够连续不间断地运行下去。视频试着爬取了一下,感觉不是很好,因为数据太大了,保存response.content的方法已经明显不适用,不如获取一个下载地址列表,让迅雷、QQ旋风等专业的多线程、支持断点续传的程序去下载。音频的大小适中,mp3格式的音乐数据基本在5M以下,FLAC高音质的音乐数据在30M以下,以现在的网速,基本上是可以爬取的。下面讲一讲使用百度音乐的开发API接口下载音乐的方法,让我们愉快地学习吧。
(一) 第一种方法
url = "http://sug.music.baidu.com/info/suggestion"
这是百度音乐搜索获得songid的网址,我们怎样向它请求数据呢,很简单,填写个payload就可以了。
mess = song_name + singer 或者 song_name 或者singer
歌名、歌手或者两者都填
payload = {'word': mess, 'version': '2.1.1', 'from': '0'}
r = requests.get(url, params=payload)
contents = r.text
d = json.loads(contents, encoding="utf-8")
请求并进行json解析,
那么JSON里面有什么呢?
这是百度音乐免费api接口,可以为我们提供下载地址。
url = "http://music.baidu.com/data/music/fmlink"
和上面类似,使用payload提交我们要查询的数据,songIds代表歌曲id,type代表要下载的格式,有‘mp3’,‘flac’等多种格式。这里不知道是否可以提交albumId(专辑名称)、artistId(歌手名称)还未测试。
payload = {'songIds': song_id, 'type': 'mp3'}
r = requests.get(url, params=payload)
contents = r.text
d = json.loads(contents, encoding="utf-8")
songlink = d["data"]["songList"][0]["songlink"]
获取歌曲的文件格式,正则表达式
pattern=re.compile(r'music/.*?.(.*?)?.*?',re.S)
songformat=re.findall(pattern,songlink)
saveformat=songformat[0]
最后结果:
songlink : http://yinyueshiting.baidu.com/data2/music/134370487/816477248400128.mp3?xcode=9e3069036aac66c3c6826868de970894
saveformat : mp3
然后保存,这就不多说了。有时候会有请求不完全的情况,这是用len(response.content)判断一下,看看是否大于2M,没有就重新请求下载。
(二)第二种方法
第二种方法是参考自这篇博客,作者也说是转的,所以不知道原始作者是谁,向作者致敬。
搜索歌曲API:http://musicmini.baidu.com/app/search/searchList.php?qword={0}&ie=utf-8&page={1}
{0}=需要搜索的歌曲或歌手 如‘晴天’ ‘周杰伦’
{1}=页码数(第一页就是0,第二页是1) 基本置为‘0’就可以
返回的是一个html网页,需要分析网页,得到歌曲ID,歌曲名,歌手,专辑等 属性,网页解析我就不说了,BeautifulSoup xpath re都可以,都在'tr'标签里,上一下图:
url='http://ting.baidu.com/data/music/links?songIds={0}'
{0}=从上面的结果的中分析的歌曲的ID 晴天的songid:816477
获取和上面类似的html,json解析后,格式与上面类似
{
"errorCode":22000,
"data":
{
"xcode":"17173bd17415d2c22a7250ec29f7e010",
"songList":[{
"queryId":"247911654",
"songId":247911654,
"songName":"夏洛特烦恼",
"artistId":"5913",
"artistName":"金志文",
"albumId":247911669,
"albumName":"夏洛特烦恼",
"songPicSmall":"http://musicdata.baidu.com/data2/pic/247910612/247910612.jpg",
"songPicBig":"http://musicdata.baidu.com/data2/pic/247910608/247910608.jpg",
"songPicRadio":"http://musicdata.baidu.com/data2/pic/247910603/247910603.jpg",
"lrclink":"/data2/lrc/248241445/248241445.lrc",
"version":"影视原声",
"copyType":0,
"time":192,
"linkCode":22000,
"songlink":"http://yinyueshiting.baidu.com/data2/music/247912201/247911654108000128.mp3?xcode=17173bd17415d2c221ec55f2ef944ac8",
"showlink":"http://yinyueshiting.baidu.com/data2/music/247912201/247911654108000128.mp3?xcode=17173bd17415d2c221ec55f2ef944ac8",
"format":"mp3",
"rate":128,
"size":3078749,
"relateStatus":"0",
"resourceType":"0",
"source":"web"
}
]
}
}
提取信息:
"songlink":"http://yinyueshiting.baidu.com/data2/music/247912201/247911654108000128.mp3?xcode=17173bd17415d2c221ec55f2ef944ac8"