通过python+Xpath实现抓取某网站推荐的歌曲

1、背景：

为了实现抓取某目标网站的歌曲以及作者，通过python + Xpath方式实现，并将抓取的结果保存到csv格式的excel表格里。

2、实现步骤：

（1）获取该网站的网页源码

（2）使用Xpath方式进行解析，找到要抓取的歌曲和作者所在的段落

（3）将解析后的结果写入到CSV格式的excel中

3、关键技术：

python、requests、Xpath、csv文件写入

4、代码实现：

# ############## 通过python+Xpath实现抓取某网站推荐的歌曲 import requests import lxml.html import csv url = "http://www.show160.com/" html = requests.get(url=url) htmlContent = html.content.decode("GBK") selector = lxml.html.fromstring(htmlContent) #先抓大，找到歌曲信息所在的片段 item_list = selector.xpath('//*[@id="music_con1_1"]/div[@class="cont"]/div[@class="music_list"]/ul/li') songAndAuthorList = [] #基于抓取的结果再抓取每个li下面的信息，包括歌曲名和作者 for item in item_list: name = item.xpath('div[@class="lebox"]/a/text()') author = item.xpath('div[@class="ribox"]/a/text()') itemDict = {"name":name[0], "author":author[0]} songAndAuthorList.append(itemDict) #将结果存入到excel表格里 with open('songAndAuthor.csv', 'w', encoding='utf-8-sig', newline='') as f: writer = csv.DictWriter(f, fieldnames=['name','author']) writer.writeheader() writer.writerows(songAndAuthorList)

5、代码解析：

下面是源码的截图，