爬取思路
- 使用selenium打开页面
- 输入需要解析的VIP视频URL
- 主动触发点击事件
- 切换iframe到找到video标签的src属性值
- 根据URL下载
源代码
源码目前只爬取到下载的URL，下载将会在后面补上
from selenium import webdriver
class TencentVideo(object):
"""腾讯视频爬虫"""
"""初始化方法，传入腾讯视频待解析的的url"""
def __init__(self, parse_web_type, parse_web_url, video_url):
driver = webdriver.Chrome()
# 使用驱动获取一个解析网址
driver.get(parse_web_url)
print("打开成功")
# 如果解析类型是wpsseo， 按照http://www.wpsseo.cn/进行VIP解析
if "wpsseo".__eq__(parse_web_type):
# 1、获取输入框的值，并发送数据
driver.find_element(by="id", value="url").send_keys(video_url)
print("输入url成功：%s" % video_url)
# 2、点击开始解析
driver.find_element(by="id", value="bf").click()
print("点击解析成功")
# 3、根据不同的解析网站嵌套的iframe可能不一样
iframe = driver.find_element(by="id", value="player")
print("获取iframe成功")
driver.switch_to.frame(iframe)
print("切换到iframe成功")
# 这里的第一个WANG的标签很重要，里面嵌套的内容有动态变化，可能是内嵌的访问腾讯的视频 也可能是中间网站的地址
iframe_wang = driver.find_element(by="id", value="WANG")
driver.switch_to.frame(iframe_wang)
print("切换到WANG的iframe成功")
try:
# 3.1、套娃了一个iframe
iframe_no = driver.find_element(by="tag name", value="iframe")
driver.switch_to.frame(iframe_no)
# 3.2、iframe 里面又套娃了一个iframe
WANG_2 = driver.find_element(by="id", value="WANG")
driver.switch_to.frame(WANG_2)
print("切换到WANG的iframe的myiframe成功----从解析网站获取")
try:
# 3.3、没有套娃了，直接通过video标签名称获取
video_src = driver.find_element(by="id", value="video").find_element(by="tag name", value="video").get_attribute("src")
print("获取链接成功：%s" % video_src)
except:
# 3.4、套娃里面还是套娃，又嵌套可一层iframe
myiframe = driver.find_element(by="id", value="myiframe")
driver.switch_to.frame(myiframe)
try:
# 3.4、最深处终于找到了video标签
video_src = driver.find_element(by="tag name", value="video").get_attribute("src")
print("获取链接成功：%s" % video_src)
except:
print("获取失败")
except:
try:
# 判断这里的video标签时在div上还是在video上，
video_tag = driver.find_element(by="id", value="video")
if video_tag.tag_name == "video":
# 3.5、直接字video上的话 src属性加了blob前缀，需要解析改格式才能下载
video_src = video_tag.get_attribute("src")
# blood开头的
print("获取链接成功：%s" % video_src)
else:
# 3.6、 非常重要， 多次执行后总会有一次走到这里
# 这里直接走的是腾讯视频的接口，如果研究一下改接口 应该也是大有收获
video_src = video_tag.find_element(by="tag name", value="video").get_attribute("src")
print("获取链接成功：%s" % video_src)
except:
print("下载失败")
driver.close()
driver.quit()
if __name__ == '__main__':
tv = TencentVideo("wpsseo", "http://www.wpsseo.cn/", "https://v.qq.com/x/cover/m441e3rjq9kwpsc/l0043ly8ohx.html")
关键爬取截图
blob格式
最深套娃
视频截图
此方法仅供学习，望大家看在套娃这么多的份上，小星星来一个哇！
