返回
相关动态
Python爬虫：二十行代码获取某知名网站高质量视频，带视频讲解
2024-12-28 01:59
  • 请求头 Request Headers （键值对的形式） 请求的一些配置信息告诉服务器，让服务器判断这些配置信息解析

请求头，用来说明服务器要使用的附加信息，比较重要的信息有cookie，Referer，User-Agent等。

Python爬虫：二十行代码获取某知名网站高质量视频，带视频讲解

  • Accept: 请求报头域，用于指定客户端可接受哪些类型的信息。

  • Accept - Language: 指定客户端可接受的语言类型。

  • Accept-Encoding: 指定客户端可接受的内容编码。

  • Host:用于指定请求支援的主机IP和端口号，其内容为请求URL的原始服务器或网关的位置。从HTTP1.1版本开始，请求必须包含此内容。

  • cookie: 也常用复数形式cookies，这是网站为了辨别用户进行会话跟踪而存储在用户本地的数据。它的主要功能是维持当前访会话。例如，我们输入用户名和密码成功登录某个网站后，服务器会用会话保存登录状态信息，后面我们每次刷新或请求该站点的其他页面时，会发现都是登录状态，这就是cookies的功劳。cookies里有信息标识了我们所对应的服务器的会话，每次浏览器在请求该站点的页面时，都会在请求头加上cookies 并将其返回给服务器，服务器通过cookies识别出是我们自己，并且查出当前状态是登录状态，所以返回结果就是登陆之后才能看到的网页内容。

  • Referer: 此内容用来标识这个请求是从哪个页面发过来的，服务器可以拿到这一信息并做相应处理，如做来源统计、防盗链处理等。

  • User-Agent: 简称UA，它是一个特殊的字符串头，可以使服务器识别客户使用的操作系统及版本、浏览器及版本等信息。再做爬虫时加上此信息，可以伪装为浏览器：如果不加，很容易可能被识别出为爬虫。

  • Content-Type: 也叫互联网媒体类型（Internet Media Type）或者MIME类型，在HTTP协议消息头中，它用来表示具体请求中的媒体类型信息。例如，text/html 代表HTML格式，image/gif 代表GIF图片，application/json 代表JSON类型，更多对应关系可以查看此对照表：http://tool.oschina.net/commons

  • Response中包含什么内容？

  • 响应，由服务端返回给客户端，可以分为三部分：响应状态码（Response Status Code）、响应头（Response Headers）、响应体（Response Body）

  • 1、响应状态码

响应状态码表示服务器的响应状态，如200代表服务器正常响应，404代表页面未找到，500代表服务器内部发生错误。在爬虫中，我们可以根据状态码来判断服务器响应状态，如状态码为200，则证明成功返回数据，在进行进一步的处理，否则直接忽略。

  • 2、响应头

  • 3、响应体

最重要的当属响应体的内容了。响应的正文数据都在响应体中，比如请求网页时，它的响应体就是网页的HTML代码；请求一张图片时，它的响应体就是图片的二进制数据。我们走爬虫请求网页后，要解析的内容就是响应体， 在浏览器开发者工具中点Preview，就可以看到网页的源代码，也就是响应体的内容，它是解析的目标。

在做爬虫时，我们主要通过响应体得到的网页的源代码、JSON数据等，然后从中做相应内容的提取。

用http请求库向服务器发送一个请求，然后得到这个response，把这个响应体里的内容拿下来，然后解析就可以拿到我们的数据了。

三、案例实现

======================================================================

  1. 找到目标网址

  2. 发送网络请求

  3. 获取数据

  4. 筛选数据

  5. 保存数据

import requests

import pprint

headers = {

‘cookie’: ‘’,

‘referer’: ‘https://weibo.com/tv/channel/4379160563414111/editor’,

‘user-agent’: ‘’,

}

data = {

‘data’: ‘{“Component_Channel_Editor”:{“cid”:“4379160563414111”,“count”:9}}’

}

url = ‘https://www.weibo.com/tv/api/component?page=/tv/channel/4379160563414111/editor’

json_data = requests.post(url=url, headers=headers, data=data).json()

ccs_list = json_data[‘data’][‘Component_Channel_Editor’][‘list’]

next_cursor = json_data[‘data’][‘Component_Channel_Editor’][‘next_cursor’]

for ccs in ccs_list:

oid = ccs[‘oid’]

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。

    以上就是本篇文章【Python爬虫：二十行代码获取某知名网站高质量视频，带视频讲解】的全部内容了，欢迎阅览 ！ 文章地址：http://gzhdwind.xhstdz.com/quote/85911.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://gzhdwind.xhstdz.com/mobile/ , 查看更多   
发表评论
0评