今天带来python cookie反爬处理的实现教程详解
Cookies的处理
作用 保存客户端的相关状态
在爬虫中如果遇到了cookie的反爬如何处理?
手动处理 ??? 在抓包工具中捕获cookie,将其封装在headers中 ??? 应用场景:cookie没有有效时长且不是动态变化
自动处理 ?使用session机制 ?使用场景:动态变化的cookie ?session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.
案例
爬取雪球网中的新闻资讯数据:https://xueqiu测试数据/
#获取一个session对象 import requests headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' } session = requests.Session() main_url = 'https://xueqiu测试数据' #推测对该url发起请求会产生cookie session.get(main_url,headers=headers) url = 'https://xueqiu测试数据/v4/statuses/public_timeline_by_category.json' params = { 'since_id': '-1', 'max_id': '20346152', 'count': '15', 'category': '-1', } page_text = session.get(url,headers=headers,params=params).json() page_text
到此这篇关于python cookie反爬处理的实现的文章就介绍到这了,更多相关python cookie反爬内容请搜索自学php网以前的文章或继续浏览下面的相关文章希望大家以后多多支持自学php网！
以上就是关于python cookie反爬处理的实现全部内容,感谢大家支持自学php网。查看更多关于python cookie反爬处理的实现的详细内容...