经典的爬虫面试题
网站：http://datamining.comratings.com/exam
如何抓取10个ip，这题很经典，当时淘汰了很多扒手，去年我也搞了很久。
在这里插入图片描述
先查看网页源代码，啥也没有
<iframe src="/exam2" frameborder="no" width="750" height="500"></iframe>
看不懂就抓包
在这里插入图片描述
可以看到经过了2次请求，最后在http://datamining.comratings.com/exam3中得到数据，现在注意resquesr中的hearder传入的参数
那就先请求一次，第二次带上hearders
在这里插入图片描述
去掉hearders中的参数
在这里插入图片描述
有经验的人就知道cookie是重要参数
思路分析cookie 的三个值怎么来
用seesion来保存cookie
cookie中有一个值是session，说明了用session访问时，必须拿到session的值
将cookie搞定，访问最后的链接 http://datamining.comratings.com/exam3
在这里插入图片描述 就是三个值而已，到底从哪里来的，摆明就是js生成的，那赶紧找第一次的js
在这里插入图片描述
复制js
在这个http://tool.oschina.net/codeformat/js/ 网站js格式化
在这里插入图片描述
在控制台运行一下，就是返回一样的页面
在这里插入图片描述 之后下一次请求在抓包没有发现js，而且cookies已经生成
在这里插入图片描述
神坑：这里的js还要需要html渲染
那就写个html 将上面js直接渲染，看看发生了啥？
在这里插入图片描述
果然不出我料，这个cookies生成的js终于找到了
在这里插入图片描述
格式化，将之前的js 替换
在这里插入图片描述
两张图片连在一起
在这里插入图片描述
难点：将js用python复写
补充下JavaScript charAt() 方法
将这个js函数用python改写
在这里插入图片描述
将js中的变量复到python文件中，调用自己写的f1
在这里插入图片描述
测试，输出了c2的值
在这里插入图片描述
现在问题转成了怎么搞定session
debug搞定
用debug看下r.cookies 中的seesion位置
在这里插入图片描述
在这里插入图片描述
还要正则处理将session匹对出来
在这里插入图片描述
再看下js，这个c1和c2怎么来的，具体调用了什么方法
在这里插入图片描述
不就是取前面几个切片，再调用f1函数
在这里插入图片描述
将参数传入，搞定
在这里插入图片描述
我终于看到了数字ip了
说明下：现在网站访问不了，好像被封了，所以代码不提供。
最后，祝有所学习，有所成长
转发，好看支持一下，感谢
你的转发，就是对我最大的支持