其他分享
首页 > 其他分享> > scrapy框架使用-模拟登陆

scrapy框架使用-模拟登陆

作者:互联网

####

 

#####

 

 

#### 

 

更多的时候是使用第三个办法,

####

 

思考,这个start_urls是谁发起的?

如果是访问的12306的个人主页,这个肯定就访问不到了,因为要登陆,

我们是否可以在发起这个请求之前构造cookies?

spider这个类,源码里面有内容:

 

#####

所以我们有必要的话,是可以重写这个start_requests这个方法的,

###

案例,访问人人网的个人主页

 

厉害了,字典推导式把cookies变成字典,

重写了start_requests这个方法的,

我们再去请求个人信息页,也会携带cookies的,因为scrapy,默认是携带上一次的cookies的,在settings里面有设置,

 

 

如果你不确定第二次请求有没有携带上一次的cookies,可以setting里面设置,cookies-debug,这样就可以运行的时候debug出来cookies内容了, 

 

 

####

 

 

 

 

 

 

 

 

 

####

标签:cookies,这个,框架,####,start,scrapy,个人主页,模拟
来源: https://www.cnblogs.com/andy0816/p/15059044.html