反爬原因

• 爬虫占总PV高，浪费了服务器的流量资源
• 资源获取太多导致公司造成损失
• 法律的灰色地带

种类

• 数据污染反爬，数据陷阱反爬，大文件url反爬，这些都需要累计熟练度来进行处理

解决方案：没有什么技巧，都是通过观察，如果提取不到想要数据就需要多尝试，这是一个熟练度的问题

• 数据加密反爬，猫眼电影评分数据加密
  

解决方案1：先右键检查元素

通过对比就可以发现他是有自己的一个字体库，只要把这个加密的数据进行一个一对一翻译，就可以拿到我们想要的数据

解决方案2：可以切换手机端查看数据

可以发现他的数据是没有加密的，可以直接获取

• 对此又出现了一套新的反爬方案，每次进入浏览器都会更新这个字体方案
• css数据偏移反爬

简单来说就是通过css来把数据分开标签来存储，增加数据解析的难度
解决方案：只是增加了我们的数据分析步骤

• 通过js生成数据渲染到浏览器进行反爬

通过post请求获取js的数据即可

• 通过图片进行反爬

把数据放入一张图片中不让直接获取数据

标签：加密,python,反爬,爬虫,js,解决方案,数据,css
来源： https://www.cnblogs.com/mikizero/p/15291731.html