目标

1 打开安居客二手房页面，如 https://nanning.anjuke.com/sale/?from=navigation 。得到如下页面。

   通过分析发现，每个页面有60个二手房信息。一共有50页。

 

 

 

 

 

2 打开其中一个二手房的信息后，跳转到如下页面。我们的目标是要得到下图所示框起来的“房屋信息”的内容。

  也就是我们需要爬取 50 * 60 = 3000 个“房屋信息”

 

 

思路

1 打开安居客二手房页面，获取源码后，使用xpath抓取每个页面的二手房标题的跳转链接。如下图所示。以便进入跳转页面。

 

 

  当使用reques请求页面源码后，安居客的反爬机制会检测出我们的请求，提示如下页面。为了解决这个问题，我们应该使用代理IP。我们本次使用蘑菇代理IP。

1 import requests
2 url = 'https://nanning.anjuke.com/sale/p1/#filtersort'
3 response = requests.get(url)
4 print(response.text)

 

 

 

标签：房屋信息,如下,爬取,二手房,跳转,安居,页面
来源： https://www.cnblogs.com/weifeng1998/p/13236137.html