获取bing带swim的网址列表

需求背景：
    应老婆要求，搜集带有swim关键字的网站。
实现过程：
   使用requests模块通过bing接口搜索swim关键，将返回内容按需求进行处理，得到网站列表。
  注：代码比较拙，老司机就不要弄废时间了。。
#coding:utf-8
#author:fengyun
#应老婆要求，输出bing/google带swim的网址
import requests
import re
# 获得搜索的内容，供后续URL过滤用
def load_page(url):
    response=requests.get(url)
    data=response.content
    return data

#对页面内容按需求进行过滤，并打印url列表
def get_image(html):
    regx = r'http://[\S]*swim[\S]*.com'  # 定义URL地址正则表达式
    pattern = re.compile(regx)  # 编译表达式构造匹配模式
    get_images_urls = re.findall(pattern, repr(html))  # 在页面中匹配图片链接
    for url in get_images_urls:
        m = re.search('microsoft',url)
        if m:
            real = re.findall('2fwww[\S]*',repr(url))
            #print(real.group())
            for  i in real:
                s = i.replace('2f','')
                s1 = s.replace('\'','')
                print(s1)
        else:
            print(url)

    # 定义爬取页面的链接
url = 'https://cn.bing.com/search?q=swim'
html = load_page(url)   #调用获取页面内容的函数
get_image(html)

标签：swim,get,url,bing,列表,re,html
来源： https://www.cnblogs.com/cwind/p/10427723.html