python爬虫之Beautiful Soup库（3）

文章目录

• • 一. “中国大学mooc排名定向爬虫”实例
  • 二.“中国大学mooc排名定向爬虫”实例优化 chr(12288)
  • 三.注释：

一. “中国大学mooc排名定向爬虫”实例

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^10}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型'))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()
    

二.“中国大学mooc排名定向爬虫”实例优化 chr(12288)

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return""
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string])
            
def printUnivList(ulist,num):
    print("{:^10}\t{:^14}\t{:^10}\t{:^10}".format("排名",'院校','所在地','类型',chr(12288)))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^10}\t{:^10}\t{:^10}'.format(u[0],u[1],u[2],u[3]),chr(12288))
def main():
    uinfo=[]
    url="http://www.dxpmw.com/"
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,6)#20 univs
main()
    

三.注释：

1.查看此网页是否遵循robots协议:
https://www.shanghairanking.cn/robots.txt
如果出现404，则说明没有robots协议。
2.[sublime]将很乱的代码一键对齐：
按ctrl+shift+p，弹出选项，选择下面这项Indentation:Reindent Lines
3.怎么理解soup=BeautifulSoup(html,‘html.parser’)
是指定Beautiful的解析器为“html.parser”
博客参考链接: https://blog.csdn.net/winterto1990/article/details/47806175.
4.isinstance() 函数来判断一个对象是否是一个特定类型，类似于type()函数。
isinstance(tr, bs4.element.Tag) 这一语句可以用来判断tr(一个预先获取或定义的内容）是否属于bs4库中tag类型。
如果是，返回True；如果不是，返回False。
5.系统默认填充的是英文空格，而我们输出占用的是中文字符的宽度。单位不一致，就会出现不能对齐的状况。
——解决方法：

将中文输出部分原先的默认英文空格填充换成中文空格填充，如 chr(12288) ，即可解决问题

标签：Beautiful,10,string,python,tr,Soup,html,tds,def
来源： https://blog.csdn.net/qq_50542033/article/details/116381042