编程语言
首页 > 编程语言> > 062 Python必备库-从Web解析到网络空间

062 Python必备库-从Web解析到网络空间

作者:互联网

 

目录

 

一、概述

二、Python库之网络爬虫

2.1 Requests

Requests: 最友好的网络爬虫功能库,http://www.python-requests.org/

062-从Web解析到网络空间-01.jpg?x-oss-process=style/watermark

import requests
r = requests.get('https://api.github.com/user', auth=('user', 'pass'))

r.status_code
r.headers['content-type']
r.encoding
r.text

2.2 Scrapy

Scrapy: 优秀的网络爬虫框架,Python数据分析高层次应用库,https://scrapy.org

062-从Web解析到网络空间-02.jpg?x-oss-process=style/watermark

2.3 pyspider

pyspider: 强大的Web页面爬取系统,http://docs.pyspider.org

062-从Web解析到网络空间-03.jpg?x-oss-process=style/watermark

三、Python库之Web信息提取

3.1 Beautiful Soup

Beautiful Soup: HTML和XML的解析库,https://www.crummy.com/software/BeautifulSoup/bs4

062-从Web解析到网络空间-04.jpg?x-oss-process=style/watermark

3.2 Re

Re: 正则表达式解析和处理功能库,https://docs.python.org/3.6/library/re.html

3.3 Python-Goose

Python-Goose: 提取文章类型Web页面的功能库,https://github.com/grangier/python-goose

from goose import Goose
url = 'http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html'
g = Goose({'use_meta_language': False,'target_language':'es'}) 
article = g.extract(url=url)
article.cleaned_text[:150]

四、Python库之Web网站开发

4.1 Django

Django: 最流行的Web应用框架,https://www.djangoproject.com

062-从Web解析到网络空间-05.jpg?x-oss-process=style/watermark

4.2 Pyramid

Pyramid: 规模适中的Web应用框架,https://trypyramid.com/

# 10行左右Hello Word程序
from wsgiref.simple_server import make_server 
from pyramid.config import Configurator
from pyramid.response import Response

def hello_world(request):
    return Response('Hello World')

if __name__ == '__main__':
    with Configurator() as config:
        config.add_route('hello', '/')
    config.add_view(hello_world, route_name='hello')
    app = config.make_wsgi_app()
    server = make_server('0.0.0.0', 6543, app)
    server.serve_forever()

4.3 Flask

Flask: Web应用开发微框架,http://flask.pocoo.org

062-从Web解析到网络空间-06.jpg?x-oss-process=style/watermark

from flask import Flask 

app = Flask(__name__) 

@app.route('/')
def hello_world():
    return 'Hello, World!'

五、Python库之网络应用开发

5.1 WeRoBot

WeRoBot: 微信公众号开发框架,https://github.com/offu/WeRoBot

# 对微信每个消息反馈一个Hello World
import werobot
robot = werobot.WeRoBot(token='tokenhere')

@robot.handler
def hello(message):
    return 'Hello World!'

5.2 aip

aip: 百度AI开放平台接口,https://github.com/offu/WeRoBot

062-从Web解析到网络空间-07.jpg?x-oss-process=style/watermark

5.3 MyQR

MyQR: 二维码生成第三方库,https://github.com/sylnsfar/qrcode

062-从Web解析到网络空间-08.jpg?x-oss-process=style/watermark

六、单元小结

6.1 从Web解析到网络空间

标签:Web,062,框架,Python,爬虫,网络空间,https,com
来源: https://www.cnblogs.com/abdm-989/p/14130097.html