编程语言
首页 > 编程语言> > python网络爬虫(第六章:协程的实现方法)

python网络爬虫(第六章:协程的实现方法)

作者:互联网

1.协程

协程(Coroutine):又称微线程,是一种用户态内的上下文切换技术。简而言之,就是通过一个线程实现代码块相互切换执行。

意义:在一个县城中如果遇到IO等待时间,线程不会傻傻等,会在空闲的时间再干其他事情。

一个线程,可以认为是人为的控制线程在函数之间进行线程切换,且仅有一个线程来完成切换。

实现协程的方法

1.greenlet 早期模块
2.yield关键字  yield是python中的生成器
3.asyncio装饰器(py3.4)
4.async、await关键字(py3.5)【推荐】

1.1greenlet实现协程

安装:

pip install greenlet

# 1. greenlet实现协程

from greenlet import greenlet

def func1():
    print(1)    #第二步:输出1
    gr2.swith()     #第三步:切换到func2函数
    print(2)    #第六步:输出2

def func2():
    print(3)    #第四步:输出3
    gr1.switch()    #第五步:切换到func1函数
    print(4)    #第七步:输出4

gr1 = greenlet(func1())
gr2 = greenlet(func2())

gr1.switch()    #第一步:执行func1函数

1.2 yield关键字实现协程

# 2. yield关键字 实现协程

def func1():    #如果一个函数中,存在yield关键字,则认为是一个生成器,则执行该函数,就生成一个生成器
    yield 1     #第二步:输出1
    yield from func2()  #第三步:表示跳到func2函数中
    yield 2     #第六步:输出2

def func2():
    yield 3     #第四步:输出3
    yield 4     #第五步:输出4

f1 = func1()
for item in f1:
    print(item) #第一步:执行func1函数

1.3 asyncio 实现协程

# 3. asyncio 实现协程【无需安装,但要求python需3.4及以上版本】
# 注意:遇到IO阻塞自动切换

import asyncio

@asyncio.coroutine
def func1():    #func1位普通函数,添加了asynic.coroutine装饰器后,则认为该函数为协程函数
    print(1)
    yield  from asyncio.sleep(2)  # 遇到IO耗时操作,自动切换到tasks中的其他任务
    print(2)

@asyncio.coroutine
def func2():
    print(3)
    yield  from asyncio.sleep(2)    # 遇到IO耗时操作,自动切换到tasks中的其他任务
    print(4)

#协程函数的执行, 则无法使用func1()方法进行执行,需要以下的方法进行执行
# loop = asyncio.get_event_loop()
# loop.run_until_complete(函数名称)  #使用以上代码,执行函数的协程操作 如:loop.run_until_complete(func())


#对func1和func2函数进行封装, 然后使用下面的4句代码,在pyhton内部,同时会执行这两个协程函数,线程会随机执行所有函数中的一个
tasks = [
    asyncio.ensure_future(func1()),
    asyncio.ensure_future(func2())
]

# 线程函数会随机执行func1和func2协程函数
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

假设首先执行func1函数,则在遇到 yield from asyncio.sleep(2),线程会跳转到其他协程函数中,但因为该python文件中仅有2个协程函数,
#因此,跳转执行func2函数,而在func2函数中遇到yield from asyncio.sleep(2),就又会跳转到func1函数冲,输出2,最后再到func2函数中,输出4.结束本次操作
#本代码输出结果为: 1 3 2 4

1.4 asyn &await 实现协程

# 4. async & await关键字【推荐】  在python3.5及以上


import asyncio


async def func1():    #func1位普通函数,添加了asynic.coroutine装饰器后,则认为该函数为协程函数
        print(1)
        await asyncio.sleep(2)  # 遇到IO耗时操作,自动切换到tasks中的其他任务
        print(2)

@asyncio.coroutine
async def func2():
        print(3)
        await asyncio.sleep(2)    # 遇到IO耗时操作,自动切换到tasks中的其他任务
        print(4)


#对func1和func2函数进行封装, 然后使用下面的4句代码,在pyhton内部,同时会执行这两个协程函数,线程会随机执行所有函数中的一个
tasks = [
    asyncio.ensure_future(func1()),
    asyncio.ensure_future(func2())
]

# 线程函数会随机执行func1和func2协程函数
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

#说明:asyncio和 async & await区别不大,只是将@asyncio.coroutine替换为 asyn ;将yield from 替成 await,其他的都没变

标签:func2,func1,协程,函数,python,爬虫,yield,asyncio
来源: https://blog.csdn.net/qq_38633279/article/details/119254258