python爬虫基础，小甲鱼，笔记

论一只爬虫的自我修养
①
python如何访问互联网？
python的电池:urllib
urllib=url+lib
url:网页地址

url由三部分组成：
第一部分是协议：http,https,ftp,file,ed2k
第二部分是存放资源的服务器的域名系统或IP地址（有时候要包含端口号，各种传输协议都有默认的端口号，如http的默认端口为80）。
第三部分是资源的具体地址，如目录或文件名等。

urlib分为四个模块，主要学urllib.request,它最复杂，因为它包含对服务器的请求发出，跳转，代理等方面

用urlopen()函数打开网页
打开网址会返回一个对象
对象是获取的网页，然后用read()函数读取网页，因为直接读取返回的是二进制的代码，所以还要用decode()方法解码

import urllib.request
response=urllib.request.urlopen('http://www.fishc.com')
html=response.read()
html=html.decode('utf-8')#将二进制解码
print(html)

插入一个小知识点，因为按照以前的f=open(路径，方式)的代码要加上try-finally来保证出错时也能关闭文件，是在繁琐，所以python引入了with语句来自动帮我们调用close()方法，和原来的try-finally是一样的，但是代码更加简洁，并且不必调用f.close()方法
如：

with open('路径'，'读写方式') as f:
print(f.read())

图片也是文件，不过它是由二进制数据组成的，所以待会open里的方式要写为’wb’

标签：网页,python,爬虫,urllib,甲鱼,html,read,open
来源： https://blog.csdn.net/heipao17/article/details/122455508