爬虫知识清单

url="http://www.jnvc.cn/"

rq=requests.get(url)

rq.encoding="utf-8"

dom = etree.HTML(rq.text)

product_name= dom.xpath('//div[@class="header"]/div[@class="nav"]/ul/li/a/text()')

product_desc= dom.xpath('//div[@class="header"]/div[@class="nav"]/ul/li/a/@href')

data={

    'product_name':product_name,

    'product_desc':product_desc

}

data_frame= pd.DataFrame(data)#将数据转化成结构化形式（数据框）

data_frame.to_csv('ss.csv',index=None,encoding='utf-8-sig')#数据存储

标签：product,rq,知识,爬虫,清单,div,data,class,desc
来源： https://blog.csdn.net/qq_60384774/article/details/120913955