在Python中使用Selenium提取JavaScript生成的HTML?萤火虫?
作者:互联网
Python noobie在这里.
我有一个数据收集问题.我在此网站上,当我检查Firebug所需的元素时,它会显示包含所需信息的来源.但是,常规源代码(没有Firebug)不会提供此信息.这意味着我也无法通过普通的硒HTML抓取来获取数据.
我想知道是否有一种方法可以像Firebug一样捕获硒数据-我猜这是在页面加载javascript或jquery之后生成的HTML.
这是一张图片:
http://i.imgur.com/CXLOHYx.png
您可以看到我想要的信息是“灰色”的,这与大多数其他HTML不同.也许这是一个真正的数据类型的好线索.
解决方法:
尝试使用以下代码,看看它是否有效.
import selenium.webdriver.support.ui
element = WebDriverWait(driver, 10).until(
lambda driver : driver.find_element_by_xpath("fImageMap > area:nth-child(2)")
)
标签:python,selenium,selenium-webdriver,web-scraping,firebug 来源: https://codeday.me/bug/20191010/1884581.html