抓取使用 React JS 和 BeautifulSoup 呈现的元素

IT技术 javascript python selenium reactjs beautifulsoup
2021-03-30 06:47:16

我想从这个特定页面的搜索结果中抓取 class="_1UoZlX" 的锚链接 - https://www.flipkart.com/search?as=on&as-pos=1_1_ic_sam&as-show=on&otracker=start&page=6&q=samsung +mobiles&sid=tyy%2F4io

当我从页面创建汤时，我意识到搜索结果是使用 React JS 呈现的，因此我无法在页面源代码（或汤）中找到它们。

这是我的代码

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


listUrls = ['https://www.flipkart.com/search?as=on&as-pos=1_1_ic_sam&as-show=on&otracker=start&page=6&q=samsung+mobiles&sid=tyy%2F4iof']
PHANTOMJS_PATH = './phantomjs'
browser = webdriver.PhantomJS(PHANTOMJS_PATH)
urls=[]

for url in listUrls:
    browser.get(url)
    wait = WebDriverWait(browser, 20)
    wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "_1UoZlX")))
    soup = BeautifulSoup(browser.page_source,"html.parser")
    results = soup.findAll('a',{'class':"_1UoZlX"})
    for result in results:
        link = result["href"]
        print link
        urls.append(link)
    print urls

这是我得到的错误。

Traceback (most recent call last):
  File "fetch_urls.py", line 19, in <module>
    wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "_1UoZlX")))
  File "/usr/local/lib/python2.7/site-packages/selenium/webdriver/support/wait.py", line 80, in until
    raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message: 
Screenshot: available via screen

有人在这个答案中提到有一种方法可以使用 selenium 来处理页面上的 javascript。有人可以详细说明吗？我做了一些谷歌搜索，但找不到适用于这种特殊情况的方法。

2个回答

您的代码没有问题，但您正在抓取的网站 - 它不会由于某种原因停止加载，从而阻止解析页面和您编写的后续代码。

我尝试使用维基百科确认相同：

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

listUrls = ["https://en.wikipedia.org/wiki/List_of_state_and_union_territory_capitals_in_India"]
# browser = webdriver.PhantomJS('/usr/local/bin/phantomjs')
browser = webdriver.Chrome("./chromedriver")
urls=[]

for url in listUrls:
    browser.get(url)
    soup = BeautifulSoup(browser.page_source,"html.parser")
    results = soup.findAll('a',{'class':"mw-redirect"})
    for result in results:
        link = result["href"]
        urls.append(link)
    print urls

输出：

[u'/wiki/List_of_states_and_territories_of_India_by_area', u'/wiki/List_of_Indian_states_by_GDP_per_capita', u'/wiki/Constitutional_republic', u'/wiki/States_and_territories_of_India', u'/wiki/National_Capital_Territory_of_Delhi', u'/wiki/States_Reorganisation_Act', u'/wiki/High_Courts_of_India', u'/wiki/Delhi_NCT', u'/wiki/Bengaluru', u'/wiki/Madras', u'/wiki/Andhra_Pradesh_Capital_City', u'/wiki/States_and_territories_of_India', u'/wiki/Jammu_(city)']

PS 我正在使用 chrome 驱动程序，以便针对真正的 chrome 浏览器运行脚本以进行调试。从https://chromedriver.storage.googleapis.com/index.html?path=2.27/下载 chrome 驱动程序

Selenium 将呈现包含 Javascript 的页面。您的代码运行正常。它正在等待元素生成。在你的情况下，Selenium 没有得到那个 CSS 元素。您提供的 URL 未呈现结果页面。相反，它正在生成以下错误页面。

http://imgur.com/a/YwFyE

此页面没有 CSS 类。您的代码正在等待那个特定的 CSS 元素。尝试Firefox网络驱动程序，看看发生了什么。

无头浏览器应该可以正常工作。常规浏览器将很容易看到输出。问题解决后，您可以切换到常规浏览器。Flipkart 大部分时间都在打开错误页面。您应该让脚本在发生时单击重试按钮。
2021-05-24 06:47:16
我正在使用无头浏览器。可能就是这个原因。将尝试使用常规浏览器。
2021-06-20 06:47:16
其它你可能感兴趣的问题
上一篇React - 从孩子身上移除props 下一篇如何使用样式组件覆盖 ExpansionPanelSummary 深层元素？