哈喽大家好，我是咸鱼
之前写了一篇关于文献爬虫的文章
文章发布之后有很多小伙伴给出了一些反馈和指正，在认真看了小伙伴们的留言之后，咸鱼对代码进行了一些优化
优化的代码在文末，欢迎各位小伙伴给出意见和指正
pycharm 设置 Edge 驱动器的环境报错“module 'selenium.webdriver' has no attribute 'EdgeOptions”
如果浏览器驱动已经下载，而放在了合适的位置（比如添加到环境变量里，或者放在了 python.exe 同级目录中）
那就可能是因为你使用的是较老的版本，Edge的选项已经被更新了。 建议更新 selenium 包以获得最佳的Edge选项支持
可以通过以下命令更新 selenium，建议更新到 4.6 以上版本
pip install -U selenium
因为 selenium 4.6 版本之后内置了一个组件：Selenium Manager
根据官网介绍，这个 Selenium Manager 可以帮助你获得一个运行 Selenium 的开箱即用的环境
如果在 PATH 中没有找到 Chrome、Firefox 和 Edge 的驱动，Selenium Manager的 Beta 1版将为它们配置。不需要额外的配置
这就意味着自己不需要再去下载安装浏览器驱动
中文文档链接：
https://www.selenium.dev/zh-cn/documentation/webdriver/getting_started/install_drivers/
只能爬取20倍数的文献篇数
有位粉丝发现每次爬取都是爬取 20 倍数的文献篇数（20、40、60）。假设要爬取 21 篇，但是却爬到了 40 篇
排查的时候发现是代码中的逻辑有一些 bug ，已经优化
获取不到网页的 xpath 元素
第一种可能是网页中的 xpath 元素并不是一成不变的，要参考自己的浏览器上的 Xpath。在我这可能是div[3]，在你那可能就不是这个了，所以说需要自己先定位一遍
第二种可能是网页加载太慢导致爬虫爬取不到，这种情况的话可以增加等待超时时间
关于网页加载太慢导致程序爬取不到元素报超时异常或者元素不存在异常
我的代码中用的都是显示等待 + 强制等待结合的方式。如果还是不行，小伙伴们可以自行设置超时时间
下面给出优化后的源码
import time from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from selenium.webdriver.common.desired_capabilities import DesiredCapabilities from urllib.parse import urljoin def open_page(driver, theme): # 打开页面 driver.get("https://www.cnki.net") # 传入关键字 WebDriverWait(driver, 100).until( EC.presence_of_element_located((By.XPATH, '''//*[@id="txt_SearchText"]'''))).send_keys(theme) # 点击搜索 WebDriverWait(driver, 100).until( EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div[2]/div/div[1]/input[2]"))).click() time.sleep(3) # 点击切换中文文献 WebDriverWait(driver, 100).until( EC.presence_of_element_located((By.XPATH, "/html/body/div[3]/div[1]/div/div/div/a[1]"))).click() time.sleep(3) # 获取总文献数和页数 res_unm = WebDriverWait(driver, 100).until(EC.presence_of_element_located( (By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em"))).text # 去除千分位里的逗号 res_unm = int(res_unm.replace(",", '')) page_unm = int(res_unm / 20) + 1 print(f"共找到 {res_unm} 条结果, {page_unm} 页。") return res_unm def crawl(driver, papers_need, theme): # 赋值序号, 控制爬取的文章数量 count = 1 # 当爬取数量小于需求时，循环网页页码 while count <= papers_need: # 等待加载完全，休眠3S time.sleep(3) title_list = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, "fz14"))) # 循环网页一页中的条目 for i in range(len(title_list)): try: if (count % 20) != 0: term = count % 20 # 本页的第几个条目 else: term = 20 title_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[2]" author_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[3]" source_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[4]" date_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[5]" database_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[6]" title = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, title_xpath))).text authors = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, author_xpath))).text source = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, source_xpath))).text date = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, date_xpath))).text database = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, database_xpath))).text # 点击条目 title_list[i].click() # 获取driver的句柄 n = driver.window_handles # driver切换至最新生产的页面 driver.switch_to.window(n[-1]) time.sleep(3) # 开始获取页面信息 title = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH ,"/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h1"))).text authors = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH ,"/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h3[1]"))).text institute = WebDriverWait(driver, 10).until(EC.presence_of_element_located( (By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h3[2]"))).text abstract = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, "abstract-text"))).text try: keywords = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, "keywords"))).text[:-1] cssci = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[1]/div[1]/a[2]"))).text except: keywords = '无' cssci = 'NULL' url = driver.current_url res = f"{count}\t{title}\t{authors}\t{cssci}\t{institute}\t{date}\t{source}\t{database}\t{keywords}\t{abstract}\t{url}".replace( "\n", "") + "\n" print(res) '''写入文件,有需要的小伙伴可以去掉注释''' # with open(f'CNKI_{theme}.tsv', 'a', encoding='gbk') as f: # f.write(res) except: print(f" 第{count} 条爬取失败\n") # 跳过本条，接着下一个 continue finally: # 如果有多个窗口，关闭第二个窗口， 切换回主页 n2 = driver.window_handles if len(n2) > 1: driver.close() driver.switch_to.window(n2[0]) # 爬完一篇计数加 1 count += 1 if count > papers_need: break WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//a[@id='PageNext']"))).click() if __name__ == "__main__": print("开始爬取！") # get直接返回，不再等待界面加载完成 desired_capabilities = DesiredCapabilities.CHROME desired_capabilities["pageLoadStrategy"] = "none" # 设置驱动器的环境 options = webdriver.EdgeOptions() # 设置chrome不加载图片，提高速度 options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2}) # 设置不显示窗口 options.add_argument('--headless') # 创建一个浏览器驱动器 driver = webdriver.Edge(options=options) # 输入需要搜索的主题 # theme = input("请输入你要搜索的期刊名称：") theme = "python" # 设置所需篇数 # papers_need = int(input("请输入你要爬取篇数：")) papers_need = 100 res_unm = int(open_page(driver, theme)) # 判断所需是否大于总篇数 papers_need = papers_need if (papers_need <= res_unm) else res_unm crawl(driver, papers_need, theme) print("爬取完毕！") # 关闭浏览器 driver.close()