本文共 729 字,大约阅读时间需要 2 分钟。
def getItem(url,code): "爬取标题+正文,url=str此章节的" hd = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.4071 SLBChan/21"} url = url + code print(url) # 测试打印 page = requests.get(url,headers=hd) page.encoding = page.apparent_encoding soup = BeautifulSoup(page.text, 'html.parser') tBody = soup.find('div',attrs={ 'class':"wrapper_main"}) # title_M = tBody.find('div',attrs={'class':"h1title"}).h1.text text_M = tBody.find('div', attrs={ 'id': "htmlContent"}) return text_M.text.replace("书首页 返回目录 下一页","").replace("上一页 返回目录 下一页","").replace("上一页 返回目录 书末页","")
转载地址:http://pbuhf.baihongyu.com/