python爬虫xpath详解 -凯发ag旗舰厅登录网址下载

目录

一、xpath介绍

二、安装lxml

三、xpath解析原理

四、实例化一个etree对象

五、xpath表达式

六、爬虫实战

---

一、xpath介绍

xpath是一门在 xml 文档中查找信息的语言。最初是用来搜寻 xml 文档的，但同样适用于 html 文档的搜索。所以在做爬虫时完全可以使用 xpath 做相应的信息抽取。

二、安装lxml

lxml是python的一个第三方解析库，支持html和xml解析，而且效率非常高，弥补了python自带的xml标准库在xml解析方面的不足。

由于是第三方库，所以在使用 lxml 之前需要先安装：pip install lxml

三、xpath解析原理

1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。

2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。

四、实例化一个etree对象

 1.将本地的html文档中的源码数据加载到etree对象中：
        etree.parse(filepath)
 2.可以将从互联网上获取的源码数据加载到该对象中
        etree.html('page_text')

3.xpath('xpath表达式')

五、xpath表达式

• /:表示的是从根节点开始定位。表示的是一个层级。
•  //:表示的是多个层级。可以表示从任意位置开始定位。
•  属性定位：//div[@class='zhang'] tag[@attrname="attrvalue"]
•  索引定位：//div[@class="zhang"]/p[3] 索引是从1开始的。
•   取文本：/text() 获取的是标签中直系的文本内容、//text() 标签中非直系的文本内容（所有的文本内容）
•   取属性： /@attrname     ==>img/src

六、爬虫实战

爬取二手房信息

import requests from lxml import etree# 使用xpath 爬取二手房信息headers = {'user-agent' :'mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/94.0.4606.81 safari/537.36' } url = 'https://bj.58.com/ershoufang/{0}/?pgtid=0d30000c-0000-1bdc-b1e5-d9efea8142e9&clickid=1' fp = open('58二手房.txt','w',encoding='utf-8') for page in range(1,6):page = str(page)new_url = url.format(page)page_text = requests.get(url=new_url,headers=headers).texttree = etree.html(page_text)div_list = tree.xpath('//section[@class="list"]/div')for div in div_list:title = div.xpath('./a//h3/@title')[0]roomsandhalls = div.xpath('./a//div[@class="property-content-info"]//span/text()')address = div.xpath('./a//div[@class="property-content-info property-content-info-comm"]//span/text()')house_year = div.xpath('./a//span[@class="property-content-info-tag"]/text()')total_price = div.xpath('./a//p[@class="property-price-total"]//span/text()')total_area = div.xpath('./a//p[@class="property-price-average"]//text()')roomsandhalls = ''.join(roomsandhalls)address = ''.join(address)house_year = ''.join(house_year)total_price = ''.join(total_price)total_area = ''.join(total_area)# print(title)# print(''.join(roomsandhalls))# print(''.join(address))# print(''.join(house_year))print(title '======>' roomsandhalls '======>' address '======>' house_year '======>' total_price '======>' total_area)fp.write(title '======>' roomsandhalls '======>' address '======>' house_year '======>' total_price '======>' total_area '\n')

其实xpath很简单，只要把表达式理解对就没啥大问题。详细代码：爬虫源码

总结

以上是凯发ag旗舰厅登录网址下载为你收集整理的的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得凯发ag旗舰厅登录网址下载网站内容还不错，欢迎将凯发ag旗舰厅登录网址下载推荐给好友。