爬虫爬取网页源码中没有的(列表)数据

 时间:2024-11-11 06:13:36

1、确认主页的源代码 编写爬虫旯皱镢涛程序获取网页数据时,首先要确认数据链接的地址(url)。如果查看源代码能找到对应的数据,就直接使用主网页链接,如果找不到,意味着该数据的链接和主网页的链接不一样。 例如图中的列表数据,是无法通过主网页的链接得到的。主网页url :http://www.chinatrc.com.cn/zhongxindeng-web/product/list

爬虫爬取网页源码中没有的(列表)数据

2、打开网页监控 使用IE浏览器, 按F12将出现网页代码监控的画面。点击菜单中“网络”,会显示一些网络请求的列表,当网页中数据更新时,对应的新的请求将出现在列表中。

爬虫爬取网页源码中没有的(列表)数据

3、更新网页数据,在监控窗口中找到新出现的数据“请求” 如图所示,点击数据列表第2页,出现新数据的同时,监控窗口新增了2条请求。

爬虫爬取网页源码中没有的(列表)数据

4、查看新请求的镰噻孕藏详细内容,即可找到对应的数据链接 如图所示,查看黄色的“请求”时,“标头”内容的“请求URL”就是对应的请求链接。查看url构成可以看出,“p2”对应的是第2页的数据,那么第n页数据只需把“p2”改为“pn”即可。 请求 URL: http://www.chinatrc.com.cn/zhongxindeng-web/product/index/t-c-x-f-g-rs-re-ps-pe-p2-m-n

爬虫爬取网页源码中没有的(列表)数据
  • Pycharm怎么更改项目文件存放位置
  • 怎样设置pycharm的快捷键
  • pycharm怎么调背景颜色
  • Pycharm中怎么设置控制台自动换行
  • PyCharm怎样调整代码字体大小?
  • 热门搜索
    在家怎么做蛋糕 眼皮松弛怎么恢复 圣诞节英文怎么说 正当防卫4怎么设置中文 鼻塞流鼻涕怎么办 孩子早恋怎么办 久咳不愈怎么办 电饭煲怎么做蛋糕 雀斑怎么去除 怎么瘦肌肉型小腿