在采集列表分页内容的时候,会发现有的列表分页,点击第二页、第三页(或下一页)时,列表的页面信息有变化,但是浏览器上网址却不变。这种信息在页面是看不到的,一般要通过fiddler抓包工具抓包分析,即通过火车采集器post方式分页采集。
以下用这个网址来测试http://www.yidianda.com/category/three/1-7-24.html 这个网址有3页,链接都是相同的。
1、先通过源代码找到这个页面的开始标签和结束标签,页面开始是1/3页,结束是下一页>到第页。如下通过源代码可找到:
2、打开fiddler抓包工具,分别点击第2页和第3页,看看分别获取了哪些信息。当获取完一个页面后,先按下键盘F12暂停,提取信息。不然的话fiddler会继续抓取信息、信息多的话不好查找。
由于图片比较不好查找,通过点击fiddler上的“View in Notepad”提取出来进行比较如下:
ec_p=2&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=
ec_p=3&url=&flag=1&sortType=&s_keyword=&s_minprice=&s_maxprice=
从上可以知道ec_p的值就是分页。火车采集设置如下:
注:以上规则设置完,记得点击保存哦。有的页面有id=这样的参数(有的会变,通过源代码查看),一般是[POST随机值x],这里不需要填也可以。
fiddler下载地址http://pan.baidu.com/s/1gfPOgrL(中文版不用升级)最后链接测试采集如下
博客趣(bokequ.com),一个分享web前端开发,个人网站建设,wordpress建站教程,cms建站教程,网站推广运营,个人博客模板,个人主题模板的原创博客网站
享誉业内的水质解决方案生产商。水质安全、流量控制、防倒流、排水。了解更多有关我们产品的信息!
成都华商暖通专业致力于地暖、暖气片、中央空调、新风系统、净水系统和家用电梯解决方案。构建了集销售、设计、施工、监理、售后为一体的暖通服务平台
叶子个人博客,是一个伪文艺女码农个人网站,分享工作经验和生活,值得大家收藏的原创博客网站。
樱花动漫拥有上万集高清晰画质的在线动漫,观看完全免费、无须注册、高速播放、更新及时的专业在线樱花动漫站,我们致力为所有动漫迷们提供最好看的动漫
188收录网,优质网址导航目录平台,为您提供免费网站收录提交,网站目录提交入口,免费自动秒收录网址,提供自动收录网站,网址导航源码,自动链,友情链接交换。
Copyright ©2021 九九极客云 网址导航,网站收录,网址大全,网站分类目录 粤ICP备15025043号