selenium在执行phantomjs的API并获取执行结果的方法

前言

因为最近要写一个抓取sitemap和相应的参数的小脚本，现有的爬虫无论用什么语言写的，几乎都无法抓取参数，所以我思考了一下，先做一个简单的总结。

本来以为写个这种sitemap的爬虫很简单，经过思考之后才发现其中的可怕之处，最关键的是参数的提取，这个太麻烦了。。。这个时候才发现AWVS的无敌和强大之处。。。

如果我们要获取网站的sitemap同时还要抓取对应链接的参数，我大概总结了url的几个来源：

1、页面上直接现有的form表单以及现有的href等指向的链接及参数，这个相对比较简单，不过要考虑post和get的问题。

2、由js生成的DOM中的form表单和href指向的链接

3、由js发起的访问请求，例如AJAX请求等

4、通过点击然后调用js发送请求，或是点击生成一个form或是生产一个DOM，然后再点击再由js发送请求。例如如下代码

 <div> <input id="searchTitle" name="searchTitle" value="" type="text"> <div class="button" onclick="javascript:searchWeb();"></div> </div>

5、通过setTimeout函数延迟触发的js的请求，例如setTimeout("request()", 2000);，这一类我暂时还没有太好的办法解决，不过有初步的办法，后面会说到。

目前我大概想到这么五类，肯定还有没考虑到的地方，并且目前实际的代码还没有写出来，我先记录一下我的想法，要是有哪位师傅有兴趣请务必联系我。。。。orz。。

要解决上述的5个问题，因为我的工程的前半部分使用python写的，所以这里我需要用python来解决，那么最佳选择必然是selenium和phantomjs，其实比起来我更想用原生的phantomjs来写。

用phantomjs的话第一个和第二个问题不攻自破，直接正则匹配下来就行了，因为它会帮我们先把页面的js执行了。

第三个问题也相对比较好解决，我们通过原生phantomjs的APIonResourceRequested就能够监控所有从页面发出去的请求。

然后再来看第四个问题，我目前的想法应该没有办法彻底解决，我们同样可以用phantomjs向页面的所有的dom发送一个click事件，但是这样子的话时间是一个很大的问题，所以初步想法向所有具有onclick事件的标签发送点击事件

然后再来看第五个问题，这应该是最麻烦的一个，我初步的想法还是用onResourceRequested事件，然后设置一个超时时限，让页面执行个几秒钟，但是最后我还是放弃了这个想法，我决定忽视这个问题，因为如果每个页面都等上几秒那时间耗费不堆上天了。

以上就是我目前初步的一些思考，还有很多不成熟之处。

selenium与phantomjs联动的问题

之前一直知道有selenium这个东西，不够因为没有地方需要，也没有可以去学习，不过对phantomjs可能会稍微熟悉一些。