一个检测网页是否有日常链接的python脚本

2019-11-14 17:47:54

字体：大中小

来源：转载

供稿：网友

在大的互联网公司干技术的基本都会碰到测试、预发布、线上这种多套环境的，来实现测试和线上正式环境的隔离，这种情况下，就难免会碰到秀逗了把测试的链接发布到线上的情况，一般这种都是通过一些测试的检查工具来检查链接来规避风险的。前两天跟了一个问题也是这个情况，开发疏忽把日常url发布到线上了。但是测试那边没有自动化的监控工具，导致没有及时发现，由于最近正好在看python，后来处理完回家就想用python做个简单的监控。

大略思路是：用python写一个脚本来分析网页里的所有url，看是否包含日常的链接，然后把脚本放到crontab里跑定时任务，10分钟跑一次检查。如果发现非法链接，就发告警邮件给相关人员。脚本代码100行左右，比较好理解，贴上代码。

　　本来想用beautifulsoup，不过考虑到安装三方库麻烦，所以还是用自带的sgmllib来，不需要关心库。发邮件函数没有实现，根据各自的smtp服务器实现以下即可。

 1 #!/usr/bin/env python 2 #coding:UTF-8 3  4 import urllib2 5 from sgmllib import SGMLParser 6 import smtplib 7 import time 8 #from email.mime.text import MIMEText 9 #from bs4 import BeautifulSoup10 #import re11 12 class UrlParser(SGMLParser):13     urls = []14     def do_a(self,attrs):15         '''parse tag a'''16         for name,value in attrs:17             if name=='href':18                 self.urls.append(value)19             else:20                 continue21     22     def do_link(self,attrs):23         '''parse tag link'''24         for name,value in attrs:25             if name=='href':26                 self.urls.append(value);27             else:28                 continue29 30 def checkUrl(checkurl, isDetail):31     '''检查checkurl对应的网页源码是否有非法url'''32     parser = UrlParser()33     page = urllib2.urlopen(checkurl)34     content = page.read()35     #content = unicode(content, "gb2312").encode("utf8")36     parser.feed(content)37     urls = parser.urls38     39     dailyUrls = []40     detailUrl = ""41     for url in urls:42         if 'daily' in url:43             dailyUrls.append(url);44         if not detailUrl and not isDetail and 'detail.ju.taobao.com' in url:45             detailUrl = url46     47     page.close()48     parser.close()49     50     if isDetail:51         return dailyUrls52     else:53         return dailyUrls,detailUrl54 55 def sendMail():56     '''发送提醒邮件'''57     pass58     59 def log(content):60     '''记录执行日志'''61     logFile = 'checkdailyurl.log'62     f = open(logFile,'a')63     f.write(str(time.strftime("%Y-%m-%d %X",time.localtime()))+content+'/n')64     f.flush()65     f.close()66 67 def main():68     '''入口方法'''69     #检查ju70     url = "XXX.xxx.com"71 72     dailyUrls,detailUrl=checkUrl(url, False)73     if dailyUrls:74         #检查到daily链接，发送告警邮件75         sendMail()76         log('check: find daily url')77     else:78         #没检查到daily链接，不处理79         log('check: not find daily url')80 81     #检查judetail82     dailyUrls=checkUrl(detailUrl, True)83     if dailyUrls:84         #检查到daily链接，发送告警邮件85         log('check: find daily url')86         sendMail()87     else:88         #没检查到daily链接，不处理89         log('check: not find daily url')90 91 if __name__ == '__main__':92     main()