Readme.txt

测试环境：ubuntu 10.04 python 2.6.5
需要的第三方模块：BeautifulSoup

使用方法：
可以直接输入命令python T_Spider.py以默认参数运行
具体使用方法请输入命令python T_Spider.py -h查看

注意事项：
程序运行后会在当前目录创建一个Resource.txt文件，用于记录爬取到的资源链接，每次运行会将上一次的结果覆盖，程序未结束前打开Resource.txt有可能还没有写入
同时也会在当前目录创建一个sys_run.log的系统运行日志文件，下次的运行结果不会覆盖之前的，会以追加的方式写入
如果设置的爬取深度不够，即使没有达到资源上限爬虫也会结束
在windows下运行，没有换行，排版很乱
运行时间稍长，请耐心等待（本机测试，以默认参数运行时间为３５秒）

程序概述：
爬虫采用广度优先策略，以线程池的方式实现。
可以爬取a,img,link,script标签里的链接
TreadPoolSlot类是一个具体的线程实现，TreadPool类负责管理创建的线程，Spider类则是一个具体的爬虫。Spider.start方法向TreadPool中添加任务，而TreadPoolSlot不停的从TreadPool的任务队列中取出任务执行

TODO:
优化get_all_links方法（经测试发现在这个方法上花费的时间比较多）
增强爬虫的适应性。比如更改http头部的User-Agent域，伪装成浏览器发出的请求；控制并发数，以防被封ip
增加打开url的速度，设置头部的accept-encoding域为gzip
增加资源下载模块，将链接对应的资源下载到本地
改进程序的filter_links方法，使其不但可以爬取hao123下的资源，也可以爬取其他网站的资源
线程的结束应该更优雅