highfather / crawlsohu

crawlsohu

题目：

请设计一个系统，自动完成对于手机搜狐(http://m.sohu.com/)系统可靠性的检测。具体要求：

1. 递归检测所有m.sohu.com域名的页面以及这些页面上的链接的可达性，即有没有出现不可访问情况。
2. m.sohu.com域名页面很多，从各个方面考虑性能优化。
3. 对于错误的链接记录到日志中，日志包括：URL，时间，错误状态等。

要求：不使用框架。 加分项：使用并发方式实现。