python 基于 mongoDB 的 urls 队列普通的 urls 队列储存在内存之中，不适用与多进程情况。在这篇文

　　普通的urls队列储存在内存之中，不适用与多进程情况。我们扩展一个支持多进程的健壮性的urls队列-----基于MongoDB的urls队列。
　　更加健壮性的队列，则需要考虑使用专用的消息传输工具，如：Celery。

我们首先给urls队列中的url定义四种状态：

1. OUTSTANAING = 0   未处理    当添加一个新url时，其url状态。
2. PROCESSING = 1     待处理    当url从队列中取出准备下载是，其url状态。
3. COMPLETE = 2       已处理    当下载结束后，其url状态。
4. ERROR = 3          处理失败  当下载失败时，其url状态。

将新添加进队列的url设置为 OUTSTANAING

 def push(self, url):
     """添加一个url到队列中，设置url状态为 未处理
         :param  url 添加到队列的url"""
     try:
         self.crawl_queue.insert(
             {'url': url, 'status': self.OUTSTANAING}
         )
     except errors.DuplicateKeyError as e:
         pass

　　对字段属性为 unique（唯一性）的字段进行多次重复插入，则会产生DuplicateKeyError错误，我们捕获DuplicateKeyError避免因重复数据对数据库的插入而造成的系统崩溃。

将从队列中取出的url设置为 PROCESSING

def pop(self): 
    """取得一个url，并更新url状态为待处理
      :return 一个未处理url
      :raise 没有未处理url则抛出KeyError异常"""
     record = self.crawl_queue.find_and_modify(
         query={'status': self.OUTSTANAING},
         update={'$set': {'status': self.PROCESSING, 'wait_time': datetime.datetime.now()}}
     )
     if record:
         return record['url']
     else:
         self.repair()
         raise KeyError()

　　队列中没有OUTSTANDING状态的url时，则抛出 KeyError,表示当前队列处理完成。
　　我们使用了一个timeout参数，默认值为300秒。如果某个URL处理时间超过这个timeout值，我们就认定处理过程中出现错误，URL状态被设置为OUTSTANDING，以便再次处理。

 def repair(self):
     """重置url状态为 未处理"""
     record = self.crawl_queue.find_and_modify(
         query={
             'wait_time': {'%lt': datetime.datetime.now() - datetime.timedelta(seconds=self.timeout)},
             'status': {'$ne': self.COMPLETE},
         },
         update={'$set': {'status': self.OUTSTANAING}}
     )
     if record:
         print '重置url状态', record['url']

下载结束后，将url设置为COMPLETE

 def complete(self, url):
     """更新url状态为 已处理"""
     self.crawl_queue.update({'url': url}, {'$set': {'status': self.COMPLETE}})

下载错误时，将url设置为ERROR

 def set_error(self, url):
     """更新url状态，处理异常URL"""
     self.crawl_queue.update({'url': url}, {'$set': {'status': self.ERROR}})

我们对队列进行抽象，以便适应与不同的数据库以及不同的表单字段。

     #mongoDB数据库集合（表单)
     self.crawl_queue = db_table
     #表单字段
     self.table_field = table_field

完整代码如下

class MongoQueue(object):
    """MongoQueue类 基于mongodb的urls队列
      定义了urls的四种状态信息
         OUTSTANAING = 0   未处理
         PROCESSING = 1    待处理
         COMPLETE = 2      已处理
         ERROR = 3         产生异常的url
     当添加一个新url是，其状态为 OUTSTANAING,
     当从队列中取出url准备下载时，其状态为 PROCESSING
     当url下载完成时，其状态为 COMPLETE
     当url处理中（包括下载以及后续解析下载的html）产生异常是，其状态为 ERROR"""

 OUTSTANAING = book_config.OUTSTANAING  # 未处理
 PROCESSING = book_config.PROCESSING  # 待处理
 COMPLETE = book_config.COMPLETE  # 已处理
 ERROR = book_config.ERROR  # 产生异常的url

 def __init__(self, db_table,table_field,timeout=300, mgDB=None):
     """初始化队列
         :param  db_table 需要操作的mongodb数据库集合(表单)
         :param  table_field 数据库集合字段
         :param  timeout url处理时间，如果处理时间大于设定值，则url状态重新设置为OUTSTANAING
         """
     self.crawl_queue = db_table
     self.timeout = timeout
     self.table_field = table_field
     #日志，输出到控制台
     self.console_logger = book_config.CONSOLE_LOGGER

 def __nonzero__(self):
     """查询数据库中是否有状态为 OUTSTANAING 的未处理url
         __nonzero__ 用于将类转换为布尔值。通常在用类进行判断和将类转换成布尔值时调用
         例如 if 对象 相当于 if 对象.__nonzero__()
         :return 如果存在未处理url则返回True,否则返回False"""

     record = self.crawl_queue.find_one(
         {'$or': [{'status': {'$ne': self.COMPLETE}}, {'status': {'$ne': self.ERROR}}]})
     return True if record else False

 def push(self, url):
     """添加一个url到队列中，设置url状态为 未处理
         :param  url 添加到队列的url"""
     try:
         self.crawl_queue.insert(
             {self.table_field: url, 'status': self.OUTSTANAING}
         )
     except errors.DuplicateKeyError as e:
         pass

 def pop(self):
     """取得一个url，并更新url状态为待处理
         :return 一个未处理url
         :raise 没有未处理url则抛出KeyError异常"""
     record = self.crawl_queue.find_and_modify(
         query={'status': self.OUTSTANAING},
         update={'$set': {'status': self.PROCESSING, 'wait_time': datetime.datetime.now()}}
     )
     if record:
         return record[self.table_field]
     else:
         self.repair()
         raise KeyError()

 def repair(self):
     """重置url状态为 未处理"""
     record = self.crawl_queue.find_and_modify(
         query={
             'wait_time': {'%lt': datetime.datetime.now() - datetime.timedelta(seconds=self.timeout)},
             'status': {'$ne': self.COMPLETE},
         },
         update={'$set': {'status': self.OUTSTANAING}}
     )
     if record:
         #print '重置url状态', record[self.table_field]
         self.console_logger.info(u'重置 url : ' + record[self.table_field] + u' 状态')

 def complete(self, url):
     """更新url状态为 已处理"""
     self.crawl_queue.update({self.table_field: url}, {'$set': {'status': self.COMPLETE}})

 def set_error(self, url):
     """更新url状态，处理异常URL"""
     self.crawl_queue.update({self.table_field: url}, {'$set': {'status': self.ERROR}})

if __name__ == '__main__:
    client = pymongo.MongoClient('localhost',27017)
    urls_table = client['urls_table']
    table_field = 'url'
    mq = MongoQueue(urls_table,table_field)
    # 添加一个url
    mq.push(url)
    # 取出一个url
    url = mq.pop()
    # 设置url处理完成
    mq.complete(url)
    # 设置url 处理失败
    mq.set_error(url)