it之家热评 优化逻辑，添加注释

ithome/config.py

@@ -1,7 +1,9 @@
 '''
 mongodb的配置文件
 '''
-
+# 数据库url
 MONGO_URL = 'localhost'
+# 数据库名
 MONGO_DB = 'ithome'
-MONGO_TABLE = 'hotcomment_network'
+# 数据库表
+MONGO_TABLE = 'hotcomment_it'

ithome/pipeline.py

@@ -9,6 +9,7 @@
 client = MongoClient(MONGO_URL, connect=True)
 db = client[MONGO_DB]
 
+# 将记录写入数据库
 def save_to_mongo(result):
  if db[MONGO_TABLE].insert(result):
  print('存储成功', result)

ithome/spider.py

@@ -91,9 +91,8 @@ def parse_news_id(categoryid, page_start):
 
 
 import time
-# 写了一个检测函数运行时间的装饰器
-
 
+# 写了一个检测函数运行时间的装饰器
 def clock(func):
  def clocked(*args):
  t0 = time.perf_counter()
@@ -109,10 +108,10 @@ def clocked(*args):
 
 #@clock
 def main(page_start):
- # 苹果分类的id
- APPLE_ID = '32'
+ # 新闻分类的id
+ ID = '31'
  # 建立苹果新闻分类对象
- apple = parse_news_id(APPLE_ID, page_start)
+ apple = parse_news_id(ID, page_start)
 
  # 利用迭代器抓取热评
  for newsid in apple:
@@ -131,9 +130,9 @@ def main(page_start):
 
  # 开启多进程模式
  from multiprocessing import Pool
- pool = Pool()
+ pool = Pool() 
  # 进程池，每个进程抓取10页新闻的热评
- groups = ([x for x in range(1, 31,10)])
+ groups = ([x for x in range(111, 191,10)])
  pool.map(main, groups)
  pool.close()
  pool.join()