tangs 11 месяцев назад
Родитель
Сommit
51ea5dae2f
1 измененных файлов с 2 добавлено и 1 удалено
  1. 2 1
      spider.py

+ 2 - 1
spider.py

@@ -64,12 +64,13 @@ def add_paper(file_path):
                     inserted_ids += len(result.inserted_ids)
                     sub_list = []
 
+                print('-------process', inserted_ids, '/', '7318795')
+
             if sub_list:
                 result = papers.insert_many(sub_list, ordered=False)
                 inserted_ids += len(result.inserted_ids)
                 sub_list = []
 
-        print('-------process', inserted_ids, '/', '7318795')
     except pymongo.errors.BulkWriteError as e:
         inserted_ids = e.details['nInserted']
     finally: