 tangs
|
9e5881c49b
modify 遍历consumed的数据时添加try except和重试的机制；添加fetch数据日志
|
hai 1 ano |
|
tangs
|
51ea5dae2f
modify 添加print
|
hai 1 ano |
|
tangs
|
ae068d4e5a
modify 调整paper的读取为按行读取
|
hai 1 ano |
|
tangs
|
70be831bed
modify 分批插入paper列表
|
hai 1 ano |
 Ben
|
b0903ea210
fix recommendedPapers name
|
hai 1 ano |
|
Ben
|
a1279945fb
fix: avoid judging each data in the loop
|
hai 1 ano |
|
Ben
|
5e34cceace
config.json: add num_threads、task_queue_len
|
hai 1 ano |
|
Ben
|
f85a75602d
fix papers_data.create_index
|
hai 1 ano |
|
Ben
|
ea5d771230
use get_recommender_pages instead of get_related_pages
|
hai 1 ano |
|
Ben
|
6f26b448a2
add a web scraping APIs and improve data formatting
|
hai 1 ano |
|
Ben
|
7447a03eff
fix crawl_data
|
hai 1 ano |
|
Ben
|
4cbd861f0a
fix add_paper
|
hai 1 ano |
|
Ben
|
aba9e4e521
first commit
|
hai 1 ano |
