MNBVC-Wiki

用户工具

站点工具

您的足迹:
github分布式爬取

差别

这里会显示出您选择的修订版和当前版本之间的差别。

到此差别页面的链接

两侧同时换到之前的修订记录前一修订版
后一修订版		前一修订版
github分布式爬取 [2023/09/16 00:45] – Linglingfagithub分布式爬取 [2025/06/02 15:17] (当前版本) – 外部编辑 127.0.0.1
行 15: 行 15:
   * 程序正常终止时会在最后输出 ''ALL DONE AT + 时间'' 的字样，这种情况可尝试再运行几次第三步，会重新扫描并下载之前有问题的部分；   * 程序正常终止时会在最后输出 ''ALL DONE AT + 时间'' 的字样，这种情况可尝试再运行几次第三步，会重新扫描并下载之前有问题的部分；
   * 待观察 ''output'' 文件夹大小为 20G 左右，且不再有增长时，可视为爬虫完全结束。   * 待观察 ''output'' 文件夹大小为 20G 左右，且不再有增长时，可视为爬虫完全结束。
 +  * 正常结束后会出现以下文字：
 +
 +{{:a7b0fa53d2b73e3d63227f342847276.png?400|}}
  
 **提交**：将整个 ''output'' 文件夹压缩成 ''zip'' 文件，并设置解压密码为 ''253874''，压缩完成后提交即可。 **提交**：将整个 ''output'' 文件夹压缩成 ''zip'' 文件，并设置解压密码为 ''253874''，压缩完成后提交即可。
github分布式爬取.1694796327.txt.gz · 最后更改: (外部编辑)