使用wget

批量下载文件

for i in {1..100}; do echo https://example.com/$i >> down.txt; done

wget --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0" -i down.txt

整站下载

wget -c -r -npH -k -nv <URL>

参数解释

-c：断点续传。
-r：递归下载。
-np：不访问上层目录。
-H：允许下载站点外链接的文件。
-k：转换链接，使其在本地可用。
-nv：显示简要信息。

补充参数解释

-p：下载网页所需要的所有文件(图片,样式,js文件等)
-nd：递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中
-L: 只扩展相对连接，该参数对于抓取指定站点很有用，可以避免向宿主主机

整站镜像下载

wget --mirror <URL>

# 相当于
wget -r -N -l inf --no-remove-listing --convert-links -P <保存路径> <URL>

解释

-r：递归下载。
-N：只下载新文件。
-l inf：无限递归深度。
--no-remove-listing：不移除 .listing 文件。
--convert-links：转换下载文件中的链接为本地链接。
-P：指定保存路径。