WGET - wget批量下载文件

前言

有时候我们需要下载一个页面里的所有文件,自己写脚本的话又累又费时,这时候巧用wget解决问题,妥妥的~

0x01

首先是要下载一个web页面,如果是https报错的话,需要加上 –no-check-certificate 可以跳过检查SSL证书

1
wget --no-check-certificate https://www.baidu.com/

0x02

然后把下载好的html文件做为爬取对象

1
wget --no-check-certificate -i index.html -F -B https://www.baidu.com/

0x03

如果想保存文件到自定义目录

1
wget --no-check-certificate https://www.baidu.com/ -P files
1
wget --no-check-certificate -i index.html -F -B https://www.baidu.com/ -P files

0x04

如果想下载一个txt里的所有链接

1
wget --no-check-certificate -i urls.txt -P files

0x05

遍历整个网站

1
wget -mpkE https://www.baidu.com/