Linux抓取批量下载地址

　2012-12-02 14:41:21　来源：WEB开发网　　　

核心提示：我们现在开始抓取网址：curl http://www.enet.com.cn/eschool/video/autohtml/310/281/0.shtml | sed -n 's/\"/\n/gp' | grep ^/eschool/video/autohtml/ > down结果如下

我们现在开始抓取网址：

curl http://www.enet.com.cn/eschool/video/autohtml/310/281/0.shtml | sed -n 's/\"/\n/gp'  | grep ^/eschool/video/autohtml/ > down

结果如下：

然后我们将网址补齐：

sed 's/\//http:\/\/www.enet.com.cn\//' down  > downdown

最后我们调用shell脚本

#!/bin/bash  
for line in `cat downdown`  
do  
        curl $line | sed -n 's/\"/\n/gp' | grep ^http://images.enet.com.cn/eschool/c++/ >> download.txt  
done