Python简单爬虫,爬取图片
一个简单的爬虫,爬取古装美女的图片,并保存在磁盘里边
版本:py3.7.1
直接粘贴代码
# -*- coding:utf-8 -*-
import os
import requests
import re
from bs4 import BeautifulSoup
# 爬取图片的地址
url = "http://www.27270.com/zt/guzhuang/" # 古装美女
# 获取网页内容
htmls = requests.get(url).text
soup = BeautifulSoup(htmls, 'html.parser', from_encoding='utf-8')
# findall() 全局搜索,搜索到所有img标签的元素
pic_url = soup.find_all('img', src=re.compile(r'^http://t2.hddhhn.com/uploads/tu(.*)jpg$'))
i = 0
# 判断images文件夹是否存在,如果不存在,则创建
if not os.path.exists('images'):
os.makedirs('images')
# 利用for循环遍历图片的地址
for url in pic_url:
img = url['src']
try:
pic = requests.get(img,timeout=5) # 超时异常判断 5秒超时
except requests.exceptions.ConnectionError:
print("图片无法下载")
continue
file_name = "images/"+ str(i) + ".jpg" # 存储图片的路径及保存的名字
print(file_name)
fp = open(file_name,'wb+')
fp.write(pic.content) # 写入图片
fp.close() # 关闭
i += 1
效果如下图: