Error message here!

Hide Error message here!

忘记密码?

Error message here!

请输入正确邮箱

Hide Error message here!

密码丢失?请输入您的电子邮件地址。您将收到一个重设密码链接。

Error message here!

返回登录

Close

python 爬虫之requests爬取页面图片的url,并将图片下载到本地

梦寐千寻 2019-06-12 06:54:00 阅读数:101 评论数:0 点赞数:0 收藏数:0

大家好我叫hardy

 

需求:爬取某个页面,并把该页面的图片下载到本地

 

思考:

  img标签一个有多少种类型的src值?三种:1、以http开头的网络链接。2、以“/”开头绝对路径。3、以“./”开头相对路径。当然还有其他类型,不过这个不做考虑,能力有限呀。

  使用什么工具?我用requests、xpth

  都有那些步骤:1、爬取网页

          2、分析html并获取img中的src的值

          3、获取图片

          4、保存

 

具体实现

import requests
from lxml import etree
import time
import os
import re

website_url = ''
website_name = ''

'''
爬取的页面
'''
def html_url(url):
    try:
        text = requests.get(url)
        html = etree.HTML(text.text)
        img = html.xpath('//img/@src')
        # 保存图片
        for src in img:
            src = auto_completion(src)
            file_path = save_image(src)
            if file_path == False:
                print('请求的图片路径出错,url地址为:%s'%src)
            else :
                print('保存图片的地址为:%s'%file_path)
    except requests.exceptions.ConnectionError as e:
        print('网络地址无法访问,请检查')
        print(e)
    except requests.exceptions.RequestException as e:
        print('访问异常:')
        print(e)


'''
保存图片
'''
def save_image(image_url):
    size = 
    number = 
    while size == :
        try:
            img_file = requests.get(image_url)
        except requests.exceptions.RequestException as e:
            raise e

        # 不是图片跳过
        if check_image(img_file.headers['Content-Type']):
            return False
        file_path = image_path(img_file.headers)
        # 保存
        with open(file_path, 'wb') as f:
            f.write(img_file.content)
        # 判断是否正确保存图片
        size = os.path.getsize(file_path)
        if size == :
            os.remove(file_path)
        # 如果该图片获取超过十次则跳过
        number += 
        if number >= :
            break
    return (file_path if (size > ) else False)

'''
自动完成url的补充
'''
def auto_completion(url):
    global website_name,website_url
    #如果是http://或者https://开头直接返回
    if re.match('http://|https://',url):
        return url
    elif re.match('/',url):
        return website_name+url
    elif re.match('./'):
        return website_url+url[::]

'''
图片保存的路径
'''
def image_path(header):
    # 文件夹
    file_dir = './save_image/'
    if not os.path.exists(file_dir):
        os.makedirs(file_dir)
    # 文件名
    file_name = str(time.time())
    # 文件后缀
    suffix = img_type(header)

    return file_dir + file_name + suffix


'''
获取图片后缀名
'''
def img_type(header):
    # 获取文件属性
    image_attr = header['Content-Type']
    # 获取后缀
    suffix = image_attr.split('/')[]
    if suffix == 'jpeg':
        suffix = 'jpg'

    return '.' + suffix


# 检查是否为图片类型
def check_image(content_type):
    if 'image' in content_type:
        return False
    else:
        return True

def set_headers():
    head = {
        
    }
    return head



if __name__ == '__main__':

    #当前的url,不包含文件名的比如index.html,用来下载当前页的页面图片(./)
    website_url = 'https://cuiqingcai.com/category/life'
    #域名,用来下载"/"开头的图片地址
    #感兴趣的朋友请帮我完善一下这个自动完成图片url的补充
    website_name = 'https://cuiqingcai.com'
    url = 'https://cuiqingcai.com/category/life'
    html_url(url)

 

版权声明
本文为[梦寐千寻]所创,转载请带上原文链接,感谢
https://www.cnblogs.com/hardykay/p/11009670.html