目錄
- 最終版本
- 過程
- 借鑒代碼
- 思考urllib.request和requests
- BeautifulSoup
- 優化處理
- 總結
代碼復制可直接使用，記得pip install下載requests和bs4
最終版本
# 引入系統類庫用于打開關閉文件
import sys
# 使用文檔解析類庫
from bs4 import BeautifulSoup
# 使用網絡請求類庫
import requests
#圖片保存目錄
path = 'D:/陰陽師'
#陰陽師壁紙網站
html_doc = "https://yys.163.com/media/picture.html"
# 請求
requests_html_doc = requests.get(html_doc).text
# 正則匹配所有href地址
regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')
urls = regex.findall(requests_html_doc)
# set集合可以防止下載的圖片重復
result = set()
for i in urls:
result.add(i)
# 計數器用于圖片命名
num = 0
# 文件路徑、操作模式、編碼 # r''
# 打開文件錄入圖片
f = open(r'result.txt', 'w', encoding='utf-8')
for a in urls:
try:
image_data = requests.get(a).content
image_name = '{}.jpg'.format(num) # 給每張圖片命名
save_path = path + '/' + image_name # 圖片的保存地址
with open(save_path, 'wb') as f:
f.write(image_data)
print(image_name, '=======================>下載成功！！！')
num = num+1 # 下一張圖片名字序號加一
except:
pass
# 關閉文件錄入
f.close()
print("\r\n掃描結果已寫入到result.txt文件中\r\n")
過程
借鑒代碼
自己從0開始，沒有頭緒，而且對python掌握度不高，那先借鑒別人的代碼開始，第一篇借鑒的代碼如下
# 引入系統類庫
import sys
# 使用文檔解析類庫
from bs4 import BeautifulSoup
# 使用網絡請求類庫
import urllib.request
path = 'D:/陰陽師'
html_doc = "https://yys.163.com/media/picture.html"
# 獲取請求
req = urllib.request.Request(html_doc)
# 打開頁面
webpage = urllib.request.urlopen(req)
# 讀取頁面內容
html = webpage.read()
# 解析成文檔對象
soup = BeautifulSoup(html, 'html.parser') # 文檔對象
# 非法URL 1
invalidLink1 = '#'
# 非法URL 2
invalidLink2 = 'javascript:void(0)'
# set集合可以防止下載的圖片連接重復
result = set()
# 計數器用于圖片命名
num = 0
# 查找文檔中所有a標簽
for k in soup.find_all('a'):
# print(k)
# 查找href標簽
link = k.get('href')
# 過濾沒找到的
if(link is not None):
# 過濾非法鏈接
if link == invalidLink1:
pass
elif link == invalidLink2:
pass
elif link.find("javascript:") != -1:
pass
else:
result.add(link)
for a in result:
# 文件路徑、操作模式、編碼 # r''
f = open(r'result.txt', 'w', encoding='utf-8')
# image_data = urllib.request.get(url=a).content
image_data = requests.get(url=a).content
image_name = '{}.jpg'.format(num) # 給每張圖片命名
save_path = path + '/' + image_name # 圖片的保存地址
with open(save_path, 'wb') as f:
f.write(image_data)
print(image_name, '=======================>下載成功！！！')
num = num+1 # 下一張圖片名字序號加一
f.close()
print("\r\n掃描結果已寫入到result.txt文件中\r\n")
思考urllib.request和requests
借鑒的代碼中使用urllib.request來請求，剛開始學習看到的一些代碼實例也常用urllib.request來發起請求，之后看到有的代碼使用的是requests。對于我個人，主觀感受requests更加便捷，少寫了幾行代碼，于是便去查閱了解兩者的區別。
BeautifulSoup
接觸到了BeautifulSoup，并且在一些文章的評論中看到對BeautifulSoup的稱贊，進入文檔查閱了下用法，改變了我之前對python，獲取文檔中部分特征的元素節點的寫法困難的印象。
Beautiful Soup 4.4.0 文檔
優化處理
之所以要加正則匹配，因為一開始獲取到的圖片鏈接里有空字符串的現象，在下載圖片的時候直接報錯整個程序掛掉，而且這個借鑒代碼中的invalidLink1和invalidLink2看起來屬實不舒服。所以添加了正則從源頭保證鏈接的有效性，并且在執行下載代碼中，添加了try，except保證程序出錯也不會掛掉。
借鑒的代碼中每一次的下載，都會對要保存的目錄進行打開和關閉，于是將打開關閉抽離到最外層，下載的邏輯放在里面，下載圖片成功的提速果然肉眼可見~
總結
壁紙確實不戳~，希望下一個學習的腳本能更加有趣~
以上就是Python 批量下載陰陽師網站壁紙的詳細內容，更多關于python 下載陰陽師網站壁紙的資料請關注腳本之家其它相關文章！
您可能感興趣的文章:- Python爬蟲之批量下載喜馬拉雅音頻
- python爬蟲智能翻頁批量下載文件的實例詳解
- 用python批量下載apk
- 用python爬蟲批量下載pdf的實現
- python 批量下載bilibili視頻的gui程序
- Python爬蟲實戰之批量下載快手平臺視頻數據
