欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品

主頁 > 知識庫 > pytorch 實現(xiàn)多個Dataloader同時訓(xùn)練

pytorch 實現(xiàn)多個Dataloader同時訓(xùn)練

熱門標(biāo)簽:儋州電話機器人 佛山400電話辦理 北京電銷外呼系統(tǒng)加盟 地圖標(biāo)注面積 所得系統(tǒng)電梯怎樣主板設(shè)置外呼 小蘇云呼電話機器人 市場上的電銷機器人 朝陽手機外呼系統(tǒng) 北瀚ai電銷機器人官網(wǎng)手機版

看代碼吧~

如果兩個dataloader的長度不一樣,那就加個:

from itertools import cycle

僅使用zip,迭代器將在長度等于最小數(shù)據(jù)集的長度時耗盡。 但是,使用cycle時,我們將再次重復(fù)最小的數(shù)據(jù)集,除非迭代器查看最大數(shù)據(jù)集中的所有樣本。

補充:pytorch技巧:自定義數(shù)據(jù)集 torch.utils.data.DataLoader 及Dataset的使用

本博客中有可直接運行的例子,便于直觀的理解,在torch環(huán)境中運行即可。

1. 數(shù)據(jù)傳遞機制

在 pytorch 中數(shù)據(jù)傳遞按一下順序:

1、創(chuàng)建 datasets ,也就是所需要讀取的數(shù)據(jù)集。

2、把 datasets 傳入DataLoader。

3、DataLoader迭代產(chǎn)生訓(xùn)練數(shù)據(jù)提供給模型。

2. torch.utils.data.Dataset

Pytorch提供兩種數(shù)據(jù)集:

Map式數(shù)據(jù)集 Iterable式數(shù)據(jù)集。其中Map式數(shù)據(jù)集繼承torch.utils.data.Dataset,Iterable式數(shù)據(jù)集繼承torch.utils.data.IterableDataset。

本文只介紹 Map式數(shù)據(jù)集。

一個Map式的數(shù)據(jù)集必須要重寫 __getitem__(self, index)、 __len__(self) 兩個方法,用來表示從索引到樣本的映射(Map)。 __getitem__(self, index)按索引映射到對應(yīng)的數(shù)據(jù), __len__(self)則會返回這個數(shù)據(jù)集的長度。

基本格式如下:

 import torch.utils.data as data
class VOCDetection(data.Dataset):
    '''
    必須繼承data.Dataset類
    '''
    def __init__(self):
        '''
        在這里進(jìn)行初始化,一般是初始化文件路徑或文件列表
        '''
        pass
    def __getitem__(self, index):
        '''
        1. 按照index,讀取文件中對應(yīng)的數(shù)據(jù)  (讀取一個數(shù)據(jù)!!!!我們常讀取的數(shù)據(jù)是圖片,一般我們送入模型的數(shù)據(jù)成批的,但在這里只是讀取一張圖片,成批后面會說到)
        2. 對讀取到的數(shù)據(jù)進(jìn)行數(shù)據(jù)增強 (數(shù)據(jù)增強是深度學(xué)習(xí)中經(jīng)常用到的,可以提高模型的泛化能力)
        3. 返回數(shù)據(jù)對 (一般我們要返回 圖片,對應(yīng)的標(biāo)簽) 在這里因為我沒有寫完整的代碼,返回值用 0 代替
        '''
        return 0
    def __len__(self):
        '''
        返回數(shù)據(jù)集的長度
        '''
        return 0

可直接運行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模擬輸入, 8個樣本,每個樣本長度為10
y = np.array(range(8))  # 模擬對應(yīng)樣本的標(biāo)簽, 8個標(biāo)簽 
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index] #可繼續(xù)進(jìn)行數(shù)據(jù)增強,這里沒有進(jìn)行數(shù)據(jù)增強操作
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
datasets = Mydataset(x, y)  # 初始化
print(datasets.__len__())  # 調(diào)用__len__() 返回數(shù)據(jù)的長度
for i in range(len(y)):
    input_data, target = datasets.__getitem__(i)  # 調(diào)用__getitem__(index) 返回讀取的數(shù)據(jù)對
    print('input_data%d =' % i, input_data)
    print('target%d = ' % i, target)

結(jié)果如下:

3. torch.utils.data.DataLoader

PyTorch中數(shù)據(jù)讀取的一個重要接口是 torch.utils.data.DataLoader。

該接口主要用來將自定義的數(shù)據(jù)讀取接口的輸出或者PyTorch已有的數(shù)據(jù)讀取接口的輸入按照batch_size封裝成Tensor,后續(xù)只需要再包裝成Variable即可作為模型的輸入。

torch.utils.data.DataLoader(onject)的可用參數(shù)如下:

1.dataset(Dataset): 數(shù)據(jù)讀取接口,該輸出是torch.utils.data.Dataset類的對象(或者繼承自該類的自定義類的對象)。

2.batch_size (int, optional): 批訓(xùn)練數(shù)據(jù)量的大小,根據(jù)具體情況設(shè)置即可。一般為2的N次方(默認(rèn):1)

3.shuffle (bool, optional):是否打亂數(shù)據(jù),一般在訓(xùn)練數(shù)據(jù)中會采用。(默認(rèn):False)

4.sampler (Sampler, optional):從數(shù)據(jù)集中提取樣本的策略。如果指定,“shuffle”必須為false。我沒有用過,不太了解。

5.batch_sampler (Sampler, optional):和batch_size、shuffle等參數(shù)互斥,一般用默認(rèn)。

6.num_workers:這個參數(shù)必須大于等于0,為0時默認(rèn)使用主線程讀取數(shù)據(jù),其他大于0的數(shù)表示通過多個進(jìn)程來讀取數(shù)據(jù),可以加快數(shù)據(jù)讀取速度,一般設(shè)置為2的N次方,且小于batch_size(默認(rèn):0)

7.collate_fn (callable, optional): 合并樣本清單以形成小批量。用來處理不同情況下的輸入dataset的封裝。

8.pin_memory (bool, optional):如果設(shè)置為True,那么data loader將會在返回它們之前,將tensors拷貝到CUDA中的固定內(nèi)存中.

9.drop_last (bool, optional): 如果數(shù)據(jù)集大小不能被批大小整除,則設(shè)置為“true”以除去最后一個未完成的批。如果“false”那么最后一批將更小。(默認(rèn):false)

10.timeout(numeric, optional):設(shè)置數(shù)據(jù)讀取時間限制,超過這個時間還沒讀取到數(shù)據(jù)的話就會報錯。(默認(rèn):0)

11.worker_init_fn (callable, optional): 每個worker初始化函數(shù)(默認(rèn):None)

可直接運行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模擬輸入, 8個樣本,每個樣本長度為10
y = np.array(range(8))  # 模擬對應(yīng)樣本的標(biāo)簽, 8個標(biāo)簽
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index]
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
if __name__ ==('__main__'):
    datasets = Mydataset(x, y)  # 初始化
    dataloader = data.DataLoader(datasets, batch_size=4, num_workers=2) 
    for i, (input_data, target) in enumerate(dataloader):
        print('input_data%d' % i, input_data)
        print('target%d' % i, target)

結(jié)果如下:(注意看類別,DataLoader把數(shù)據(jù)封裝為Tensor)

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • pytorch鎖死在dataloader(訓(xùn)練時卡死)
  • pytorch Dataset,DataLoader產(chǎn)生自定義的訓(xùn)練數(shù)據(jù)案例
  • 解決Pytorch dataloader時報錯每個tensor維度不一樣的問題
  • pytorch中DataLoader()過程中遇到的一些問題
  • Pytorch dataloader在加載最后一個batch時卡死的解決
  • Pytorch 如何加速Dataloader提升數(shù)據(jù)讀取速度
  • pytorch DataLoader的num_workers參數(shù)與設(shè)置大小詳解

標(biāo)簽:寧夏 云南 金融催收 定西 商丘 龍巖 江蘇 酒泉

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《pytorch 實現(xiàn)多個Dataloader同時訓(xùn)練》,本文關(guān)鍵詞  pytorch,實現(xiàn),多個,Dataloader,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《pytorch 實現(xiàn)多個Dataloader同時訓(xùn)練》相關(guān)的同類信息!
  • 本頁收集關(guān)于pytorch 實現(xiàn)多個Dataloader同時訓(xùn)練的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品
  • <rt id="w000q"><acronym id="w000q"></acronym></rt>
  • <abbr id="w000q"></abbr>
    <rt id="w000q"></rt>
    欧美日韩在线观看一区二区| 国产精品乱人伦中文| 一区二区三区四区在线播放| 国产专区欧美精品| 四虎永久免费影院| 欧美一区二区在线播放| 一区二区三区久久| 欧美69精品久久久久久不卡| 2021亚洲天堂| 日韩一区欧美小说| 成+人+亚洲+综合天堂| 国产精品国产精品88| 中文字幕高清一区| 国产成人免费在线观看不卡| 四季av中文字幕| 亚洲精品卡一卡二| 中文字幕第一区综合| 国产精品资源在线看| 欧美美女性生活视频| 国产视频一区在线观看| 国产在线国偷精品产拍免费yy| 91伊人久久大香线蕉| 午夜爱爱毛片xxxx视频免费看| 久久综合成人精品亚洲另类欧美 | 丁香婷婷深情五月亚洲| 免费在线成人网| 久热成人在线视频| 91在线国产福利| av网站免费在线播放| 在线观看不卡一区| 久久精品一区二区三区不卡 | 日本久久一区二区| 亚洲 小说 欧美 激情 另类| 91视频免费在线看| 婷婷成人综合网| 欧美一区二区三区粗大| 亚洲女与黑人做爰| av在线网站观看| 1000部国产精品成人观看| 亚洲国产精品狼友在线观看| 久久一留热品黄| 国内自拍偷拍视频| 国产欧美一区二区三区在线看蜜臀 | 日韩免费成人av| 欧美日韩一区二区欧美激情 | 69av视频在线| 日韩精品在线网站| 免费成人在线网站| 丰满少妇一区二区| 欧美成人精精品一区二区频| 日韩二区三区四区| 法国空姐电影在线观看| 日韩欧美综合在线| 久久成人久久鬼色| 国产毛片欧美毛片久久久| 美女福利视频在线观看| 国产精品久久久久久亚洲毛片 | 国产精品69久久久久孕妇欧美| 亚洲第一黄色网址| 小嫩苞一区二区三区| 久久久久九九视频| 国产一区 二区| 日本不卡一区视频| 成人欧美一区二区三区在线播放| 99视频精品全部免费在线| 91福利国产精品| 天天综合日日夜夜精品| 无码一区二区三区在线| 午夜理伦三级做爰电影| 国产亚洲女人久久久久毛片| 国产精品久久久久无码av色戒| 天天做天天摸天天爽国产一区| 色狠狠色噜噜噜综合网| 中文字幕佐山爱一区二区免费| 日本精品在线观看视频| 美女视频黄免费的久久| 日韩欧美激情四射| 亚洲天堂久久新| 美女精品自拍一二三四| 久久久精品日韩欧美| 女人裸体性做爰全过| 国产69精品久久久久毛片| 777色狠狠一区二区三区| 成人av影视在线观看| 欧美tickling挠脚心丨vk| 99国产精品久久久久久久久久久| 2022国产精品视频| 丰满人妻一区二区三区大胸| 日本一区二区综合亚洲| 久久久久亚洲AV成人无码国产| 国产精品萝li| 这里只有久久精品| 日本vs亚洲vs韩国一区三区| 日本韩国欧美一区二区三区| 不卡av在线网| 国产三级一区二区| 成人a区在线观看| 精品美女在线播放| 四虎永久免费观看| 亚洲人精品午夜| 欧美日韩国产电影| www.日本高清| 一区二区在线观看av| www.日本高清视频| 亚洲国产精品一区二区尤物区| 少妇按摩一区二区三区| 欧美视频一区二区三区| 日本va欧美va欧美va精品| 成年人视频软件| 久久99久久99| 久久久久久日产精品| 成人性生交大免费看| 免费一级欧美片在线观看| 日韩欧美色综合| 久久精品—区二区三区舞蹈| 欧美aaaaa成人免费观看视频| 91精品国产综合久久久蜜臀图片| 国产女人18毛片水真多18| 欧美在线你懂得| av中文字幕在线不卡| 九九热在线视频观看这里只有精品| 亚洲人精品一区| 久久精子c满五个校花| 制服丝袜一区二区三区| 色婷婷综合久久久久中文一区二区 | 91精品国产色综合久久久蜜香臀| 日本午夜在线观看| 蜜桃av免费观看| 中国av免费看| 中文字幕在线播放一区| 一级全黄裸体片| www.亚洲在线| 亚洲成人精品一区| 国产三级久久久| 欧美片在线播放| 福利所第一导航| 亚洲综合自拍网| 懂色av一区二区三区免费看| 日本中文字幕一区二区有限公司| 一区在线观看视频| 精品国产99国产精品| 在线欧美日韩国产| 中文字幕第二区| 少妇按摩一区二区三区| 91网页版在线| 成人性生交大片免费看中文 | 国产91在线观看丝袜| 日本一区二区三区四区在线视频| 在线免费观看视频一区| www成人啪啪18软件| 久久精品国产亚洲AV成人婷婷| 年下总裁被打光屁股sp| 亚洲少妇中出一区| 欧美夫妻性生活| 亚洲欧洲综合网| 不卡一区二区在线观看| www.欧美亚洲| 国产福利精品一区| 免费在线观看不卡| 五月天亚洲精品| 亚洲卡通动漫在线| 国产精品国产三级国产aⅴ入口| 欧美精品一区二区三| 欧美精选一区二区| 欧美三级中文字幕在线观看| 伊人一区二区三区| 青青草原综合久久大伊人精品 | 久久丝袜美腿综合| 欧美国产精品专区| 亚洲一区二区三区中文字幕| 裸体歌舞表演一区二区| 91在线丨porny丨国产| www.自拍偷拍| 色天使色偷偷av一区二区| 日韩精品中文字幕在线一区| 国产精品私人影院| 日本美女视频一区二区| 国产成人在线视频免费播放| 欧美大片免费播放器| 永久免费看黄网站| 成人在线观看高清| 欧美色精品天天在线观看视频| 国产三级国产精品国产国在线观看 | 精品免费国产二区三区| 欧美一区二区三区免费视频 | 永久免费看片在线观看| 99热精品一区二区| 被黑人猛躁10次高潮视频| 一级欧美一级日韩片| 欧美熟妇激情一区二区三区| 永久久久久久久| 欧美亚洲综合在线| 欧美色涩在线第一页| 欧美吞精做爰啪啪高潮| 精品国产3级a| 亚洲精品第1页| 日本免费在线视频不卡一不卡二 | 亚洲一二三区不卡| 亚洲国产精品高清| 18欧美亚洲精品|