欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品

主頁 > 知識庫 > Pytorch訓練網絡過程中loss突然變為0的解決方案

Pytorch訓練網絡過程中loss突然變為0的解決方案

熱門標簽:唐山智能外呼系統一般多少錢 白銀外呼系統 海南400電話如何申請 哈爾濱ai外呼系統定制 陜西金融外呼系統 公司電話機器人 激戰2地圖標注 廣告地圖標注app 騰訊外呼線路

問題

// loss 突然變成0
python train.py -b=8
INFO: Using device cpu
INFO: Network:
        1 input channels
        7 output channels (classes)
        Bilinear upscaling
INFO: Creating dataset with 868 examples
INFO: Starting training:
        Epochs:          5
        Batch size:      8
        Learning rate:   0.001
        Training size:   782
        Validation size: 86
        Checkpoints:     True
        Device:          cpu
        Images scaling:  1
    
Epoch 1/5:  10%|██████████████▏                                                                                                                            | 80/782 [01:3313:21,  1.14s/img, loss (batch)=0.886I
NFO: Validation cross entropy: 1.86862473487854                                                                                                                                                                  
Epoch 1/5:  20%|███████████████████████████▊                                                                                                            | 160/782 [03:3411:51,  1.14s/img, loss (batch)=2.35e-7I
NFO: Validation cross entropy: 5.887489884504049e-10                                                                                                                                                             
Epoch 1/5:  31%|███████████████████████████████████████████▌                                                                                                  | 240/782 [05:4111:29,  1.27s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  41%|██████████████████████████████████████████████████████████                                                                                    | 320/782 [07:4909:16,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  51%|████████████████████████████████████████████████████████████████████████▋                                                                     | 400/782 [09:5507:31,  1.18s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  61%|███████████████████████████████████████████████████████████████████████████████████████▏                                                      | 480/782 [12:0205:58,  1.19s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  72%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋                                        | 560/782 [14:0404:16,  1.15s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 640/782 [16:1102:49,  1.20s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 720/782 [18:2101:18,  1.26s/img, loss (batch)=0I
NFO: Validation cross entropy: 0.0                                                                                                                                                                               
Epoch 1/5:  94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 736/782 [19:1701:12,  1.57s/img, loss (batch)=0]
Traceback (most recent call last):
  File "train.py", line 182, in module>
    val_percent=args.val / 100)
  File "train.py", line 66, in train_net
    for batch in train_loader:
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 819, in __next__
    return self._process_data(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/dataloader.py", line 846, in _process_data
    data.reraise()
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/_utils.py", line 385, in reraise
    raise self.exc_type(msg)
RuntimeError: Caught RuntimeError in DataLoader worker process 4.
Original Traceback (most recent call last):
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/worker.py", line 178, in _worker_loop
    data = fetcher.fetch(index)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/fetch.py", line 47, in fetch
    return self.collate_fn(data)
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in default_collate
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 74, in dictcomp>
    return {key: default_collate([d[key] for d in batch]) for key in elem}
  File "/public/home/lidd/.conda/envs/lgg2/lib/python3.6/site-packages/torch/utils/data/_utils/collate.py", line 55, in default_collate
    return torch.stack(batch, 0, out=out)
RuntimeError: Expected object of scalar type Double but got scalar type Byte for sequence element 4 in sequence argument at position #1 'tensors'

交叉熵損失函數是衡量輸出與標簽之間的損失,通過求導確定梯度下降的方向。

loss突然變為0,有兩種可能性。

一是因為預測輸出為0,二是因為標簽為0。

如果是因為標簽為0,那么一開始loss就可能為0.

檢查參數初始化

檢查前向傳播的網絡

檢查loss的計算格式

檢查梯度下降

是否出現梯度消失。

實際上是標簽出了錯誤

補充:pytorch訓練出現loss=na

遇到一個很坑的情況,在pytorch訓練過程中出現loss=nan的情況

有以下幾種可能:

1.學習率太高。

2.loss函數有問題

3.對于回歸問題,可能出現了除0 的計算,加一個很小的余項可能可以解決

4.數據本身,是否存在Nan、inf,可以用np.isnan(),np.isinf()檢查一下input和target

5.target本身應該是能夠被loss函數計算的,比如sigmoid激活函數的target應該大于0,同樣的需要檢查數據集

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • 解決Pytorch半精度浮點型網絡訓練的問題
  • PyTorch梯度裁剪避免訓練loss nan的操作
  • pytorch訓練神經網絡爆內存的解決方案
  • Pytorch訓練模型得到輸出后計算F1-Score 和AUC的操作
  • pytorch加載預訓練模型與自己模型不匹配的解決方案
  • pytorch 如何使用float64訓練

標簽:常德 鷹潭 黔西 四川 惠州 黑龍江 上海 益陽

巨人網絡通訊聲明:本文標題《Pytorch訓練網絡過程中loss突然變為0的解決方案》,本文關鍵詞  Pytorch,訓練,網絡,過程中,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Pytorch訓練網絡過程中loss突然變為0的解決方案》相關的同類信息!
  • 本頁收集關于Pytorch訓練網絡過程中loss突然變為0的解決方案的相關信息資訊供網民參考!
  • 推薦文章
    欧美阿v视频在线大全_亚洲欧美中文日韩V在线观看_www性欧美日韩欧美91_亚洲欧美日韩久久精品
  • <rt id="w000q"><acronym id="w000q"></acronym></rt>
  • <abbr id="w000q"></abbr>
    <rt id="w000q"></rt>
    亚洲综合在线五月| 欧美 日本 国产| 日本精品在线免费观看| 久久久久亚洲综合| 捆绑调教美女网站视频一区| 日韩精品人妻中文字幕有码 | 大胆亚洲人体视频| 丁香六月激情综合| 久久精品夜色噜噜亚洲a∨| 美女一区二区在线观看| 97人妻精品一区二区免费| 日韩三区在线观看| 琪琪一区二区三区| 色婷婷在线影院| 久久久影院官网| 国产曰批免费观看久久久| 日本美女bbw| 国产欧美日韩在线看| 国产成人午夜片在线观看高清观看| 国产三级aaa| 国产精品乱码一区二三区小蝌蚪| 岛国一区二区在线观看| 色婷婷激情综合| 夜夜爽夜夜爽精品视频| yjizz视频| 日韩欧美久久一区| 九色porny丨国产精品| 久久久久麻豆v国产| 亚洲欧美在线aaa| 91美女在线视频| 欧美电影影音先锋| 蜜臀av亚洲一区中文字幕| 国产一区二区三区精品在线| 国产欧美一区二区精品秋霞影院 | 国产性生活大片| ●精品国产综合乱码久久久久| 99re热这里只有精品免费视频| 欧美三级电影网| 日av在线不卡| 国产3级在线观看| 亚洲乱码国产乱码精品精小说| 中国黄色片视频| 久久久久久久久久久久电影 | 色哟哟一区二区| 午夜欧美电影在线观看| 亚洲自拍偷拍图| 亚洲女性喷水在线观看一区| 亚洲欧美日韩色| 久久精品欧美一区二区三区麻豆| bt7086福利一区国产| 3d动漫精品啪啪一区二区竹菊| 男女视频一区二区| 国产精品suv一区二区88 | 麻豆av免费看| 日韩免费电影一区| 国产乱妇无码大片在线观看| 农村黄色一级片| 亚洲大片精品永久免费| 波多野结衣a v在线| 欧美国产成人精品| 91丨porny丨首页| 日韩欧美综合一区| 国产a久久麻豆| 欧美三级电影在线观看| 久久99精品久久只有精品| 国产麻豆视频在线观看| 中文字幕一区二区三区色视频| 91在线精品一区二区三区| 91精品在线一区二区| 国产剧情一区二区| 欧美午夜精品一区二区三区| 免费一级片91| 国产va在线播放| 视频一区视频二区中文| 亚洲精品久久久久久国| 香港成人在线视频| 午夜理伦三级做爰电影| 国产精品久久综合| 国产高清成人久久| 国产精品欧美久久久久无广告 | 国产午夜精品在线观看| 91日韩一区二区三区| 欧美大胆一级视频| 99久久精品国产精品久久| 日韩免费一区二区三区在线播放| 成人激情小说网站| 欧美成人精品1314www| 成人激情黄色小说| 日韩免费高清av| 91在线观看污| 久久久国产一区二区三区四区小说| 性生活一级大片| 久久久久99精品国产片| 在线播放av网址| 国产精品网站在线播放| 日本一区二区三区网站| 国产欧美日韩视频一区二区| 麻豆tv在线观看| 国产精品你懂的在线欣赏| 亚洲天堂成人av| 一区二区在线免费| 国产又粗又猛又爽又黄的视频四季 | 中文字幕天堂av| 综合分类小说区另类春色亚洲小说欧美 | 人妻无码中文久久久久专区| 国产精品免费aⅴ片在线观看| 欧美肉大捧一进一出免费视频| 成人免费视频在线观看| 亚洲图片第一页| 亚洲永久精品大片| 色婷婷久久99综合精品jk白丝| 美腿丝袜亚洲三区| 51精品秘密在线观看| 丰满少妇中文字幕| 国产精品久久夜| 手机看片日韩av| 日本欧美久久久久免费播放网| 欧美日韩精品一区二区三区蜜桃 | 最新久久zyz资源站| 国产aaaaaaaaa| 蜜桃av噜噜一区二区三区小说| 欧美日韩精品一区二区在线播放| 成人av免费在线观看| 亚洲国产精品二十页| 男人的天堂av网| 日本强好片久久久久久aaa| 日韩一区二区精品在线观看| 绯色av蜜臀vs少妇| 怡红院av一区二区三区| 色偷偷久久一区二区三区| 丁香桃色午夜亚洲一区二区三区| 国产欧美一区二区三区在线老狼| 蜜桃传媒一区二区亚洲| 久久电影国产免费久久电影| 777欧美精品| 蜜桃精品成人影片| 免费成人在线观看| 日韩欧美一卡二卡| 国产呦小j女精品视频| 免费在线一区观看| 精品日韩99亚洲| 免费在线观看污| 精品一二三四在线| 久久久99精品久久| 韩国一级黄色录像| 国产91在线观看丝袜| 国产精品网曝门| 一本色道久久综合精品竹菊| www.在线欧美| 亚洲黄色录像片| 欧美日韩国产色站一区二区三区| 91丝袜高跟美女视频| 性做久久久久久免费观看欧美| 制服丝袜亚洲精品中文字幕| 国产精品无码网站| 精品一区二区三区久久久| 久久午夜电影网| 成人免费精品动漫网站| gogogo免费视频观看亚洲一| 亚洲精品成人天堂一二三| 在线亚洲欧美专区二区| 亚洲av成人片色在线观看高潮 | 蜜桃精品视频在线| 久久久久高清精品| 免费在线黄色网| 丰满人妻一区二区三区大胸| 一区二区三区在线免费观看| 欧美一区日韩一区| 黄色片在线观看免费| 风流少妇一区二区| 一区二区日韩电影| 欧美一区二区网站| 日本猛少妇色xxxxx免费网站| 国产91精品在线观看| ㊣最新国产の精品bt伙计久久| 欧美肥胖老妇做爰| 五月激情四射婷婷| 亚洲国产综合av| 美女在线视频一区| 国产精品国产三级国产普通话蜜臀 | 欧美在线一二三| 欧美激情一区二区三区p站| 天堂在线亚洲视频| 国产日本亚洲高清| 欧美午夜精品一区二区三区| 草草影院第一页| 成人久久视频在线观看| 亚洲va欧美va国产va天堂影院| 久久只精品国产| 一本到高清视频免费精品| 你懂的在线观看网站| 国产精一品亚洲二区在线视频| 亚洲另类在线制服丝袜| 欧美大肚乱孕交hd孕妇| 九九热视频在线免费观看| 日韩精品――色哟哟| 激情国产一区二区| 亚洲va韩国va欧美va精品| 欧美激情一区二区三区蜜桃视频| 中文字幕无码日韩专区免费 |