在神經(jīng)網(wǎng)絡(luò)的推理過程中，我們默認(rèn)是將pytorch的tensor的精度指定為單精度的float32，但是在有些時(shí)候不管是float16還是float32，在訓(xùn)練模型的時(shí)候都會(huì)導(dǎo)致精度丟失，從而引發(fā)訓(xùn)練效果的損失。那么pytorch怎么使用float64訓(xùn)練呢？接下來這篇文章告訴你。
首先我們要知道，pytorch默認(rèn)使用單精度float32訓(xùn)練模型，
原因在于：
使用float16訓(xùn)練模型，模型效果會(huì)有損失，而使用double(float64)會(huì)有2倍的內(nèi)存壓力，且不會(huì)帶來太多的精度提升。
本人，最近遇到需要使用double數(shù)據(jù)類型訓(xùn)練模型的情況，具體實(shí)現(xiàn)需要把模型的權(quán)重參數(shù)數(shù)據(jù)類型和輸入數(shù)據(jù)類型全部設(shè)置為torch.float64即可。
可使用torch的一個(gè)函數(shù)，輕松地把模型參數(shù)轉(zhuǎn)化為float64
torch.set_default_dtype(torch.float64)輸入類型可使用
tensor.type(torch.float64)補(bǔ)充：float32和float64的本質(zhì)區(qū)別
首先我們需要知道何為bits和bytes?
bits:名為位數(shù)bytes:為字節(jié)簡單的數(shù)就是MB和G的關(guān)系！
那么8bits=1bytes，下面是各個(gè)單位的相互轉(zhuǎn)化！
那么float32和float64有什么區(qū)別呢?
數(shù)位的區(qū)別一個(gè)在內(nèi)存中占分別32和64個(gè)bits，也就是4bytes或8bytes數(shù)位越高浮點(diǎn)數(shù)的精度越高它會(huì)影響深度學(xué)習(xí)計(jì)算效率?
float64占用的內(nèi)存是float32的兩倍，是float16的4倍；
比如對(duì)于CIFAR10數(shù)據(jù)集，如果采用float64來表示，需要60000*32*32*3*8/1024**3=1.4G，光把數(shù)據(jù)集調(diào)入內(nèi)存就需要1.4G；
如果采用float32，只需要0.7G，如果采用float16，只需要0.35G左右；
占用內(nèi)存的多少，會(huì)對(duì)系統(tǒng)運(yùn)行效率有嚴(yán)重影響；（因此數(shù)據(jù)集文件都是采用uint8來存在數(shù)據(jù)，保持文件最?。?/p>
小結(jié)
在了解了float32和float64有什么區(qū)別之后，相信各位讀者心中已經(jīng)知道應(yīng)該如何選擇訓(xùn)練模型時(shí)要使用哪種精度了。以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持W3Cschool。
