免費(fèi)AI編程助手
一、前言
Python語(yǔ)言近年來(lái)人氣爆棚。它廣泛應(yīng)用于數(shù)據(jù)科學(xué)，人工智能，以及網(wǎng)絡(luò)安全問(wèn)題中，由于代碼可讀性較強(qiáng)，學(xué)習(xí)效率較高，吸引了許多非科班的同學(xué)進(jìn)行學(xué)習(xí)。然而，使用Python一段時(shí)間以后，發(fā)現(xiàn)它在速度上完全沒(méi)有優(yōu)勢(shì)可言，特別是計(jì)算密集型任務(wù)里，性能問(wèn)題一直是Python的軟肋。本文主要介紹了Python的JIT編譯器Numba，能夠在對(duì)代碼侵入最少的情況下，極大加速計(jì)算核心函數(shù)的運(yùn)行速度，適合數(shù)據(jù)分析業(yè)務(wù)相關(guān)的同學(xué)使用。
首先要回答這樣一個(gè)問(wèn)題：當(dāng)運(yùn)行同一個(gè)程序時(shí)，為什么Python會(huì)比其他語(yǔ)言慢2到10倍？為什么我們無(wú)法將它變得更快？
以下是最主要的原因：
- “它是GIL（Global Interpreter Lock全局解釋器鎖）”
- “它是解釋型語(yǔ)言而非編譯語(yǔ)言”
- “它是動(dòng)態(tài)類型語(yǔ)言
由于本文的著重點(diǎn)并不是解釋Python速度慢的原因以及背后的邏輯，這部分就不深入探討了，歡迎有興趣的同學(xué)自行搜索。
二、Python的JIT編譯器
為了兼具移植性和性能，聰明的工程師們發(fā)明了 JIT 這個(gè)東西，所謂的 JIT 就是說(shuō)在解釋型語(yǔ)言中，對(duì)于經(jīng)常用到的或者說(shuō)有較大性能提升的代碼在解釋的時(shí)候編譯成機(jī)器碼，其他一次性或者說(shuō)沒(méi)有太大性能提升的代碼還是以字節(jié)碼的方式執(zhí)行。這樣的話，就能在保證移植性的同時(shí)，又能讓性能提升一大截，
JIT編譯在代碼運(yùn)行時(shí)動(dòng)態(tài)將Python代碼編譯為機(jī)器代碼執(zhí)行，由于避免了Python內(nèi)置的解釋器，運(yùn)行速度會(huì)有很大提升。比較流行的JIT方案是Numba和Pypy，但由于Python的歷史包袱和語(yǔ)法變化等原因，沒(méi)有一個(gè)能夠完美實(shí)現(xiàn)的方案。方案各自存在不同的優(yōu)缺點(diǎn)，需要在根據(jù)使用領(lǐng)域選擇合適的方案。
- Pypy支持全局的加速，但對(duì)C庫(kù)支持不好，較為適合用于Web服務(wù)等事務(wù)型任務(wù)。
- Numba能夠?qū)δ承┖瘮?shù)和庫(kù)進(jìn)行加速，高性能的同時(shí)保持了Python的兼容性，但使用的范圍會(huì)受到一定限制。
三、Numba快速學(xué)習(xí)
我們主要介紹Numba的基本用法，能夠在對(duì)代碼侵入最少的情況下，極大加速計(jì)算核心函數(shù)的運(yùn)行速度，適合數(shù)據(jù)分析業(yè)務(wù)相關(guān)的同學(xué)使用。
Numba通過(guò)使用LLVM技術(shù)，將Python代碼編譯生成優(yōu)化后的機(jī)器碼，可以大幅提高代碼執(zhí)行效率。
關(guān)于安裝
首先是安裝numba，根據(jù)python環(huán)境，運(yùn)行不同的安裝命令：
conda install numba pip install numba
四、關(guān)于使用
一句話總結(jié)：使用Numba最簡(jiǎn)單的方式就是在函數(shù)定義前加@jit 或 @njit的裝飾即可。
Numba通過(guò)在函數(shù)定義前加decorator(修飾符)來(lái)申明是否進(jìn)行加速。如上文所說(shuō)，最簡(jiǎn)單的使用方法是@jit。對(duì)于Numba的@jit有兩種編譯模式：nopython和object模式。
nopython模式會(huì)完全編譯這個(gè)被修飾的函數(shù)，函數(shù)的運(yùn)行與Python解釋器完全無(wú)關(guān)，不會(huì)調(diào)用Python的C語(yǔ)言API。如果想獲得最佳性能，推薦使用此種模式。同時(shí)由于@jit(nopython=True)太常用了，Numba提供了@njit修飾符，和這句話等價(jià)，方便使用。但這種模式要求函數(shù)中所有變量的類型都可以被編譯器推導(dǎo)(一些基本類型，如不能是一些庫(kù)或自己定義的數(shù)據(jù)類型等)，否則就會(huì)報(bào)錯(cuò)。
object模式中編譯器會(huì)自動(dòng)識(shí)別函數(shù)中循環(huán)語(yǔ)句等可以編譯加速的代碼部分，并編譯成機(jī)器碼，對(duì)于剩下不能識(shí)別的部分交給Python解釋器運(yùn)行。如果想獲取最佳性能，避免使用這種方法(For best performance avoid using this mode!)。
如果沒(méi)設(shè)置參數(shù)nopython=True，Numba首先會(huì)嘗試使用nopython模式，如果因?yàn)槟承┰驘o(wú)法使用，則會(huì)使用object模式。加了nopython后則會(huì)強(qiáng)制編譯器使用nopython模式，但如果代碼出現(xiàn)了不能自動(dòng)推導(dǎo)的類型，有報(bào)錯(cuò)的風(fēng)險(xiǎn)。
五、實(shí)驗(yàn)提升
from numba import jit
import random, time
def monte_carlo_pi(sam):
account = 0
for i in range(sam):
x = random.random()
y = random.random()
if (x ** 2 + y ** 2) < 1.0:
account += 1
return 4.0 * account / sam
@jit
def jit_monte_carlo_pi(sam):
account = 0
for i in range(sam):
x = random.random()
y = random.random()
if (x ** 2 + y ** 2) < 1.0:
account += 1
return 4.0 * account / sam
loops = [100000, 1000000, 10000000, 100000000, 1000000000]
for loop in loops:
startTime = time.time()
monte_carlo_pi(loop)
t = time.time() - startTime
print('python {} loop: {}'.format(loop, t))
startTime = time.time()
jit_monte_carlo_pi(loop)
t = time.time() - startTime
print('numba {} loop: {}'.format(loop, t))
對(duì)于以上代碼，運(yùn)行的結(jié)果是：
python 100000 loop: 0.0469999313354
numba 100000 loop: 0.213999986649
python 1000000 loop: 0.478999853134
numba 1000000 loop: 0.0110001564026
python 10000000 loop: 4.82499980927
numba 10000000 loop: 0.107000112534
python 100000000 loop: 48.728000164
numba 100000000 loop: 1.05900001526
python 1000000000 loop: 489.142100134
numba 1000000000 loop: 11.01402001452
可以看到，jit編譯后有約47倍的提升。循環(huán)次數(shù)越多，numba的加速效果就越明顯。對(duì)于更復(fù)雜的計(jì)算函數(shù)，numba可能會(huì)有更好的效果。
到此這篇關(guān)于python如何提高計(jì)算速度的文章就介紹到這了,更多python代碼優(yōu)化的內(nèi)容請(qǐng)搜索W3Cschool以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持W3Cschool！
