離線模式教程：如何在Ollama上部署CodeGeeX4-ALL-9B

離線模式教程：Ollama篇

CodeGeeX4-ALL-9B作為最新一代CodeGeeX4系列模型的開源版本發(fā)布后，很多用戶對這次更新的CodeGeeX插件支持本地模式非常感興趣，都希望能夠在本地部署CodeGeeX4-ALL-9B，然后通過本地模式接入CodeGeeX插件中來使用代碼補(bǔ)全和智能問答的功能。

CodeGeeX4-ALL-9B這次也專門適配了GGUF，今天我們詳細(xì)介紹只用簡單的一招，不用考慮環(huán)境和依賴，通過Ollama跑起來本地的CodeGeeX代碼大模型。

首先我們需要用到的Ollama也是一個開源項(xiàng)目，是在本地快速跑各種開源大模型的最優(yōu)選擇之一。CodeGeeX4-ALL-9B在開源后不到24小時就獲得了Ollama的支持，目前通過Ollama下載已經(jīng)超過了10,000次+。

安裝使用的過程非常簡單，跟著下面的教程，大家也可以一起來體驗(yàn)：

首先，把Ollama開源項(xiàng)目一鍵安裝在自己的電腦上。建議安裝Ollama0.2或更高版本。MacOS和Windows都有一鍵安裝包。Linux也只需要執(zhí)行一行命令。

安裝完成后，打開終端，輸入ollama，能看到這些信息就說明Ollama已經(jīng)安裝成功。

接下來我們打開Ollama的官網(wǎng)，搜索CodeGeeX4。

打開進(jìn)入詳情頁面，就可以看到CodeGeeX4-ALL-9B模型的相關(guān)介紹和使用命令了，復(fù)制運(yùn)行命令

在終端運(yùn)行剛才復(fù)制的模型運(yùn)行命令，就開始安裝CodeGeeX4-ALL-9B模型了

看到終端命令行提示的“Send a message”就說明CodeGeeX4-ALL-9B已經(jīng)成功安裝在你的電腦上，你可以直接在這里輸入問題和CodeGeeX4-ALL-9B進(jìn)行對話。

接下來按照下面的步驟，就可以把CodeGeeX4-ALL-9B接入到您的CodeGeeX插件本地模式中。

兩個平臺的步驟相同。

1. 在VSCode、JetBrains全家桶的IDE插件市場中，搜索CodeGeeX，點(diǎn)擊下載安裝插件。

2. 配置跨域所需的環(huán)境變量在終端輸入

   export OLLAMA_ORIGINS="*"

   或

   launchctl setenv OLLAMA_ORIGINS "*"

   來設(shè)置環(huán)境變量，Windows環(huán)境可以觀看下方視頻，了解如何手動配置環(huán)境變量。

3. 設(shè)置后需要重啟 Ollama 服務(wù)和 IDE(VSCode 或其他環(huán)境) 使環(huán)境變量生效。

4. 啟動CodeGeeX4，在終端輸入

ollama serve

打開一個新的終端，在終端輸入

ollama run codegeex4

5. 配置接口地址在CodeGeeX插件的本地模式設(shè)置中，輸入模型地址：

http://localhost:11434/v1/chat/completions

打開模型配置的高級模式，在模型名稱欄填寫

codegeex4

現(xiàn)在就可以享受 CodeGeeX4在本地提供的編碼體驗(yàn)！

希望了解更多模型部署的教程，可以前往CodeGeeX4在Github上的教程與Demo查看，如果您喜歡我們的項(xiàng)目并認(rèn)為它對您有幫助，請在GitHub上為CodeGeeX4點(diǎn)一個?? Star！