CodeGeeX 本地模式使用指南

CodeGeeX 本地模式使用指南

CodeGeeX 本地模式可以將本地 API 服務(wù)接入智能問(wèn)答和代碼補(bǔ)全中，以實(shí)現(xiàn)安全、隱私、高效的編碼體驗(yàn)。您可以將任何與 OpenAI 兼容的 RESTful API 接入到 CodeGeeX 的插件中。

本地模式使用幫助

1、打開側(cè)邊欄，從菜單中進(jìn)入 「本地模式」

2、打開「模型」頁(yè)面，填寫 API 信息

模型地址：可以使用任何與 OpenAI RESTful API 兼容的地址，例如 http://localhost:1234/v1/chat/completions

API KEY：如果您的 API 服務(wù)需要鑒權(quán)，請(qǐng)?jiān)诖颂钊朊荑€。插件會(huì)在請(qǐng)求 API 的 HTTP HEADER 中添加以下信息

Authorization: Bearer <token>

模型名稱：如果您的 API 支持多個(gè)模型，可以在此填入模型名稱。插件會(huì)在請(qǐng)求 API 的 PAYLOAD 中添加以下信息

3、驗(yàn)證配置

可以使用「連接」驗(yàn)證配置是否正確，當(dāng)顯示為「已連接」時(shí)，您可以開始體驗(yàn) CodeGeeX 的本地模式。

4、設(shè)置高級(jí)參數(shù)

如果您對(duì) 模型的 temperature 或 top_p 等參數(shù)有特別需求，可以展開 聊天 和 代碼補(bǔ)全 中的「高級(jí)配置」進(jìn)行配置，插件會(huì)用以下協(xié)議與 API 通信

常用模型推理工具

1、使用 FastChat 提供 API 服務(wù)

FastChat 是一個(gè)高效的對(duì)話系統(tǒng)框架，您可以使用該框架快速部署CodeGeeX4模型。官方文檔： https://github.com/lm-sys/FastChat

如需技術(shù)協(xié)助請(qǐng)通過(guò) CodeGeeX 公眾號(hào)加入用戶群。

2、使用 Ollama 在個(gè)人電腦中啟動(dòng)推理服務(wù)

Ollama 是一個(gè)開源的本地部署大型語(yǔ)言模型的工具，您可以點(diǎn)擊鏈接下載 Ollama：https://ollama.com/download

官方文檔見：https://github.com/ollama/ollama

通過(guò)Ollama使用插件需要配置跨域，您可以按照以下配置接入：

1. ollama 版本 > 0.2.0

1. 您可以通過(guò)在終端輸入ollama -v檢查您安裝的ollama版本

2. 配置跨域所需的環(huán)境變量

1. 在終端輸入export OLLAMA_ORIGINS="*" 或launchctl setenv OLLAMA_ORIGINS "*"來(lái)設(shè)置環(huán)境變量，Windows環(huán)境可以在環(huán)境變量中手動(dòng)配置

2. 設(shè)置后需要重啟 ollama 服務(wù)和 IDE(VSCode 或其他環(huán)境) 使環(huán)境變量生效

3. 不同環(huán)境配置的方式不同，請(qǐng)參考https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server

3. 啟動(dòng)CodeGeeX4

1. 在終端輸入ollama serve

2. 打開一個(gè)新的終端，在終端輸入ollama run codegeex4

4. 配置接口地址

1. 在插件的模型配置頁(yè)填寫模型地址：http://localhost:11434/v1/chat/completions

2. 打開模型配置的高級(jí)模式，在模型名稱欄填寫：codegeex4

3、使用 LM-Studio 在個(gè)人電腦中啟動(dòng)推理服務(wù)

LM Studio 是一個(gè)用于部署本地和開源大型語(yǔ)言模型的工具，您可以點(diǎn)擊鏈接下載 LM Studio：https://lmstudio.ai/

官方文檔：https://lmstudio.ai/docs/welcome

下載后打開LM Studio，搜索CodeGeeX4模型并下載

你可以點(diǎn)擊側(cè)邊欄找到模型部署頁(yè)，在這里部署本地模型

注意：在選擇模型前請(qǐng)打開跨域（默認(rèn)是關(guān)閉的，這會(huì)導(dǎo)致插件無(wú)法連接到本地模型）

選擇并啟動(dòng)服務(wù)器，模型就部署成功了。 這時(shí)候只需要復(fù)制部署鏈接到模型配置頁(yè)，就可以使用插件的本地模式啦！ ??

4、使用 Fastapi 部署本地模型

參考該教程 https://github.com/THUDM/CodeGeeX4/tree/main/local_mode （中文地址）

1. 安裝依賴項(xiàng) (python>=3.9)

2. 啟動(dòng)服務(wù)即可開始使用

常見問(wèn)題

1、API 無(wú)法連接

如果您使用 LM STUDIO 提供 API 服務(wù)，請(qǐng)打開跨域支持。如下圖，開啟 Cross-Origin-Resource-Sharing