CodeGeeX本地模式使用指南：高效編碼體驗(yàn)

CodeGeeX 本地模式使用指南

CodeGeeX 本地模式可以將本地 API 服務(wù)接入智能問答和代碼補(bǔ)全中，以實(shí)現(xiàn)安全、隱私、高效的編碼體驗(yàn)。您可以將任何與 OpenAI 兼容的 RESTful API 接入到 CodeGeeX 的插件中。

本地模式使用幫助

1、打開側(cè)邊欄，從菜單中進(jìn)入 「本地模式」

2、打開「模型」頁面，填寫 API 信息

模型地址：可以使用任何與 OpenAI RESTful API 兼容的地址，例如 ?http://localhost:1234/v1/chat/completions?

API KEY：如果您的 API 服務(wù)需要鑒權(quán)，請?jiān)诖颂钊朊荑€。插件會(huì)在請求 API 的 HTTP HEADER 中添加以下信息

Authorization: Bearer <token>

模型名稱：如果您的 API 支持多個(gè)模型，可以在此填入模型名稱。插件會(huì)在請求 API 的 PAYLOAD 中添加以下信息

{
"model": "<MODEL NAME>"
}

3、驗(yàn)證配置

可以使用「連接」驗(yàn)證配置是否正確，當(dāng)顯示為「已連接」時(shí)，您可以開始體驗(yàn) CodeGeeX 的本地模式。

4、設(shè)置高級參數(shù)

如果您對 模型的 temperature 或 top_p 等參數(shù)有特別需求，可以展開 聊天 和 代碼補(bǔ)全 中的「高級配置」進(jìn)行配置，插件會(huì)用以下協(xié)議與 API 通信

{
"model": "<MODEL NAME>",
"messages": [
{
"role": "user",
"content": "CodeGeeX is awesome!"
}
],
"temperature": "<TEMPERATURE>",
"top_p": "<TOP_P>",
"max_tokens": "<MAX_TOKENS>",
"presence_penalty": "<PENALTY>",
"stream": true,
"stop": []
}

常用模型推理工具

1、使用 FastChat 提供 API 服務(wù)

FastChat 是一個(gè)高效的對話系統(tǒng)框架，您可以使用該框架快速部署CodeGeeX4模型。官方文檔： https://github.com/lm-sys/FastChat

如需技術(shù)協(xié)助請通過 CodeGeeX 公眾號加入用戶群。

2、使用 Ollama 在個(gè)人電腦中啟動(dòng)推理服務(wù)

Ollama 是一個(gè)開源的本地部署大型語言模型的工具，您可以點(diǎn)擊鏈接下載 Ollama：https://ollama.com/download

官方文檔見：https://github.com/ollama/ollama

通過Ollama使用插件需要配置跨域，您可以按照以下配置接入：

1. ollama 版本 > 0.2.0

   1. 您可以通過在終端輸入ollama -v檢查您安裝的ollama版本

2. 配置跨域所需的環(huán)境變量

   1. 在終端輸入export OLLAMA_ORIGINS="*" 或launchctl setenv OLLAMA_ORIGINS "*"來設(shè)置環(huán)境變量，Windows環(huán)境可以在環(huán)境變量中手動(dòng)配置
   2. 設(shè)置后需要重啟 ollama 服務(wù)和 IDE(VSCode 或其他環(huán)境) 使環(huán)境變量生效
   3. 不同環(huán)境配置的方式不同，請參考https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server

3. 啟動(dòng)CodeGeeX4

   1. 在終端輸入ollama serve
   2. 打開一個(gè)新的終端，在終端輸入ollama run codegeex4

4. 配置接口地址

   1. 在插件的模型配置頁填寫模型地址：?http://localhost:11434/v1/chat/completions?
   2. 打開模型配置的高級模式，在模型名稱欄填寫：codegeex4

3、使用 LM-Studio 在個(gè)人電腦中啟動(dòng)推理服務(wù)

LM Studio 是一個(gè)用于部署本地和開源大型語言模型的工具，您可以點(diǎn)擊鏈接下載 LM Studio：https://lmstudio.ai/

官方文檔：https://lmstudio.ai/docs/welcome

下載后打開LM Studio，搜索CodeGeeX4模型并下載
你可以點(diǎn)擊側(cè)邊欄找到模型部署頁，在這里部署本地模型
注意：在選擇模型前請打開跨域（默認(rèn)是關(guān)閉的，這會(huì)導(dǎo)致插件無法連接到本地模型）
選擇并啟動(dòng)服務(wù)器，模型就部署成功了。 這時(shí)候只需要復(fù)制部署鏈接到模型配置頁，就可以使用插件的本地模式啦！ ??

4、使用 Fastapi 部署本地模型

參考該教程 https://github.com/THUDM/CodeGeeX4/tree/main/local_mode （中文地址）

1. 安裝依賴項(xiàng) (python>=3.9)

2. 啟動(dòng)服務(wù)即可開始使用

常見問題

1、API 無法連接

如果您使用 LM STUDIO 提供 API 服務(wù)，請打開跨域支持。如下圖，開啟 ?Cross-Origin-Resource-Sharing?