CodeGeeX模型詳解：本地部署、性能評(píng)測(cè)與新功能

模型相關(guān)

1. 我是否也可以下載CodeGeeX模型在本地？

CodeGeeX模型在Github上全部開源，希望學(xué)習(xí)和研究大模型的用戶都可以下載。截止7月，CodeGeeX在Github上獲得16,326個(gè)Star好評(píng)。最新一代模型的Github項(xiàng)目地址：https://github.com/THUDM/CodeGeeX4

2. CodeGeeX2代模型評(píng)測(cè)結(jié)果怎么樣？

我們使用CodeGeeX2-6B（截止7.26日的開源版本）在一些學(xué)術(shù)評(píng)測(cè)集（HumanEval，HumanEval-X）上做了測(cè)試，在沒有數(shù)據(jù)泄漏的情況下，這些評(píng)測(cè)集可以反映模型的基礎(chǔ)能力，實(shí)際體驗(yàn)還是需要以具體場(chǎng)景為準(zhǔn)。

在 HumanEval 評(píng)測(cè)中，CodeGeeX2-6B的表現(xiàn)全面超越了參數(shù)規(guī)模更大的 StarCoder 模型以及 OpenAI 的 Code-Cushman-001 模型（GitHub Copilot 曾使用的模型）。

在多語言方面，新版 CodeGeeX 2 模型在 HumanEval-X 數(shù)據(jù)集評(píng)測(cè)中表現(xiàn)優(yōu)異。相較于第一代，CodeGeeX2 的Pass@1 指標(biāo)在各個(gè)語言上的平均表現(xiàn)提升了 107%。其中，Rust 語言的性能提升顯著，提升了 321%；C++ 和 JavaScript 語言上的表現(xiàn)也提升了 70% 以上。

3. 如何使用最新版的第三代CodeGeeX模型？

目前VSCode 中的CodeGeeX插件已經(jīng)接入最新的第三代CodeGeeX模型。在VSCode插件市場(chǎng)搜索“CodeGeeX”，免費(fèi)下載安裝 v2.3.1 之后的版本，可以隨時(shí)體驗(yàn)最新模型能力。

4. 第三代CodeGeeX模型能力如何？

一、第三代模型性能全面提升

CodeGeeX第三代模型正式發(fā)布，基礎(chǔ)能力全面提升。

針對(duì)Python、Java、JavaScript、C++、Golang五種主流編程語言，代碼生成準(zhǔn)確率提升200%。

二、自定義系統(tǒng)指令

CodeGeeX 3代模型中，用戶可以根據(jù)不同開發(fā)場(chǎng)景和習(xí)慣，自定義系統(tǒng)指令。這種方式在不用模型微調(diào)的情況下，代碼注釋匹配度提升20%、代碼修復(fù)準(zhǔn)確率提升20%、單元測(cè)試通過率提升40%，使同一模型在不同使用場(chǎng)景下的泛化能力大幅提升。

三、RAG檢索增強(qiáng)

CodeGeeX 3代模型引入RAG算法，構(gòu)建流行公有倉(cāng)庫(kù)和私有倉(cāng)庫(kù)的代碼向量數(shù)據(jù)庫(kù)，緩解代碼生成模型幻覺性問題。包括：避免生成錯(cuò)誤的私有函數(shù)調(diào)用、讓模型擁有最新的代碼倉(cāng)庫(kù)知識(shí)、對(duì)私有代碼倉(cāng)庫(kù)建立知識(shí)庫(kù)等。

基于CodeGeeX第三代模型能力的全面提升，插件產(chǎn)品推出多項(xiàng)全新功能。