本地部署AI模型

Avatar of 蔡智丞.
Avatar of 蔡智丞.

本地部署AI模型

待業中
Pingtung County, Taiwan

本地部署AI模型,使用Llama3作範例

首先安裝LM Studio,安裝完成後打開介面搜尋"Llama 3"並下載

下載完成後到LM Studio的資料夾尋找剛下載的AI模型資料夾,點擊進去後找到.gguf的檔案

路徑:C:\你的名稱\你的用戶名稱\.cache\lm-studio\models下就可找到

安裝Jan AI這個軟體,這個軟體可以直接在本地電腦上運行任何語言模型


網址:https://jan.ai/

之後把GGUF檔案移動到Jan資料夾內名為models的資料夾,這樣Jan的軟體才能讀取到gguf的檔案


路徑:C:\你的名稱\你的用戶名稱\jan\models

安裝完成後,進入到介面左邊旁邊有一個Hub(四個小方塊的圖形),點擊進去後進入到該介面,點選Import Model

點擊進去後按GGUF的選項,就是剛才說的GGUF檔案

點選Continue importing

讀取下載好的AI模型

之後問他就可以正常對話,但是使用英文比較精準,用中文的話AI會給很多錯誤的答案

由於我的電腦比較舊了,讀取這種8B的AI模型會非常慢,舊電腦的人可以用比較低階的AI模型,比如2B的資料模型等等

以Llama3模型為範例,使用LM Studio與Jan軟體部署AI模型,讓使用者更能夠簡單的在本地使用AI模型。
Avatar of the user.
Please login to comment.

Published: Jul 29th 2024
41
5
0

jan
llama3
lm studio
AI

Share