Ubuntu系统支配大年夜措辞模型：Ollama和OpenWebUI实现人工智能自由_模子_措辞
CPU: i5-10400F
内存：32G
硬盘： 512G SSD
显卡： NVIDIA GeForce GTX 1060 6GB
内网IP: 192.168.1.21
*** Ollama
访问***： https://ollama.com/
安装Ollama方法1、命令行***安装(耗时长)
安装命令：
$ sudo apt install curl$ curl -fsSL https://ollama.com/install.sh | sh
缺陷： 海内网络环境要等良久
方法2 , 手动***安装1、手动*** https://ollama.com/install.sh 这个文件
$ sudo mkdir ollamacd ollama$ sudo wget https://ollama.com/install.sh
2、注释掉***部分 curl xxxx 手动***ollama-linux-{ARCH}
$ sudo vim install.sh修正文件：status "Downloading ollama..."#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
我电脑intel/amd cpu 以是 {ARCH} = amd64 浏览器*** https://ollama.com/download/ollama-linux-amd64 当然科学上网速率更快哟。 放在 install.sh 同目录下
3、注释掉 #$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
改为下面一行：
$ sudo vim install.sh修正文件：status "Installing ollama to $BINDIR..."$SUDO install -o0 -g0 -m755 -d $BINDIR#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64 $BINDIR/ollama
4 运行 install.sh ,安装
sh ./install.sh
重启电脑
配置模型***路径
cd sudo vim .bashrcsudo mkdir -p /home/star/ollama/ollama_cache
然后添加一行 配置 OLLAMA_MODELS 环境变量自定义路径
### ollama model dir 改为自己的路径# export OLLAMA_MODELS=/path/ollama_cacheexport OLLAMA_MODELS=/home/star/ollama/ollama_cache
如果开始没配置OLLAMA_MODELS ，默认路径是/usr/share/ollama/.ollama/models
启动ollama做事# ollama --helpLarge language model runnerUsage: ollama [flags] ollama [command]Available Commands: serve Start ollama create Create a model from a Modelfile show Show information for a model run Run a model pull Pull a model from a registry push Push a model to a registry list List models ps List running models cp Copy a model rm Remove a model help Help about any commandFlags: -h, --help help for ollama -v, --version Show version informationUse "ollama [command] --help" for more information about a command.
提示
star@star-ai:~$ ollama serveCouldn't find '/home/star/.ollama/id_ed25519'. Generating new private key.Your new public key is: ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIPmYsSi6aIsyhC4EHEsCdBtSOqnfKmNVSf0Ofz9sVzyBError: listen tcp 127.0.0.1:11434: bind: address already in use
解释已经运行
修正ollama端口vim /etc/systemd/system/ollama.service在 [Service] 下添加 Environment="OLLAMA_HOST=0.0.0.0"cat /etc/systemd/system/ollama.service[Unit]Description=Ollama ServiceAfter=network-online.target[Service]ExecStart=/usr/local/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin"Environment="OLLAMA_HOST=0.0.0.0"[Install]WantedBy=default.target
重新加载配置，重启ollama
systemctl daemon-reloadsystemctl restart ollama关闭做事systemctl stop ollama启动做事systemctl start ollama运行qwen大模型
ollama run qwen
一键安装脚本
sudo curl -sSL https://get.docker.com/ | sh安装完成之后star@star-ai:~$ sudo docker --versionDocker version 26.1.3, build b72abbb安装Open WebUI
Open WebUI是一个用于在本地运行大型措辞模型（LLM）的开源Web界面。
参考： https://docs.openwebui.com/getting-started/#quick-start-with-docker-
docker安装open-webui$ sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要运行支持 Nvidia GPU 的 Open WebUI，请利用以下命令：
$ sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
改海内的地址
$ sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always registry.cn-shenzhen.aliyuncs.com/funet8/open-webui:cuda
报错：
sudo docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always registry.cn-shenzhen.aliyuncs.com/funet8/open-webui:cuda254b47e7994b2f0087ce0058918621523b39cf9b0e89018777c0cf98943ba2d1docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
ubuntu识别不了我的显卡
$ sudo nvidia-smiFri May 17 18:37:15 2024 +-----------------------------------------------------------------------------------------+| NVIDIA-SMI 550.54.15 Driver Version: 550.54.15 CUDA Version: 12.4 ||-----------------------------------------+------------------------+----------------------+| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC || Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. || | | MIG M. ||=========================================+========================+======================|| 0 NVIDIA GeForce GTX 1060 6GB Off | 00000000:01:00.0 Off | N/A || 40% 33C P8 6W / 120W | 65MiB / 6144MiB | 0% Default || | | N/A |+-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+| Processes: || GPU GI CI PID Type Process name GPU Memory || ID ID Usage ||=========================================================================================|| 0 N/A N/A 1030 G /usr/lib/xorg/Xorg 56MiB || 0 N/A N/A 1109 G /usr/bin/gnome-shell 4MiB |+-----------------------------------------------------------------------------------------+
安装nvidia-container-toolkit： 确保你已经安装了nvidia-container-toolkit，并配置Docker以利用该工具包：
sudo apt-get updatesudo apt-get install -y nvidia-container-toolkitsudo systemctl restart docker
检讨Docker默认运行时配置： 确保Docker的默认运行时设置为nvidia。编辑Docker的配置文件（常日位于/etc/docker/daemon.json），并添加或修正如下内容：
sudo vim /etc/docker/daemon.json添加：{ "default-runtime": "nvidia", "runtimes": { "nvidia": { "path": "nvidia-container-runtime", "runtimeArgs": [] } }}编辑完文件后，重启Docker做事：sudo systemctl restart docker
检讨NVIDIA Container Runtime兼容性： 确保你的NVIDIA Container Runtime版本与Docker版本兼容。可以通过以下命令查看版本：
sudo docker versionnvidia-container-runtime --version
完成上述步骤后，再次考试测验运行你的Docker命令。如果问题仍旧存在，请供应更多的系统信息和日志，以便进一步诊断问题。
sudo docker start open-webui
用IP+端口访问
修正措辞为中文
OpenWebUI默认是英文的，以是修正措辞为简体中文。
OpenWebUI不能连接Ollama
报错：WebUI could not connect to ollama
修正地址：http://192.168.1.21:11434
再***千问的模型 qwen
***大模型
ollama官方的模型仓库拜会这里：https://ollama.com/library
根据自己的CPU和GPU选择得当的大模型，否则会很卡。
比如测试用的1060利用qwen:72b就很卡，问一个问题要等良久，险些是不能用的状态。
阿里巴巴的大模型：ollama run qwenollama run qwen:14bollama run qwen:32bollama run qwen:72bollama run qwen:110b # 110b 表示该模型包含了 1100 亿（110 billion）个参数脸书大模型：ollama run llama2ollama run llama3ollama run llama3:8b谷歌的大模型：ollama run gemma微软的大模型ollama run phi3删除模型
显示所有模型# ollama list删除模型# ollama rm llama3:latest
nvidia-smi
确实在ubuntu20.04系统下确实比window10系统利用Ollama更加流畅。
本文系作者个人观点，不代表本站立场，转载请注明出处！
