Ollama开发指南

ollama · 浏览次数 : 4

小编点评

**安装必备工具** **Linux** * CMake 3.24 或更高版本 * Go 1.22 或更高版本 * GCC 11.4.0 或更高版本 **Windows** * MinGW (任一版本) * GCC (任何版本) **构建Ollama代码** 1. 使用 Homebrew 安装:`brew install go cmake gcc` 2. 启用调试信息:`export CGO_CFLAGS=\"-g\"` 3. 运行构建:`go build .` **运行Ollama** 1. 执行 Ollama 命令:`./ollama` **Linux平台特异性** 1. 设置 CUDA 路径:`export CUDA_LIB_DIR` 和 `export CUDACXX` 2. 设置 ROCm 路径:`export ROCM_PATH` 和 `export CLBlast_DIR` **高级CPU设置** 1. 设置 OLLAMA_CUSTOM_CPU_DEFS 环境变量 **Linux容器化构建** 1. 创建 `./scripts/build_linux.sh` 文件 2. 运行脚本:`./scripts/build_linux.sh` **Windows平台** 1. 安装 MSVC 工具链 2. 设置 GO 和 MinGW 路径

正文

 

安装必备工具


  确保已安装以下软件的正确版本:

  CMake 3.24 或更高版本
  Go 1.22 或更高版本
  GCC 11.4.0 或更高版本

 

使用 Homebrew 安装这些工具(适用于macOS和Linux):

brew install go cmake gcc

 

可选:启用调试与详细日志
  构建时开启调试信息:

export CGO_CFLAGS="-g"

  运行时开启更多日志输出:

export OLLAMA_DEBUG=1

 

获取依赖库并构建原生LLM代码
使用Go的generate命令来获取依赖并构建本地代码:

go generate ./...

含义看这里:https://www.cnblogs.com/farwish/p/18164738

 

构建Ollama

构建Ollama主程序:

go build .

 

运行Ollama

构建完成后,执行Ollama:

./ollama

 

Linux平台特异性

 

Linux上的CUDA(NVIDIA)

  安装NVIDIA CUDA开发包和运行时环境。尽管某些Linux发行版可能已包含CUDA,但具体步骤可能因发行版而异,请查阅相应文档。

  构建脚本通常能自动识别CUDA路径,若路径非标准,可通过环境变量CUDA_LIB_DIR和CUDACXX指定CUDA库目录和nvcc编译器位置。自定义目标CUDA架构,可设置CMAKE_CUDA_ARCHITECTURES。

 

Linux上的ROCm(AMD)

  安装CLBlast和ROCm的开发包,以及CMake和Go。

  ROCm同样能被自动检测,但如有特殊路径,可通过ROCM_PATH和CLBlast_DIR环境变量指定ROCm安装目录和CLBlast目录。AMD GPU目标可通过AMDGPU_TARGETS自定义。

  ROCm运行时需提升权限,通常将用户加入render组或以root身份运行。

 

高级CPU设置

  默认情况下,go generate ./...会基于通用CPU家族和向量数学能力编译几个LLM库变体。

  若要为特定处理器定制CPU版本,可设置OLLAMA_CUSTOM_CPU_DEFS环境变量,传入llama.cpp编译标志。

 

Linux容器化构建

  如果安装了Docker,可以使用./scripts/build_linux.sh脚本构建Linux二进制文件,该脚本包含了CUDA和ROCm依赖。构建产物位于./dist目录下。

 

Windows平台

 

注意:Ollama的Windows构建仍在开发中。

  必须安装MSVC工具链、Go(1.22+)及MinGW(任一变体)搭配GCC。

  对于Windows CUDA支持,需在安装MSVC后安装NVIDIA CUDA。

  对于Windows ROCm支持,需安装AMD HIP SDK,并配置Strawberry Perl环境。

  最后,确保将MSVC附带的ninja.exe添加到系统路径中。

 

Tool:文字生成图片代码差异比较器HTML查错器Llama3在线

Link:https://www.cnblogs.com/farwish/p/18164772

与Ollama开发指南相似的内容:

Ollama开发指南

安装必备工具 确保已安装以下软件的正确版本: CMake 3.24 或更高版本 Go 1.22 或更高版本 GCC 11.4.0 或更高版本 使用 Homebrew 安装这些工具(适用于macOS和Linux): brew install go cmake gcc 可选:启用调试与详细日志 构建时开

mac本地搭建ollama

mac本地搭建ollama webUI *简介:ollama-webUI是一个开源项目,简化了安装部署过程,并能直接管理各种大型语言模型(LLM)。本文将介绍如何在你的macOS上安装Ollama服务并配合webUI调用api来完成聊天。 开源地址 https://github.com/812781

使用Microsoft.SemanticKernel基于本地运行的Ollama大语言模型实现Agent调用函数

大语言模型的发展日新月异,记得在去年这个时候,函数调用还是gpt-4的专属。到今年本地运行的大模型无论是推理能力还是文本的输出质量都已经非常接近gpt-4了。而在去年gpt-4尚未发布函数调用时,智能体框架的开发者们依赖构建精巧的提示词实现了gpt-3.5的函数调用。目前在本机运行的大模型,基于这一

ollama 源代码中值得阅读的部分

阅读 Ollama 源代码以了解其内部工作机制、扩展功能或参与贡献。 以下是一些值得重点关注的部分: 1. 核心服务模块: 查找负责启动和管理模型服务的主程序或类,这通常是整个项目的核心逻辑所在。关注如何初始化模型环境、加载模型权重、配置服务器端口和通信协议等关键步骤。 2. 模型加载与推理逻辑:

MoneyPrinterPlus全面支持本地Ollama大模型

MoneyPrinterPlus现在支持批量混剪,一键AI生成视频,一键批量发布短视频这些功能了。 之前支持的大模型是常用的云厂商,比如OpenAI,Azure,Kimi,Qianfan,Baichuan,Tongyi Qwen, DeepSeek这些。 支持云厂商的原因是现在大模型使用基本都很便宜

使用open webui+ollama部署本地大模型

使用open webui+ollama部署本地大模型 上次使用了angthingllm + ollama部署了本地大模型,详情见:https://www.cnblogs.com/jokingremarks/p/18151827 但是还是觉得可以用兼容性更好的open webui 1.安装docker