LLM部署
未读
模型部署系列（四）ollama部署自定义模型
Tutorial: How to convert HuggingFace model to GGUF format · ggml-org/llama.cpp · Discussion #2948 将 HuggingFace 模型转换为 GGUF 及使用 ollama 运行 —— 以 Qwen2-0.
LLM部署
未读
模型部署系列（五）Qwen2.5-Omini
使用vLLM部署 git clone -b qwen2_omni_public https://github.com/fyabc/vllm.git
cd vllm
git checkout 729feed3ec2beefe63fda30a345ef363d08062f8
pip install se
LLM部署
未读
模型部署系列（三）llama3.2-vision
meta-llama/llama-models: Utilities intended for use with Llama models. meta-llama/llama3: The official Meta Llama 3 GitHub site ManishThota/llama3.2-V
LLM部署
未读
模型部署系列（一）Qwen2.5-VL
QwenLM/Qwen2.5-VL: Qwen2.5-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. 安装Qwen2.5-VL依赖 使用Conda安装 创建conda环境
LLM部署
未读
模型部署系列（零）前置环境
在这篇文章中我们会安装一些后续可能用到的工具。 CUDA CUDA（Compute Unified Device Architecture，统一计算架构）是 NVIDIA 推出的一种并行计算平台和编程模型，用于利用 NVIDIA GPU（图形处理单元）进行高性能计算。CUDA 允许开发者使用标准的编