重生之部署第一个大模型 —— 用 Hugging Face 快速部署你心仪的开源模型

conda create -n llm_deploy python=3.10

conda activate llm_deploy

nvcc -V

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu128

pip install transformers accelerate sentencepiece protobuf

import torch
from transformers import pipeline

# 验证 PyTorch 是否可用，GPU 是否被识别
print("PyTorch 版本：", torch.__version__)
print("GPU 是否可用：", torch.cuda.is_available())

人类输入文本 → Tokenizer 分词（转数字张量）→ 模型推理（张量运算生成结果）→ Tokenizer 解码（转自然语言）→ 输出人类可读结果

# 导入必要的工具库（召唤核心战力）  
from transformers import AutoTokenizer, AutoModelForCausalLM  
import torch  
  
# 定义目标模型名称（对应 Hugging Face Hub 上的模型，可替换为你心仪的模型）  
MODEL_NAME = "Qwen/Qwen2.5-3B"  
  
# 步骤1：加载分词器（召唤翻译官，配置作战参数）  
tokenizer = AutoTokenizer.from_pretrained(  
    MODEL_NAME,  
    trust_remote_code=True,  
    padding_side="right",   
)  
  
  
# 步骤2：加载模型（召唤战神，激活硬件战力）  
model = AutoModelForCausalLM.from_pretrained(  
    MODEL_NAME,  
    trust_remote_code=True,  # 关键参数：与分词器一致，加载模型自定义结构（必开）  
    device_map="auto",       # 核心优化参数：启用 accelerate 自动设备分配，显存不足自动分流到 CPU/GPU  
    dtype=torch.float16,  # 指定数据类型：FP16，节省显存，平衡速度与精度  
    low_cpu_mem_usage=True   # 优化参数：降低内存占用，避免内存溢出  
)  
  
# 步骤3：模型进入推理模式（战神进入战备状态，禁用训练相关层）  
model.eval()  
print("✅ 模型与分词器加载成功！战神已就绪，可随时投入战斗！")

<|im_start|>user
你的提问内容<|im_end|>
<|im_start|>assistant

# 定义多轮对话消息（按 role:content 格式）
messages = [
    {"role": "system", "content": "你是精通大模型部署的重生者，回答简洁易懂"},
    {"role": "user", "content": "Qwen 对话格式怎么查看？"},
    {"role": "assistant", "content": "有三种方法：官方文档、HF 页面、代码验证"},
    {"role": "user", "content": "用代码生成格式的核心函数是什么？"}
]

# 生成对话文本（add_generation_prompt=True 自动添加 assistant 前缀，用于推理）
input_text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,  # 不分词，返回文本
    add_generation_prompt=True,  # 推理时必加，触发模型生成
    enable_thinking=False  # Qwen3 思考模型专用，禁用思考模式
)

print("⚡ 自动生成的标准输入文本：")
print(input_text)

inputs = tokenizer(  
    input_text,  
    return_tensors="pt",  # 关键参数：返回 PyTorch 张量（模型只能处理张量数据）  
    truncation=True,      # 优化参数：截断过长文本，避免超过模型最大序列长度  
    max_length=1024       # 优化参数：设置最大序列长度为 1024，适配大多数小模型  
).to(model.device)  # 核心步骤：将张量移动到模型所在设备（GPU/CPU），避免设备不匹配报错

# 步骤1：禁用梯度计算（核心优化，节省显存，提升推理速度）
with torch.no_grad():
    # 步骤2：模型推理生成输出（战神出战，执行作战指令）
    outputs = model.generate(
        **inputs,  # 传入处理后的输入张量（解包参数，简化代码）
        max_new_tokens=512,  # 核心参数：最大生成文本长度，避免生成过长
        temperature=0.7,     # 生成参数：控制随机性，0.7 兼顾流畅度与准确性（0=确定性输出，1=高随机性）
        top_p=0.95,          # 生成参数：核采样，只从概率前 95% 的词汇中选择，避免生成无意义内容
        do_sample=True,      # 生成参数：开启采样模式，提升生成文本多样性，避免输出僵硬
        eos_token_id=tokenizer.eos_token_id,  # 核心参数：指定结束符，让模型知道何时停止生成
        pad_token_id=tokenizer.pad_token_id   # 优化参数：指定填充符，避免部分模型报错
    )

# 导入必要的工具库（召唤核心战力，搭建作战体系）
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 定义目标模型名称（对应 Hugging Face Hub 上的「战神代号」，可替换为你心仪的模型）
MODEL_NAME = "Qwen/Qwen2.5-3B"

# 步骤1：加载分词器（召唤翻译官，配置专属作战参数，确保指令传递无误）
tokenizer = AutoTokenizer.from_pretrained(
    MODEL_NAME,
    trust_remote_code=True,  # 关键参数：信任模型作者提供的自定义代码（Qwen 系列必开，否则无法识别模型结构）
    padding_side="right",  # 优化参数：右填充，避免部分模型推理时出现上下文错位报错
)

# 步骤2：加载模型（召唤战神，激活硬件战力，榨干每一分硬件潜能）
model = AutoModelForCausalLM.from_pretrained(
    MODEL_NAME,
    trust_remote_code=True,  # 关键参数：与分词器保持一致，加载 Qwen 自定义模型结构（必开，否则部署失败）
    device_map="auto",  # 核心优化参数：启用 accelerate 智能后勤调度，显存不足自动分流到 CPU/内存
    dtype=torch.float16,  # 指定数据类型：FP16 半精度，节省一半显存，推理速度翻倍（无明显精度损失）
    low_cpu_mem_usage=True  # 优化参数：降低 CPU 内存占用，避免低配设备出现内存溢出（低配设备续命神器）
)

# 步骤3：模型进入推理模式（战神进入战备状态，禁用训练相关冗余层，节省显存提升速度）
model.eval()
print("✅ 模型与分词器加载成功！战神已就绪，可随时投入多轮对话作战！")

# 定义多轮对话消息（按 role:content 标准格式构建，还原真实对话场景，传递完整上下文）
# 角色说明：system（系统指令，定义战神人设）> user（用户提问）> assistant（模型回答）
messages = [
    {"role": "system", "content": "你是精通大模型部署的重生者，回答简洁易懂，只讲核心要点，不冗余"},
    {"role": "user", "content": "介绍一下你自己"},
]

# 生成对话文本（调用翻译官专属模板工具，自动生成标准输入格式，无需手动拼接）
# apply_chat_template：Qwen2.5 系列推荐的对话格式生成函数，自动适配模型训练格式，避免手动拼接出错
input_text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,  # 关键参数：不分词，直接返回格式化文本（后续统一分词，避免重复处理）
    add_generation_prompt=True,  # 核心参数：推理时必加，自动添加 assistant 前缀，触发模型生成回答（缺一不可）
    enable_thinking=False  # 优化参数：Qwen3 思考模型专用，Qwen2.5 禁用即可，避免无意义报错
)

# 打印格式化输入文本，方便查看模型真实输入，便于后续排错
print("\n⚡ 自动生成的标准输入文本（战神接收的完整指令）：")
print("-" * 60)
print(input_text)
print("-" * 60)

# 分词处理：将格式化文本转换为模型可识别的数字张量（翻译官完成指令编码，传递给战神）
inputs = tokenizer(
    input_text,
    return_tensors="pt",  # 关键参数：返回 PyTorch 张量（模型仅能处理张量数据，无法直接识别文本）
    truncation=True,  # 优化参数：自动截断超过模型最大序列长度的文本，避免报错
    max_length=1024,  # 优化参数：设置最大序列长度 1024，适配 Qwen2.5-0.5B 能力范围（足够日常多轮对话）
    padding=True  # 补充参数：自动填充到指定长度，与 padding_side="right" 配合，提升推理效率
).to(model.device)  # 核心步骤：将张量移动到模型所在设备（GPU/CPU），避免「设备不匹配」致命报错（重生避坑重点）

# 步骤4：模型推理生成输出（战神出战，执行多轮对话指令，生成精准回答）
with torch.no_grad():  # 核心优化：禁用梯度计算，节省大量显存，推理速度提升 30% 以上（推理阶段必备）
    outputs = model.generate(
        **inputs,  # 解包输入张量，简化代码（等价于 input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"]）
        max_new_tokens=128,  # 核心参数：最大生成文本长度，避免生成过长内容
        temperature=0.7,  # 生成参数：控制随机性，0.7 兼顾流畅度与准确性（0=确定性输出，1=高随机性，新手推荐沿用）
        top_p=0.90,  # 生成参数：核采样，只从概率前 90% 的词汇中选择，避免生成无意义乱码
        do_sample=True,  # 生成参数：开启采样模式，提升回答多样性，避免输出内容僵硬刻板
        num_beams=2,  # 开启束搜索（2束即可），平衡多样性与稳定性
        eos_token_id=tokenizer.eos_token_id,  # 核心参数：指定结束符编码，让模型知道何时停止生成（避免无限续写）
        pad_token_id=tokenizer.pad_token_id,  # 优化参数：指定填充符编码，解决部分模型「缺少 pad token」报错
        repetition_penalty=1.2,  # 生成参数：加大重复惩罚，避免复读机效果
        no_repeat_ngram_size=3,  # 新增：禁止3元语法重复，进一步提升回答精炼度
        early_stopping=True  # 新增：生成结束符后立即停止，避免多余内容
    )

# 步骤5：解码输出，转换为人类可读文本（翻译官解读战神战果，去除冗余编码信息）
output_text = tokenizer.batch_decode(
    outputs,
    skip_special_tokens=True,  # 核心优化：跳过 <|im_start|> 等特殊标记，只返回纯文本内容（提升可读性）
    clean_up_tokenization_spaces=True  # 优化参数：清理多余的空格和换行，让回答格式更整洁（原代码为 False，修正后更友好）
)[0]  # 批量解码取第 0 个元素（本次为单条推理，仅返回一个结果）

# 步骤6：优化结果展示，提取纯助手回答（去除原始输入上下文，只展示最新生成结果，提升体验）
# 分割标记：基于 apply_chat_template 生成的格式，精准提取 assistant 最新回答
if "<|im_start|>assistant" in output_text:
    final_response = output_text.split("<|im_start|>assistant")[-1].strip()
else:
    final_response = output_text.strip()

# 打印最终结果，清晰展示对话成果
print("\n🔥 模型生成最终结果（重生者专属解答）：")
print("-" * 60)
print(final_response)
print("-" * 60)