一、部署前提：确认你的服务器满足条件

1. 硬件配置（核心亮点）

2. 系统与依赖准备

二、分步部署：从环境搭建到启动服务

第一步：搭建 Python 虚拟环境（避免依赖冲突）

# 安装Python和虚拟环境工具
sudo apt ｕｐｄａｔｅ && sudo apt install -y python3 python3-venv python3-pip git gcc
# 创建虚拟环境并激活
python3 -m venv phi3-env
ｓｏｕｒｃｅ phi3-env/bin/activate  # Ubuntu/Debian
# 若为CentOS：ｓｏｕｒｃｅ phi3-env/bin/activate

第二步：安装核心依赖库

# 升级pip
pip install --upgrade pip
# 安装PyTorch（CPU版，适配低配置）
pip3 install torch==2.1.0+cpu torchvision==0.16.0+cpu torchaudio==2.1.0+cpu -f https://download.pytorch.org/whl/cpu/torch_stable.html
# 安装模型运行依赖
pip install transformers==4.38.2 accelerate==0.30.1 sentencepiece==0.1.99 flask==2.3.3  # flask用于搭建API服务

第三步：下载 Phi-3-Mini 模型（量化版优先）

# 安装模型下载工具（可选，加速下载）
pip install huggingface-hub[cli]
# 登录Hugging Face（需注册账号，获取访问令牌：https://huggingface.co/settings/tokens）
huggingface-cli login
# 下载INT4量化版模型（约4GB，8G内存适配最佳）
huggingface-cli download microsoft/Phi-3-mini-4K-Instruct --local-dir phi3-model --local-dir-use-symlinks False --revision main

第四步：编写部署脚本（支持 API 调用）

from flask import Flask, request, jsonify
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
app = Flask(__name__)
# 配置量化参数（关键：降低内存占用）
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,  # 启用4位量化
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float32
)
# 加载模型和tokenizer
tokenizer = AutoTokenizer.from_pretrained("./phi3-model")
model = AutoModelForCausalLM.from_pretrained(
    "./phi3-model",
    quantization_config=bnb_config,
    device_map="auto",  # 自动分配设备（CPU优先）
    trust_remote_code=True
)
# 定义生成函数（私人AI助手核心逻辑）
def generate_response(prompt, max_new_tokens=512, temperature=0.7):
    inputs = tokenizer(
        f"<|user|>\n{prompt}\n<|assistant|>",
        return_tensors="pt",
        truncation=True,
        max_length=4096
    ).to(model.device)
    
    outputs = model.generate(
        **inputs,
        max_new_tokens=max_new_tokens,
        temperature=temperature,
        do_sample=True,
        eos_token_id=tokenizer.eos_token_id
    )
    
    return tokenizer.decode(outputs[0], skip_special_tokens=True).split("<|assistant|>")[-1].strip()
# 搭建API接口（支持HTTP调用）
@app.route("/api/chat", methods=["POST"])
def chat_api():
    data = request.json
    prompt = data.get("prompt", "请介绍一下自己")
    response = generate_response(prompt)
    return jsonify({"response": response})
if __name__ == "__main__":
    # 启动服务（默认端口5000，允许外网访问）
    app.run(host="0.0.0.0", port=5000, debug=False)  # 生产环境关闭debug

第五步：启动服务并测试

# 后台启动服务（避免终端关闭后停止）
nohup python phi3_server.py > phi3.log 2>&1 &
# 查看启动日志（确认是否成功）
tail -f phi3.log
# 成功标识："Running on http://0.0.0.0:5000"

# 使用curl测试API
curl -X POST http://你的服务器IP:5000/api/chat \
-H "Content-Type: application/json" \
-d '{"prompt": "请帮我写一个Python爬虫脚本，爬取网页标题"}'

三、低配置优化技巧：让 2 核 8G 更流畅

1. 内存优化（关键）

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile && sudo swapon /swapfile

2. 推理速度优化

3. 稳定性优化

pip install gunicorn
gunicorn -w 2 -b 0.0.0.0:5000 phi3_server:app  # 2个工作进程，匹配2核CPU

四、扩展用法：打造专属私人 AI 助手

1. 本地桌面调用

2. 权限控制（避免被恶意访问）

3. 功能扩展