GPU 한 장으로 7B·70B 모델을 도메인에 특화시키는 법 — LoRA·QLoRA·PEFT 원리와 실무 코드

W' = W₀ + ΔW = W₀ + B·A

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments
from trl import SFTTrainer
from datasets import load_dataset
import torch
 
# 기본 모델 로드
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B")
 
# LoRA 설정
config = LoraConfig(
    r=16,                          # 시작값. 검증 손실 보며 조정
    lora_alpha=32,                 # 2×r 기본값
    target_modules="all-linear",   # 모든 선형 레이어 대상
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)
 
model = get_peft_model(model, config)
model.print_trainable_parameters()
# trainable params: 41,943,040 || all params: 8,072,204,288 || trainable%: 0.5196
 
# 데이터셋 로드
dataset = load_dataset("your-dataset", split="train")
 
# 학습 설정
training_args = TrainingArguments(
    output_dir="./lora-output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,            # LoRA는 풀 파인튜닝(1e-5 수준)보다 높게
    fp16=True,
    logging_steps=10,
    save_strategy="epoch",
    evaluation_strategy="epoch",
    load_best_model_at_end=True,   # 조기 종료와 함께 사용
)
 
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    args=training_args,
    tokenizer=tokenizer,
)
 
trainer.train()
model.save_pretrained("./lora-output")  # 어댑터만 저장. 기본 모델 크기의 ~1%

from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig, TrainingArguments
from trl import SFTTrainer
from datasets import load_dataset
import torch
 
# 4비트 양자화 설정
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,  # 이중 양자화로 추가 메모리 절감
    bnb_4bit_quant_type="nf4",       # NormalFloat4 — QLoRA 논문 권장
    bnb_4bit_compute_dtype=torch.bfloat16
)
 
# 7B 또는 70B 선택 (70B는 QLoRA 없이 단일 소비자 GPU에서 불가)
model_name = "meta-llama/Llama-3.1-8B"
# model_name = "meta-llama/Llama-3.1-70B"  # 70B: QLoRA 필수, VRAM 40GB+ 권장
 
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
 
# 4비트 모델 파인튜닝 준비
model = prepare_model_for_kbit_training(model)
 
config = LoraConfig(
    r=16,
    lora_alpha=32,
    target_modules="all-linear",
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)
 
model = get_peft_model(model, config)
model.print_trainable_parameters()
 
dataset = load_dataset("your-dataset", split="train")
 
training_args = TrainingArguments(
    output_dir="./qlora-output",
    num_train_epochs=3,
    per_device_train_batch_size=2,
    gradient_accumulation_steps=8,  # 메모리 제약 시 가상 배치 크기 확보
    learning_rate=2e-4,
    bf16=True,
    logging_steps=10,
    save_strategy="epoch",
    evaluation_strategy="epoch",
    load_best_model_at_end=True,
)
 
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    args=training_args,
    tokenizer=tokenizer,
)
 
trainer.train()
model.save_pretrained("./qlora-output")

from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import load_dataset
 
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="meta-llama/Llama-3.1-8B",
    max_seq_length=2048,
    dtype=None,          # 자동 감지
    load_in_4bit=True,   # QLoRA 모드
)
 
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules="all-linear",
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    use_gradient_checkpointing="unsloth",  # 메모리 30% 추가 절감
    random_state=42,
)
 
dataset = load_dataset("your-dataset", split="train")
 
training_args = TrainingArguments(
    output_dir="./unsloth-output",
    num_train_epochs=3,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    learning_rate=2e-4,
    bf16=True,
    logging_steps=10,
    save_strategy="epoch",
    evaluation_strategy="epoch",
    load_best_model_at_end=True,
)
 
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    args=training_args,
    tokenizer=tokenizer,
)
 
trainer.train()
model.save_pretrained("./unsloth-output")