예제 소스
차트 REINFORCE: 규칙 교사와 KL로 정책망 준비하기 · 파일 59개
llm_rl_backend.py
"""
비전 LLM 백엔드 (torch / mlx / ollama).
값만 바꿔서 사용. argparse 없음.
"""
from __future__ import annotations
# "torch" | "mlx" | "ollama"
# mlx 는 models/ 아래 mlx-vlm 호환 변환본이 있어야 함. HF PyTorch 스냅샷만 있으면 "torch" 사용.
BACKEND = "torch"
MODELS_DIR = "models"
TORCH_MODEL_FOLDER = "Qwen2.5-VL-3B-Instruct"
# MLX: 실제 받아 둔 폴더명으로 맞출 것 (없으면 mlx 선택 시 FileNotFoundError)
MLX_MODEL_FOLDER = "Qwen2-VL-2B-Instruct-4bit"
OLLAMA_HOST = "http://127.0.0.1:11434"
OLLAMA_MODEL = "llava:latest"
MAX_NEW_TOKENS_TORCH = 512
MAX_TOKENS_MLX = 512
VISION_RETRIES = 2
VISION_BACKOFF_SEC = 1.0