在 OpenShift 4.20 上建置模型服務:vLLM + Qwen 3 8B + Open WebUI

去年我在 2025 iTHome 鐵人賽 - 30 天帶你實戰 LLMOps:從 RAG 到觀測與部署 的 Day17 - LLM 部署策略選型:雲端 vs 本地 vs 混合架構(成本與隱私) 有介紹過雲地部署 AI 模型大略的成本概念。所以我也想實際在我的地端環境裡面簡單的建置看看大語言模型服務,走過一遍實際的建置流程,才會有深刻的印象。
適用環境:RHEL 9 / OpenShift 4.20 / RTX PRO 4000 Blackwell GPU
我的環境建置成本和選型可以參考這篇:Homelab 神桌 2.0 建置紀錄。