【AI大模型】擴(kuò)容方案：業(yè)務(wù)增長后的性能擴(kuò)容路線圖業(yè)務(wù)增長后，推理服務(wù)遲早會遇到性能瓶頸：吞吐上不去、延遲變高、顯存告急。擴(kuò)容不是一上來就加機器，而是先定位瓶頸，再沿清晰路線逐級推進(jìn)。本文給出從單機到集群的擴(kuò)容路線圖：先講瓶頸定位，再給單機優(yōu)化、換硬件、多機并行與集群編排四個階段，最后用可運行代碼落地。全文控制在5000字以內(nèi)。先定位瓶頸擴(kuò)容前必須先確認(rèn)瓶頸類型，否則容易花冤枉錢。推理瓶頸分三類：算力瓶頸，GPU 利用率已滿但吞吐不夠；顯存瓶頸，顯存已滿導(dǎo)致并發(fā)上不去；吞吐瓶頸，單機并發(fā)飽和、請求排隊。三類瓶頸對應(yīng)不同擴(kuò)容路徑，定位錯了方向，加再多資源也無效。定位方法看三組指標(biāo)。GPU 利用率高說明算力瓶頸；顯存占用接近上限說明顯存瓶頸；隊列堆積、延遲上升而 GPU 利用率未滿，說明吞吐或調(diào)度瓶頸。確認(rèn)瓶頸后再選擴(kuò)容路徑，是擴(kuò)容第一步。階段一：單機優(yōu)化擴(kuò)容先做零成本或低成本的軟件優(yōu)化，壓榨單機上限。量化降低顯存與帶寬，批處理提升吞吐，前綴緩存減少重復(fù)預(yù)填充，這些優(yōu)化在加硬件前往往能帶來明顯提升。把軟件優(yōu)化做足，能推遲或避免硬件投入。單機優(yōu)化的順序是：先量化到可接受的精度下限，再調(diào)大批處理與并發(fā)，最后開前綴緩存等特性。每項優(yōu)化跑一輪壓測確認(rèn)收益，保留數(shù)據(jù)。單機優(yōu)化到位后，若仍不滿足，再進(jìn)入換硬件階段。python -m vllm.entrypoints.openai.api_server \ --model meta-llama/Llama-3.1-8B-Instruct \ --quantization fp8 \ --gpu-memory