模從單機擴展到生產(chǎn)級)
VSS橫向擴展指南如何把視頻AI處理規(guī)模從單機擴展到生產(chǎn)級【免費下載鏈接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.項目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarizationVSSNVIDIA AI Blueprint for Video Search and Summarization是一個 GPU 加速的視頻搜索與摘要參考架構支持實時告警核驗、視覺問答和自動報告生成。當你接入的攝像頭從幾路變成幾百路、視頻時長從分鐘級變成小時級時如何橫向擴展視頻AI處理規(guī)模本指南帶你用 5 個關鍵步驟把 VSS 從單機 Demo 平滑擴展到多節(jié)點生產(chǎn)環(huán)境。一、為什么 VSS 天生適合橫向擴展視頻 AI 的瓶頸通常不在“算法”而在三件事GPU 推理算力、消息吞吐、存儲與檢索。VSS 的架構天然為這三件事留出了水平擴展空間VSS 整體分為三層每層都有獨立的擴展維度處理層核心組件擴展方式實時視頻智能RT-CV、RT-VLM、RT-Embedding按并發(fā)流數(shù)增加副本共享 GPU 池下游分析行為分析、告警核驗無狀態(tài)微服務直接加副本智能體與離線處理搜索、問答、長視頻摘要LLM/VLM 通過 HPA 自動擴縮容這種分層解耦意味著擴流路加推理副本擴并發(fā)加分析副本擴延遲敏感的模型加 HPA互不干擾。二、擴展路徑從 Docker Compose 到 KubernetesVSS 提供兩條遞進的部署路線官方文檔見 docs/deployments.mdx。階段 1單機驗證Docker Compose快速體驗走 Docker Compose 路線官方提供 4 個開發(fā)者配置developer profilebase問答與報告、alerts告警、search搜索、lvs長視頻摘要。它適合功能驗證和性能摸底但不適合承載生產(chǎn)流量。階段 2多節(jié)點生產(chǎn)Helm K8s真正的橫向擴展發(fā)生在 Kubernetes 上Helm 部署指南見 docs/helm-deployment.mdxChart 源碼位于 deploy/helm/集群要求Kubernetes ≥ 1.34 GPU Operator NIM Operator 支持ReadWriteMany的 StorageClass每個開發(fā)者配置都有對應的 Helm Chartbase/alerts/search/lvs可通過 values 文件調(diào)整副本數(shù)、GPU 分配集群內(nèi)啟動時間較長鏡像拉取 模型下載 預熱全部 Pod Ready 通常需要20–25 分鐘屬于正?，F(xiàn)象 擴展經(jīng)驗先在一個命名空間里把單個 profile 跑通再用命名空間隔離不同業(yè)務alerts / search / lvs最后按流數(shù)壓測確認瓶頸位置。三、擴流的鑰匙中間件解耦微服務之間的數(shù)據(jù)與控制消息全部經(jīng)由中間件流轉(zhuǎn)這是 VSS 能橫向擴展的根本原因概覽見 docs/middleware.mdx。消息代理二選一docs/message-broker.mdx 給出了選擇原則方案特點適合場景Kafka默認高吞吐、持久化、可擴展生產(chǎn)環(huán)境、大規(guī)模流數(shù)據(jù)Redis Streams輕量、低延遲、低內(nèi)存占用開發(fā)環(huán)境、控制消息為主選擇 Kafka 后分析微服務可以放心地橫向加副本——任何副本都能消費到屬于自己的那份流數(shù)據(jù)不需要有狀態(tài)協(xié)調(diào)。數(shù)據(jù)庫與存儲分析結果、事件incidents和核驗結果統(tǒng)一落到持久化存儲檢索服務可獨立擴容視頻文件本身的讀寫由 VIOS視頻 IO 與存儲承擔兩者都支持獨立擴縮。四、VLM 推理怎么擴基于延遲的自動擴縮容這是 VSS 擴展指南中最精華的部分完整文檔見 docs/vss-scale.mdxVLM Autoscaling。它讓 VLM 服務如 Cosmos 視覺語言模型按業(yè)務延遲自動擴縮容而不是傻乎乎地按 CPU 利用率擴。工作原理三步走共享模型緩存NIMCache模型權重只下載一次到共享卷ReadWriteManyPVC之后新副本秒級掛載擴容不再被“下載模型”拖慢暴露自定義指標通過 Prometheus Adapter 計算e2e_request_latency_seconds_over_1s_fraction——即超過 1 秒延遲的請求占比HPA 決策當該占比 ≥ 40% 時立即擴副本空閑 3 分鐘后保守縮容擴縮容策略示例可直接參考策略配置意圖擴容0 秒穩(wěn)定窗口每次 3 Pod15 秒評估一次突發(fā)流量快速響應縮容180 秒觀察期每次最多 -50%選更保守的策略防止抖動、省錢?? 注意這些數(shù)值是示例需要按你的流量特征突發(fā)型還是平穩(wěn)型、SLA 要求和 Pod 啟動時間做調(diào)優(yōu)。測試階段可用官方推薦的壓力工具生成合成流量觀察 HPA 副本數(shù)的漲落是否符合預期。五、實時視頻流能扛多少路先算賬再擴容擴容前先看單卡極限官方基準見 docs/performance.mdx 與 docs/performance-rt-cv.mdx。以 1080p30FPS、啟用檢測追蹤為例單張 GPU 的最大并發(fā)流數(shù)GPURT-DETR (Resnet50)Grounding DINOH10050 路6 路RTX Pro 6000 SE29 路5 路L40S15 路3 路橫向擴展公式很簡單目標流數(shù) ÷ 單卡并發(fā)流數(shù)留 10–15% 余量 需要的 GPU 副本數(shù)。例如 200 路 1080p 實時檢測H100 大約需要200 ÷ 43 ≈ 5張卡分布在多個推理副本上即可。六、擴展后如何驗證擴了不等于好驗證靠數(shù)據(jù)可觀測性棧Blueprint 自帶 Grafana Prometheus DCGM ExporterGPU 指標詳見 docs/observability.mdx關鍵指標GPU 利用率、HPA 副本數(shù)變化、VLM 慢請求占比、Kafka 消費延遲壓測場景平穩(wěn)增長驗證線性擴容、突發(fā)尖峰驗證快速擴容、流量回落驗證縮容與穩(wěn)定期總結VSS 橫向擴展速查清單你要擴什么怎么做參考文檔部署形態(tài)Docker Compose → Helm K8s 多節(jié)點docs/helm-deployment.mdx消息吞吐Redis 換 Kafka默認即 Kafkadocs/message-broker.mdx實時流路數(shù)按基準表加 GPU 推理副本docs/performance-rt-cv.mdxVLM 延遲NIMCache 自定義延遲指標 HPAdocs/vss-scale.mdx驗證效果Grafana/DCGM 指標 三類壓測場景docs/observability.mdx掌握這套“分層擴、按延遲擴、先算賬再擴”的方法你就能讓 VSS 的視頻 AI 處理規(guī)模從容跟上業(yè)務增長?！久赓M下載鏈接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.項目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 VSS橫向擴展指南：如何把視頻AI處理規(guī)模從單機擴展到生產(chǎn)級
VSS橫向擴展指南如何把視頻AI處理規(guī)模從單機擴展到生產(chǎn)級【免費下載鏈接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.項目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarizationVSSNVIDIA AI Blueprint for Video Search and Summarization是一個 GPU 加速的視頻搜索與摘要參考架構支持實時告警核驗、視覺問答和自動報告生成。當你接入的攝像頭從幾路變成幾百路、視頻時長從分鐘級變成小時級時如何橫向擴展視頻AI處理規(guī)模本指南帶你用 5 個關鍵步驟把 VSS 從單機 Demo 平滑擴展到多節(jié)點生產(chǎn)環(huán)境。一、為什么 VSS 天生適合橫向擴展視頻 AI 的瓶頸通常不在“算法”而在三件事GPU 推理算力、消息吞吐、存儲與檢索。VSS 的架構天然為這三件事留出了水平擴展空間VSS 整體分為三層每層都有獨立的擴展維度處理層核心組件擴展方式實時視頻智能RT-CV、RT-VLM、RT-Embedding按并發(fā)流數(shù)增加副本共享 GPU 池下游分析行為分析、告警核驗無狀態(tài)微服務直接加副本智能體與離線處理搜索、問答、長視頻摘要LLM/VLM 通過 HPA 自動擴縮容這種分層解耦意味著擴流路加推理副本擴并發(fā)加分析副本擴延遲敏感的模型加 HPA互不干擾。二、擴展路徑從 Docker Compose 到 KubernetesVSS 提供兩條遞進的部署路線官方文檔見 docs/deployments.mdx。階段 1單機驗證Docker Compose快速體驗走 Docker Compose 路線官方提供 4 個開發(fā)者配置developer profilebase問答與報告、alerts告警、search搜索、lvs長視頻摘要。它適合功能驗證和性能摸底但不適合承載生產(chǎn)流量。階段 2多節(jié)點生產(chǎn)Helm K8s真正的橫向擴展發(fā)生在 Kubernetes 上Helm 部署指南見 docs/helm-deployment.mdxChart 源碼位于 deploy/helm/集群要求Kubernetes ≥ 1.34 GPU Operator NIM Operator 支持ReadWriteMany的 StorageClass每個開發(fā)者配置都有對應的 Helm Chartbase/alerts/search/lvs可通過 values 文件調(diào)整副本數(shù)、GPU 分配集群內(nèi)啟動時間較長鏡像拉取 模型下載 預熱全部 Pod Ready 通常需要20–25 分鐘屬于正?，F(xiàn)象 擴展經(jīng)驗先在一個命名空間里把單個 profile 跑通再用命名空間隔離不同業(yè)務alerts / search / lvs最后按流數(shù)壓測確認瓶頸位置。三、擴流的鑰匙中間件解耦微服務之間的數(shù)據(jù)與控制消息全部經(jīng)由中間件流轉(zhuǎn)這是 VSS 能橫向擴展的根本原因概覽見 docs/middleware.mdx。消息代理二選一docs/message-broker.mdx 給出了選擇原則方案特點適合場景Kafka默認高吞吐、持久化、可擴展生產(chǎn)環(huán)境、大規(guī)模流數(shù)據(jù)Redis Streams輕量、低延遲、低內(nèi)存占用開發(fā)環(huán)境、控制消息為主選擇 Kafka 后分析微服務可以放心地橫向加副本——任何副本都能消費到屬于自己的那份流數(shù)據(jù)不需要有狀態(tài)協(xié)調(diào)。數(shù)據(jù)庫與存儲分析結果、事件incidents和核驗結果統(tǒng)一落到持久化存儲檢索服務可獨立擴容視頻文件本身的讀寫由 VIOS視頻 IO 與存儲承擔兩者都支持獨立擴縮。四、VLM 推理怎么擴基于延遲的自動擴縮容這是 VSS 擴展指南中最精華的部分完整文檔見 docs/vss-scale.mdxVLM Autoscaling。它讓 VLM 服務如 Cosmos 視覺語言模型按業(yè)務延遲自動擴縮容而不是傻乎乎地按 CPU 利用率擴。工作原理三步走共享模型緩存NIMCache模型權重只下載一次到共享卷ReadWriteManyPVC之后新副本秒級掛載擴容不再被“下載模型”拖慢暴露自定義指標通過 Prometheus Adapter 計算e2e_request_latency_seconds_over_1s_fraction——即超過 1 秒延遲的請求占比HPA 決策當該占比 ≥ 40% 時立即擴副本空閑 3 分鐘后保守縮容擴縮容策略示例可直接參考策略配置意圖擴容0 秒穩(wěn)定窗口每次 3 Pod15 秒評估一次突發(fā)流量快速響應縮容180 秒觀察期每次最多 -50%選更保守的策略防止抖動、省錢?? 注意這些數(shù)值是示例需要按你的流量特征突發(fā)型還是平穩(wěn)型、SLA 要求和 Pod 啟動時間做調(diào)優(yōu)。測試階段可用官方推薦的壓力工具生成合成流量觀察 HPA 副本數(shù)的漲落是否符合預期。五、實時視頻流能扛多少路先算賬再擴容擴容前先看單卡極限官方基準見 docs/performance.mdx 與 docs/performance-rt-cv.mdx。以 1080p30FPS、啟用檢測追蹤為例單張 GPU 的最大并發(fā)流數(shù)GPURT-DETR (Resnet50)Grounding DINOH10050 路6 路RTX Pro 6000 SE29 路5 路L40S15 路3 路橫向擴展公式很簡單目標流數(shù) ÷ 單卡并發(fā)流數(shù)留 10–15% 余量 需要的 GPU 副本數(shù)。例如 200 路 1080p 實時檢測H100 大約需要200 ÷ 43 ≈ 5張卡分布在多個推理副本上即可。六、擴展后如何驗證擴了不等于好驗證靠數(shù)據(jù)可觀測性棧Blueprint 自帶 Grafana Prometheus DCGM ExporterGPU 指標詳見 docs/observability.mdx關鍵指標GPU 利用率、HPA 副本數(shù)變化、VLM 慢請求占比、Kafka 消費延遲壓測場景平穩(wěn)增長驗證線性擴容、突發(fā)尖峰驗證快速擴容、流量回落驗證縮容與穩(wěn)定期總結VSS 橫向擴展速查清單你要擴什么怎么做參考文檔部署形態(tài)Docker Compose → Helm K8s 多節(jié)點docs/helm-deployment.mdx消息吞吐Redis 換 Kafka默認即 Kafkadocs/message-broker.mdx實時流路數(shù)按基準表加 GPU 推理副本docs/performance-rt-cv.mdxVLM 延遲NIMCache 自定義延遲指標 HPAdocs/vss-scale.mdx驗證效果Grafana/DCGM 指標 三類壓測場景docs/observability.mdx掌握這套“分層擴、按延遲擴、先算賬再擴”的方法你就能讓 VSS 的視頻 AI 處理規(guī)模從容跟上業(yè)務增長?！久赓M下載鏈接】video-search-and-summarizationNVIDIA AI Blueprint for video search and summarization (VSS) is a GPU-accelerated reference architecture for building video analytics agents with real-time verified alerts, visual QA, and automated reporting. The VSS Blueprint uses vision language models (VLMs) such as NVIDIA Cosmos, LLMs such as NVIDIA Nemotron, RAG, and NVIDIA NIMs.項目地址: https://gitcode.com/GitHub_Trending/vi/video-search-and-summarization創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考