后端深度解析：本地磁盤、S3、Google Cloud Storage和Azure Blob如何接入)
SFTPGo存儲(chǔ)后端深度解析本地磁盤、S3、Google Cloud Storage和Azure Blob如何接入【免費(fèi)下載鏈接】sftpgoFull-featured and highly configurable SFTP, HTTP/S, FTP/S and WebDAV server - S3, Google Cloud Storage, Azure Blob項(xiàng)目地址: https://gitcode.com/gh_mirrors/sf/sftpgoSFTPGo 是一款功能完整、高度可配置的開源 SFTP/FTP/WebDAV/HTTP 文件服務(wù)器其核心亮點(diǎn)之一就是靈活多樣的存儲(chǔ)后端同一臺(tái) SFTP 服務(wù)器可以同時(shí)把不同用戶映射到本地磁盤、S3 對(duì)象存儲(chǔ)、Google Cloud Storage 或 Azure Blob而客戶端感知不到任何差異。本文帶你快速搞懂 SFTPGo 存儲(chǔ)后端的架構(gòu)設(shè)計(jì)與四種主要后端的接入方法。統(tǒng)一抽象一個(gè)接口多種后端SFTPGo 之所以能無縫切換存儲(chǔ)后端關(guān)鍵在于internal/vfs/虛擬文件系統(tǒng)層定義了統(tǒng)一的Fs接口所有后端都必須實(shí)現(xiàn)同一套文件操作讀、寫、重命名、刪除、列目錄等。接口定義見 internal/vfs/vfs.go。每個(gè)后端在用戶數(shù)據(jù)中由provider字段區(qū)分配置結(jié)構(gòu)體則定義在 internal/vfs/filesystem.go 中后端Provider 名稱對(duì)應(yīng)源碼本地磁盤LocalFilesystemProviderinternal/vfs/osfs.goS3 對(duì)象存儲(chǔ)S3FilesystemProviderinternal/vfs/s3fs.goGoogle Cloud StorageGCSFilesystemProviderinternal/vfs/gcsfs.goAzure BlobAzureBlobFilesystemProviderinternal/vfs/azblobfs.go本地加密磁盤CryptedFilesystemProviderinternal/vfs/cryptfs.go當(dāng)用戶發(fā)起連接時(shí)User.GetFilesystem會(huì)根據(jù)provider字段選擇并構(gòu)造對(duì)應(yīng)的后端實(shí)例邏輯見 internal/dataprovider/user.go。后端一本地磁盤最常用本地文件系統(tǒng)是 SFTPGo 的默認(rèn)后端也是新手最熟悉的一種。它只需要兩樣?xùn)|西用戶根目錄Home Dir把用戶關(guān)在哪個(gè)目錄下OSConfig設(shè)置文件/目錄的默認(rèn)屬主、屬組和權(quán)限避免上傳文件后權(quán)限混亂。配置示例sftpgo.json中用戶條目完整示例見 sftpgo.json{ fs: 1, home_dir: /srv/uploads/alice }fs: 1即LocalFilesystemProvider。除此之外SFTPGo 還提供了CryptFsinternal/vfs/cryptfs.go把本地文件以加密形式落盤——只需要一個(gè)高強(qiáng)度 passphrase適合在共享服務(wù)器上存放敏感數(shù)據(jù)。后端二S3 對(duì)象存儲(chǔ)兼容 MinIO、Ceph 等這是云部署場(chǎng)景中使用率最高的后端。SFTPGo 通過標(biāo)準(zhǔn) AWS SDK 接入任何S3 兼容存儲(chǔ)官方文檔中明確支持 AWS S3實(shí)踐中 MinIO、Ceph、Google Cloud StorageS3 API、Backblaze B2 等同樣可以工作。核心配置項(xiàng)internal/vfs/vfs.go 中的S3FsConfigbucket存儲(chǔ)桶名稱必填region區(qū)域例如us-east-1endpoint自定義端點(diǎn)——接入 MinIO 或 B2 時(shí)必填access_key / access_secret訪問密鑰access_secret會(huì)自動(dòng)用 KMS 加密后存儲(chǔ)見下文密鑰安全key_prefix在桶內(nèi)劃出子前綴相當(dāng)于把多個(gè)用戶隔離到不同子目錄storage_class存儲(chǔ)類型如STANDARD、GLACIERupload_part_size / upload_concurrency分片大小與并發(fā)數(shù)大文件傳輸性能的關(guān)鍵調(diào)節(jié)旋鈕sse_customer_key客戶側(cè)加密密鑰SSE-C。 小貼士S3 后端對(duì)象不可隨機(jī)改寫SFTPGo 對(duì)此做了透明處理——上傳完成后才提交對(duì)象并支持條件斷點(diǎn)續(xù)傳IsConditionalUploadResumeSupported對(duì) SFTP 客戶端完全無感。后端三Google Cloud StorageGCS 后端配置在GCSFsConfiginternal/vfs/vfs.go必填項(xiàng)只有bucket另有兩類憑證方式二選一AutomaticCredentials 1不填任何憑據(jù)自動(dòng)使用 Google 元數(shù)據(jù)服務(wù)憑證——部署在 GCP 虛擬機(jī)或 Kubernetes配合 Workload Identity上時(shí)最省心Credentials 字段填入 Service Account 的 JSON 憑據(jù)私鑰SFTPGo 會(huì)自動(dòng)將其加密保存。同樣支持key_prefix隔離用戶、storage_class與acl控制對(duì)象屬性以及upload_part_size調(diào)節(jié)上傳性能。實(shí)現(xiàn)細(xì)節(jié)在 internal/vfs/gcsfs.go。后端四Azure Blob StorageAzure Blob 后端對(duì)應(yīng)AzBlobFsConfiginternal/vfs/vfs.go有兩種鑒權(quán)方式Account Name Account Key傳統(tǒng)賬號(hào)密鑰方式SAS URL共享訪問簽名 URL權(quán)限更細(xì)、可設(shè)過期時(shí)間推薦生產(chǎn)使用。可選項(xiàng)同樣豐富endpoint支持 Azure 中國(guó)或主權(quán)云端點(diǎn)、access_tier選擇Hot/Cool/Archive訪問層級(jí)以優(yōu)化成本還有upload_part_size、download_part_size等分片并發(fā)參數(shù)。實(shí)現(xiàn)見 internal/vfs/azblobfs.go。密鑰安全KMS 自動(dòng)加密所有云后端都會(huì)涉及敏感憑據(jù)S3 的 secret key、GCS 的私鑰、Azure 的 account key 等。SFTPGo 內(nèi)置 KMSKey Management Serviceinternal/kms/kms.go明文密鑰在保存前自動(dòng)加密ValidateAndEncryptCredentials見 internal/vfs/vfs.go數(shù)據(jù)庫(kù)里只存密文支持內(nèi)置密鑰、本地密鑰文件、KMS 插件等多種密鑰來源界面展示時(shí)通過HideConfidentialData自動(dòng)打碼避免泄漏。這意味著你可以放心地把 SFTPGo 配置備份或遷移而不必?fù)?dān)心云憑據(jù)明文躺在配置文件里。進(jìn)階玩法虛擬文件夾SFTPGo 還支持一個(gè)虛擬路徑映射多個(gè)后端。例如用戶家目錄/local走本地磁盤、/archive直接映射到 S3 桶客戶端進(jìn)入不同目錄時(shí)自動(dòng)切換后端GetFilesystemForPath見 internal/dataprovider/user.go。配合配額、IP 白名單、事件規(guī)則等能力一套 SFTPGo 就能同時(shí)服務(wù)本地備份與云端歸檔兩種業(yè)務(wù)?？偨Y(jié)如何選擇存儲(chǔ)后端場(chǎng)景推薦后端理由內(nèi)網(wǎng)文件共享、備份本地磁盤 / CryptFs零依賴、性能最高加密落盤可保敏感數(shù)據(jù)私有對(duì)象存儲(chǔ)S3MinIO/Ceph通過 endpoint 即插即用公有云 AWS 生態(tài)S3官方一等支持分片上傳穩(wěn)定GCP 應(yīng)用GCS自動(dòng)憑證免維護(hù)Azure 環(huán)境Azure BlobSAS URL 權(quán)限可控?zé)o論你使用哪種后端SFTPGo 都通過同一套Fs接口提供服務(wù)端能力配額統(tǒng)計(jì)、斷點(diǎn)續(xù)傳、目錄級(jí)權(quán)限、傳輸事件鉤子等全部對(duì)云存儲(chǔ)生效。這也是 SFTPGo 區(qū)別于普通 sftp-server 的關(guān)鍵——把傳統(tǒng)文件服務(wù)器能力平移到對(duì)象存儲(chǔ)之上。想動(dòng)手嘗試克隆倉(cāng)庫(kù)后即可參考 sftpgo.json 修改fs字段與對(duì)應(yīng) config 區(qū)塊一分鐘切換后端git clone https://gitcode.com/gh_mirrors/sf/sftpgo【免費(fèi)下載鏈接】sftpgoFull-featured and highly configurable SFTP, HTTP/S, FTP/S and WebDAV server - S3, Google Cloud Storage, Azure Blob項(xiàng)目地址: https://gitcode.com/gh_mirrors/sf/sftpgo創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 SFTPGo存儲(chǔ)后端深度解析：本地磁盤、S3、Google Cloud Storage和Azure Blob如何接入
SFTPGo存儲(chǔ)后端深度解析本地磁盤、S3、Google Cloud Storage和Azure Blob如何接入【免費(fèi)下載鏈接】sftpgoFull-featured and highly configurable SFTP, HTTP/S, FTP/S and WebDAV server - S3, Google Cloud Storage, Azure Blob項(xiàng)目地址: https://gitcode.com/gh_mirrors/sf/sftpgoSFTPGo 是一款功能完整、高度可配置的開源 SFTP/FTP/WebDAV/HTTP 文件服務(wù)器其核心亮點(diǎn)之一就是靈活多樣的存儲(chǔ)后端同一臺(tái) SFTP 服務(wù)器可以同時(shí)把不同用戶映射到本地磁盤、S3 對(duì)象存儲(chǔ)、Google Cloud Storage 或 Azure Blob而客戶端感知不到任何差異。本文帶你快速搞懂 SFTPGo 存儲(chǔ)后端的架構(gòu)設(shè)計(jì)與四種主要后端的接入方法。統(tǒng)一抽象一個(gè)接口多種后端SFTPGo 之所以能無縫切換存儲(chǔ)后端關(guān)鍵在于internal/vfs/虛擬文件系統(tǒng)層定義了統(tǒng)一的Fs接口所有后端都必須實(shí)現(xiàn)同一套文件操作讀、寫、重命名、刪除、列目錄等。接口定義見 internal/vfs/vfs.go。每個(gè)后端在用戶數(shù)據(jù)中由provider字段區(qū)分配置結(jié)構(gòu)體則定義在 internal/vfs/filesystem.go 中后端Provider 名稱對(duì)應(yīng)源碼本地磁盤LocalFilesystemProviderinternal/vfs/osfs.goS3 對(duì)象存儲(chǔ)S3FilesystemProviderinternal/vfs/s3fs.goGoogle Cloud StorageGCSFilesystemProviderinternal/vfs/gcsfs.goAzure BlobAzureBlobFilesystemProviderinternal/vfs/azblobfs.go本地加密磁盤CryptedFilesystemProviderinternal/vfs/cryptfs.go當(dāng)用戶發(fā)起連接時(shí)User.GetFilesystem會(huì)根據(jù)provider字段選擇并構(gòu)造對(duì)應(yīng)的后端實(shí)例邏輯見 internal/dataprovider/user.go。后端一本地磁盤最常用本地文件系統(tǒng)是 SFTPGo 的默認(rèn)后端也是新手最熟悉的一種。它只需要兩樣?xùn)|西用戶根目錄Home Dir把用戶關(guān)在哪個(gè)目錄下OSConfig設(shè)置文件/目錄的默認(rèn)屬主、屬組和權(quán)限避免上傳文件后權(quán)限混亂。配置示例sftpgo.json中用戶條目完整示例見 sftpgo.json{ fs: 1, home_dir: /srv/uploads/alice }fs: 1即LocalFilesystemProvider。除此之外SFTPGo 還提供了CryptFsinternal/vfs/cryptfs.go把本地文件以加密形式落盤——只需要一個(gè)高強(qiáng)度 passphrase適合在共享服務(wù)器上存放敏感數(shù)據(jù)。后端二S3 對(duì)象存儲(chǔ)兼容 MinIO、Ceph 等這是云部署場(chǎng)景中使用率最高的后端。SFTPGo 通過標(biāo)準(zhǔn) AWS SDK 接入任何S3 兼容存儲(chǔ)官方文檔中明確支持 AWS S3實(shí)踐中 MinIO、Ceph、Google Cloud StorageS3 API、Backblaze B2 等同樣可以工作。核心配置項(xiàng)internal/vfs/vfs.go 中的S3FsConfigbucket存儲(chǔ)桶名稱必填region區(qū)域例如us-east-1endpoint自定義端點(diǎn)——接入 MinIO 或 B2 時(shí)必填access_key / access_secret訪問密鑰access_secret會(huì)自動(dòng)用 KMS 加密后存儲(chǔ)見下文密鑰安全key_prefix在桶內(nèi)劃出子前綴相當(dāng)于把多個(gè)用戶隔離到不同子目錄storage_class存儲(chǔ)類型如STANDARD、GLACIERupload_part_size / upload_concurrency分片大小與并發(fā)數(shù)大文件傳輸性能的關(guān)鍵調(diào)節(jié)旋鈕sse_customer_key客戶側(cè)加密密鑰SSE-C。 小貼士S3 后端對(duì)象不可隨機(jī)改寫SFTPGo 對(duì)此做了透明處理——上傳完成后才提交對(duì)象并支持條件斷點(diǎn)續(xù)傳IsConditionalUploadResumeSupported對(duì) SFTP 客戶端完全無感。后端三Google Cloud StorageGCS 后端配置在GCSFsConfiginternal/vfs/vfs.go必填項(xiàng)只有bucket另有兩類憑證方式二選一AutomaticCredentials 1不填任何憑據(jù)自動(dòng)使用 Google 元數(shù)據(jù)服務(wù)憑證——部署在 GCP 虛擬機(jī)或 Kubernetes配合 Workload Identity上時(shí)最省心Credentials 字段填入 Service Account 的 JSON 憑據(jù)私鑰SFTPGo 會(huì)自動(dòng)將其加密保存。同樣支持key_prefix隔離用戶、storage_class與acl控制對(duì)象屬性以及upload_part_size調(diào)節(jié)上傳性能。實(shí)現(xiàn)細(xì)節(jié)在 internal/vfs/gcsfs.go。后端四Azure Blob StorageAzure Blob 后端對(duì)應(yīng)AzBlobFsConfiginternal/vfs/vfs.go有兩種鑒權(quán)方式Account Name Account Key傳統(tǒng)賬號(hào)密鑰方式SAS URL共享訪問簽名 URL權(quán)限更細(xì)、可設(shè)過期時(shí)間推薦生產(chǎn)使用。可選項(xiàng)同樣豐富endpoint支持 Azure 中國(guó)或主權(quán)云端點(diǎn)、access_tier選擇Hot/Cool/Archive訪問層級(jí)以優(yōu)化成本還有upload_part_size、download_part_size等分片并發(fā)參數(shù)。實(shí)現(xiàn)見 internal/vfs/azblobfs.go。密鑰安全KMS 自動(dòng)加密所有云后端都會(huì)涉及敏感憑據(jù)S3 的 secret key、GCS 的私鑰、Azure 的 account key 等。SFTPGo 內(nèi)置 KMSKey Management Serviceinternal/kms/kms.go明文密鑰在保存前自動(dòng)加密ValidateAndEncryptCredentials見 internal/vfs/vfs.go數(shù)據(jù)庫(kù)里只存密文支持內(nèi)置密鑰、本地密鑰文件、KMS 插件等多種密鑰來源界面展示時(shí)通過HideConfidentialData自動(dòng)打碼避免泄漏。這意味著你可以放心地把 SFTPGo 配置備份或遷移而不必?fù)?dān)心云憑據(jù)明文躺在配置文件里。進(jìn)階玩法虛擬文件夾SFTPGo 還支持一個(gè)虛擬路徑映射多個(gè)后端。例如用戶家目錄/local走本地磁盤、/archive直接映射到 S3 桶客戶端進(jìn)入不同目錄時(shí)自動(dòng)切換后端GetFilesystemForPath見 internal/dataprovider/user.go。配合配額、IP 白名單、事件規(guī)則等能力一套 SFTPGo 就能同時(shí)服務(wù)本地備份與云端歸檔兩種業(yè)務(wù)?？偨Y(jié)如何選擇存儲(chǔ)后端場(chǎng)景推薦后端理由內(nèi)網(wǎng)文件共享、備份本地磁盤 / CryptFs零依賴、性能最高加密落盤可保敏感數(shù)據(jù)私有對(duì)象存儲(chǔ)S3MinIO/Ceph通過 endpoint 即插即用公有云 AWS 生態(tài)S3官方一等支持分片上傳穩(wěn)定GCP 應(yīng)用GCS自動(dòng)憑證免維護(hù)Azure 環(huán)境Azure BlobSAS URL 權(quán)限可控?zé)o論你使用哪種后端SFTPGo 都通過同一套Fs接口提供服務(wù)端能力配額統(tǒng)計(jì)、斷點(diǎn)續(xù)傳、目錄級(jí)權(quán)限、傳輸事件鉤子等全部對(duì)云存儲(chǔ)生效。這也是 SFTPGo 區(qū)別于普通 sftp-server 的關(guān)鍵——把傳統(tǒng)文件服務(wù)器能力平移到對(duì)象存儲(chǔ)之上。想動(dòng)手嘗試克隆倉(cāng)庫(kù)后即可參考 sftpgo.json 修改fs字段與對(duì)應(yīng) config 區(qū)塊一分鐘切換后端git clone https://gitcode.com/gh_mirrors/sf/sftpgo【免費(fèi)下載鏈接】sftpgoFull-featured and highly configurable SFTP, HTTP/S, FTP/S and WebDAV server - S3, Google Cloud Storage, Azure Blob項(xiàng)目地址: https://gitcode.com/gh_mirrors/sf/sftpgo創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考