【免費下載鏈接】KrawlKrawl is a customizable, lightweight, cloud-native web deception server and anti-crawler that creates fake web applications with low-hanging vulnerabilities using realistic, randomly generated decoy data and AI-generated HTML templates.項目地址https://gitcode.com/gh_mirrors/kr/Krawl點擊查看免費下載Krawl 是一款輕量級、云原生的 Web 欺騙服務(wù)器Honeypot與反爬蟲工具。本文將從零講清三件運維必會的事Krawl 數(shù)據(jù)備份怎么開、數(shù)據(jù)保留策略如何工作以及如何在需要擴容時把StandaloneSQLite模式平滑遷移到 ScalablePostgreSQL模式全程附帶配置項說明與操作步驟適合新手直接照做。為什么蜜罐數(shù)據(jù)值得認(rèn)真對待Krawl 的核心價值在于持續(xù)捕獲攻擊者的訪問日志、憑據(jù)竊取嘗試和攻擊指紋。一旦數(shù)據(jù)庫丟失已積累的IP 信譽與攻擊者畫像全部清零封禁列表banlist導(dǎo)出的依據(jù)消失防火墻聯(lián)動失效歷史攻擊回溯與取證能力歸零。因此備份 保留策略是 Krawl 生產(chǎn)部署的兩個保底機制而 Standalone → Scalable 遷移則是流量增長后的升級路徑。 官方文檔入口docs/backups.md、docs/deployment-modes.md一鍵開啟 Krawl 數(shù)據(jù)庫自動備份Krawl 內(nèi)置了定時備份任務(wù)dump-krawl-data默認(rèn)是關(guān)閉的需要在配置中手動打開。備份配置方法config.yaml編輯項目根目錄的 config.yaml修改backups段backups: path: backups # 備份文件保存目錄 cron: */30 * * * * # 備份頻率默認(rèn)每 30 分鐘一次 enabled: true # 必須改為 true 才啟用對應(yīng)的環(huán)境變量為KRAWL_BACKUPS_PATH、KRAWL_BACKUPS_CRON、KRAWL_BACKUPS_ENABLED適合 Docker / K8s 部署時注入。兩種模式下的備份原理備份方式隨部署模式自動切換無需手動區(qū)分源碼src/tasks/db_dump.py模式工具產(chǎn)出文件特點StandaloneSQLitePythonsqlite3.backup()APIbackups/krawl_backup.db原子一致快照先寫臨時文件再原子重命名壞備份永遠(yuǎn)不會覆蓋好備份ScalablePostgreSQLpg_dumpbackups/db_dump.sql標(biāo)準(zhǔn) SQL 轉(zhuǎn)儲帶--no-owner --no-privileges300 秒超時防掛起恢復(fù)方法也很簡單# Standalone先停 Krawl再覆蓋數(shù)據(jù)庫文件 cp backups/krawl_backup.db data/krawl.db # Scalable導(dǎo)入 SQL 轉(zhuǎn)儲 psql -h localhost -U krawl -d krawl backups/db_dump.sql如何驗證備份任務(wù)真的在跑ls -la backups/ # 文件存在且時間戳是最新的 docker logs krawl-server | grep dump-krawl-data # 查看任務(wù)日志K8s 用 kubectl logsKrawl 配套的 Grafana 監(jiān)控面板可用于觀察備份任務(wù)與整體運行狀態(tài)?? 注意備份文件每次運行都會覆蓋上一次建議定期把backups/目錄同步到對象存儲或異地才能抵御硬件級故障。數(shù)據(jù)保留策略Krawl 保留什么、刪除什么備份解決意外丟失保留策略data retention解決數(shù)據(jù)庫無限膨脹。Krawl 每天自動清理過期數(shù)據(jù)由database.retention_days控制默認(rèn)30 天# config.yaml database: path: data/krawl.db retention_days: 30永遠(yuǎn)保留的數(shù)據(jù)不受保留期影響?所有憑據(jù)捕獲記錄credential capture attempts? 所有可疑訪問日志與蜜罐觸發(fā)記錄? 有可疑歷史記錄的IP 及其分類歷史自動清理的數(shù)據(jù)? 超過保留期的非可疑訪問日志? 無攻擊歷史的過期 IP 條目? 孤兒攻擊檢測記錄與孤兒載荷/聚類有統(tǒng)計無成員的幽靈數(shù)據(jù)清理任務(wù) src/tasks/db_retention.py 按1 萬行/批分批刪除避免長時間鎖表和 WAL 暴漲刪除完成后還會自動修正累計計數(shù)器并刷新表統(tǒng)計信息保證儀表盤數(shù)字不失真。每日清理的時間線時間任務(wù)作用每天 08:30pre-retention-cleanup重新復(fù)查舊日志的可疑標(biāo)記不再命中規(guī)則的取消標(biāo)記交給保留任務(wù)清理每天 09:00db-retention真正執(zhí)行過期數(shù)據(jù)刪除與孤兒數(shù)據(jù)清掃在 Scalable 多副本模式下這兩個任務(wù)都標(biāo)記了single_pod: True由 Redis 租約保證同一時刻只在一個 Pod 上執(zhí)行避免重復(fù)刪除。Krawl 儀表盤的數(shù)據(jù)總覽表保留策略正是圍繞這些攻擊數(shù)據(jù)表做精細(xì)化清理Standalone vs Scalable一張表看懂兩種模式遷移前先確認(rèn)你是否真的需要擴容。兩種模式差異如下詳見 docs/deployment-modes.mdStandaloneScalable數(shù)據(jù)庫SQLiteWAL 模式PostgreSQL緩存進程內(nèi)存字典Redis30s 熱路徑 / 2min 表格 / 10min 預(yù)熱三級 TTL副本數(shù)僅 11可水平擴展外部依賴無PostgreSQL Redis適用場景開發(fā)、單機、低流量生產(chǎn)、高可用、高流量Krawl 攻擊者排行榜數(shù)據(jù)在遷移后應(yīng)完整保留這是遷移成功的關(guān)鍵驗證點Standalone 到 Scalable 遷移分步教程遷移腳本 scripts/migrate_sqlite_to_postgres.py 會讀取 SQLite 全部表 → 在 PostgreSQL 建表 → 分批默認(rèn) 1000 行/批失敗自動退化為逐行插入→ 最后打印源/目標(biāo)行數(shù)比對摘要。遷移前置檢查清單重要先備份cp data/krawl.db data/krawl.db.backup徹底停止 Krawl遷移期間絕不能有實例連著 SQLite否則會出現(xiàn)寫鎖與數(shù)據(jù)不一致PostgreSQL 已啟動且可訪問目標(biāo)數(shù)據(jù)庫已存在PostgreSQL 主機有足夠磁盤空間Docker Compose 環(huán)境的遷移步驟# 1. 停掉 Standalone 棧 docker compose down # 2. 只啟動 Scalable 棧中的 PostgreSQL 和 Redis docker compose -f docker/docker-compose.scalable.yaml up -d postgres redis # 3. 等待 PostgreSQL 就緒 docker compose -f docker/docker-compose.scalable.yaml exec postgres pg_isready -U krawl -d krawl # 4. 執(zhí)行遷移核對輸出的行數(shù)比對是否一致 python scripts/migrate_sqlite_to_postgres.py \ --sqlite-path data/krawl.db \ --postgres-host localhost \ --postgres-user krawl \ --postgres-password krawl \ --postgres-database krawl # 5. 啟動完整 Scalable 棧 docker compose -f docker/docker-compose.scalable.yaml up -d常用參數(shù)還有--batch-size批大小、--drop-existing遷移前清空目標(biāo)表。也可以借助 docker/docker-compose.scalable.yaml 掛載./data卷在容器內(nèi)執(zhí)行遷移。KubernetesHelm環(huán)境的遷移K8s 場景下 SQLite 數(shù)據(jù)放在 PVC 里Helm chart 自帶一次性遷移 Job模板見 helm/templates/migration-job.yaml先把 Krawl 縮容到 0 副本--set replicaCount0釋放 PVC 文件鎖同時開啟--set migration.enabledtrue并啟用 PostgreSQL/Redis等待 Job 完成kubectl wait --forconditioncomplete job/release-krawl-migrate --timeout600skubectl logs job/release-krawl-migrate核對行數(shù)比對再執(zhí)行helm upgrade切換--set modescalable、--set migration.enabledfalse、--set replicaCount2。遷移后必做三件事登錄儀表盤核對 IP、攻擊日志、統(tǒng)計圖表與遷移前一致SQLite 備份至少保留幾天確認(rèn)無誤再刪清理舊資源K8s 中舊 PVC不會隨模式切換自動刪除確認(rèn)后可手動回收Docker 環(huán)境則刪除data/krawl.db釋放空間。 遷移失敗怎么辦把krawl.db.backup恢復(fù)回data/krawl.db以 Standalone 模式重新拉起即可回滾。新手常見坑位速查坑說明備份默認(rèn)關(guān)閉backups.enabled默認(rèn)為false不開就從來沒有備份文件備份互相覆蓋每次運行覆蓋上一次務(wù)必異地留存邊跑邊遷移遷移時 Krawl 必須完全停止K8s 要縮容到 0 副本只遷移不核對腳本結(jié)尾的行數(shù)比對摘要一定要看一眼刪掉舊備份太早建議至少觀察幾天再回收舊 SQLite 數(shù)據(jù)相關(guān)文檔與源碼路徑備份文檔docs/backups.md部署模式與遷移完整指南docs/deployment-modes.md備份任務(wù)源碼src/tasks/db_dump.py保留策略任務(wù)src/tasks/db_retention.py、src/tasks/pre_retention_cleanup.py遷移腳本scripts/migrate_sqlite_to_postgres.pyScalable 部署清單docker/docker-compose.scalable.yaml配置文件示例config.yaml贊分享【免費下載鏈接】KrawlKrawl is a customizable, lightweight, cloud-native web deception server and anti-crawler that creates fake web applications with low-hanging vulnerabilities using realistic, randomly generated decoy data and AI-generated HTML templates.項目地址https://gitcode.com/gh_mirrors/kr/Krawl點擊查看免費下載相關(guān)推薦打造你的專屬桌面伙伴DyberPet開源框架終極指南打造你的專屬桌面伙伴DyberPet開源框架終極指南 你是否曾夢想過讓喜歡的角色真正住進你的電腦桌面不只是簡單的動畫展示而是能與你互動、成長、甚至幫助桌面應(yīng)用AI 應(yīng)用HoloISO備份與恢復(fù)完整系統(tǒng)遷移與數(shù)據(jù)保護策略HoloISO備份與恢復(fù)完整系統(tǒng)遷移與數(shù)據(jù)保護策略 HoloISO是SteamOS 3 Holo 的Arch Linux發(fā)行版實現(xiàn)為PC用戶提供完整的Ste操作系統(tǒng)6步一鍵生成OpenCore EFI新手黑蘋果配置工具實戰(zhàn)教程6步一鍵生成OpenCore EFI新手黑蘋果配置工具實戰(zhàn)教程 OpCore Simplify 是一款實現(xiàn) OpenCore EFI自動配置 的黑蘋果配置工具開發(fā)工具CLI上一篇React Native Skia 渲染模式指南Retained Mode 與 Immediate Mode 的對比、選型與組合實踐下一篇placeholderkv 內(nèi)存分配器性能調(diào)優(yōu)實戰(zhàn)基于 jemalloc 5.3.0 TUNING.md 的配置指南與源碼級原理剖析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考