Ciphey 搜索內(nèi)核重構(gòu)A* 模塊拆分與不可見字符過濾驅(qū)動的字符串質(zhì)量增強實踐【免費下載鏈接】Ciphey? Automatically decrypt encryptions without knowing the key or cipher, decode encodings, and crack hashes ?項目地址: https://gitcode.com/gh_mirrors/ci/Ciphey導(dǎo)讀本文以 docs/changes/2024-07-10-astar-refactor.md 變更記錄為骨架系統(tǒng)拆解 Ciphey 對 A* 解碼搜索實現(xiàn)的一次關(guān)鍵重構(gòu)將原本內(nèi)聚的搜索代碼拆分為核心算法與輔助函數(shù)兩個模塊并增強字符串質(zhì)量評估——對包含超過 50% 不可見字符的候選字符串立即拒絕從而提升內(nèi)存效率與搜索聚焦度。讀完本文你將掌握 Ciphey A* 搜索器的模塊邊界劃分、字符串質(zhì)量評分公式與閾值語義、對應(yīng)的測試用例設(shè)計以及該重構(gòu)與啟發(fā)式簡化、字符串剪枝等后續(xù)演進之間的承接關(guān)系。一、重構(gòu)背景與目標Ciphey 的搜索器searcher負責(zé)決定“下一步嘗試哪些解碼器、按什么順序嘗試”。在其搜索內(nèi)核中A* 是最優(yōu)先采用的算法src/searchers/mod.rs 中search_for_plaintext直接以獨立線程啟動astar::astar。隨著啟發(fā)式函數(shù)、統(tǒng)計學(xué)習(xí)與并行擴展等特性不斷疊加astar.rs單文件日益臃腫職責(zé)混雜。本次重構(gòu)的核心目標有兩個代碼組織優(yōu)化將 A* 實現(xiàn)拆分為“搜索算法本體”與“支撐性工具函數(shù)”兩個文件讓啟發(fā)式計算、質(zhì)量評估、統(tǒng)計維護等邏輯從搜索主循環(huán)中剝離字符串質(zhì)量增強在calculate_string_quality中引入不可見字符占比閾值對超過 50% 不可見字符的字符串直接返回最低質(zhì)量分 0.0使這類候選在進入解碼路徑之前即被淘汰。從實際收益看這次重構(gòu)屬于典型的“整理加固”它不改變 A* 的搜索范式而是讓搜索過程中的每一次節(jié)點擴展node expansion都更快地丟棄低價值分支。二、模塊拆分從單文件到職責(zé)分離重構(gòu)最直觀的產(chǎn)出是src/searchers/目錄下的文件邊界變化其結(jié)構(gòu)為src/searchers/astar.rsA* 核心搜索算法實現(xiàn)包括節(jié)點定義、優(yōu)先級隊列、并行批處理與主搜索循環(huán)src/searchers/helper_functions.rs支撐 A* 的輔助函數(shù)涵蓋啟發(fā)式計算、字符串質(zhì)量評估、解碼器統(tǒng)計與序列模式判斷src/searchers/mod.rs通過mod astar;、mod bfs;、mod helper_functions;聲明三個子模塊并將astar以pub對外暴露src/searchers/mod.rs。2.1 astar.rs核心搜索算法重構(gòu)后的 src/searchers/astar.rs 只負責(zé)“搜索”本身內(nèi)部包含四個關(guān)鍵構(gòu)件AStarNode節(jié)點src/searchers/astar.rs持有當(dāng)前解碼狀態(tài)state、已付出代價cost即搜索樹深度 g、綜合代價total_costf g h以及下一次要嘗試的解碼器名next_decoder_name最小堆優(yōu)先級隊列基于BinaryHeap反向排序?qū)崿F(xiàn)ThreadSafePriorityQueue并封裝push、pop、extract_batch等線程安全操作src/searchers/astar.rsexpand_node節(jié)點擴展src/searchers/astar.rs先執(zhí)行“decoder 標記”解碼器再回退到全量解碼器期間依次執(zhí)行空文本跳過、calculate_string_worth質(zhì)量過濾、seen_strings去重與update_decoder_stats統(tǒng)計更新astar主循環(huán)src/searchers/astar.rs以 Rayon 并行批處理PARALLEL_BATCH_SIZE 10擴展節(jié)點識別__RESULT__標記節(jié)點并通過crossbeam通道發(fā)送結(jié)果在top_results模式下還會將明文寫入wait_athena_storage。2.2 helper_functions.rs輔助函數(shù)模塊src/searchers/helper_functions.rs 是本次重構(gòu)新增的模塊聚合了原本散落在搜索實現(xiàn)中的工具函數(shù)generate_heuristicA* 啟發(fā)式src/searchers/helper_functions.rscalculate_string_quality/calculate_string_worth字符串質(zhì)量評估與可解碼性判定src/searchers/helper_functions.rscalculate_non_printable_ratio非可打印字符比例統(tǒng)計src/searchers/helper_functions.rsupdate_decoder_stats/get_decoder_success_rate解碼器成功率的進程內(nèi)統(tǒng)計src/searchers/helper_functions.rsis_common_sequence解碼器序列常見度判斷src/searchers/helper_functions.rscheck_if_string_cant_be_decodedBFS 路徑的剪枝判定src/searchers/helper_functions.rs。該模塊同時被 A* 與 BFS 兩條搜索路徑復(fù)用——src/searchers/bfs.rs 導(dǎo)入了check_if_string_cant_be_decoded用于節(jié)點過濾。這正是“單一職責(zé) 跨算法復(fù)用”的直接體現(xiàn)。三、字符串質(zhì)量評估增強不可見字符過濾本次重構(gòu)的第二個重點是calculate_string_quality的行為增強。3.1 質(zhì)量評分公式重構(gòu)后的函數(shù)邏輯src/searchers/helper_functions.rs分為兩級第一級不可見字符硬性過濾let non_printable_ratio calculate_non_printable_ratio(s); if non_printable_ratio 0.5 { return 0.0; // Return lowest quality for strings with 50% invisible chars }一旦字符串中不可見非可打印字符占比超過 50%質(zhì)量分直接歸零。由于后續(xù)calculate_string_worth以 0.2 為及格線見 3.3這類字符串會在節(jié)點擴展階段被continue跳過從根本上阻止解碼器對垃圾輸入的空轉(zhuǎn)。第二級長度驅(qū)動的分段評分if s.len() 3 { 0.1 } else if s.len() 5000 { 0.3 } else { 1.0 - (s.len() as f32 - 100.0).abs() / 900.0 }長度小于 3 的字符串質(zhì)量固定為 0.1過短信息量不足長度超過 5000 的字符串質(zhì)量固定為 0.3過長多為噪聲其余字符串以 100 字符為最優(yōu)長度中心質(zhì)量隨|len - 100|線性衰減900 為歸一化分母。3.2 非可打印字符比例的實現(xiàn)calculate_non_printable_ratiosrc/searchers/helper_functions.rs統(tǒng)計的是控制字符排除\n、\r、\t等常規(guī)空白與非 ASCII 字符的占比let non_printable_count text .chars() .filter(|c| { (c.is_control() c ! \n c ! \r c ! \t) || !c.is_ascii() }) .count(); non_printable_count as f32 / text.len() as f32空字符串被定義為 1.0全不可打印。Hello World與123!#\n\t的比例為 0.0而\u{0}\u{1}\u{2}的比例為 1.0。注意這里的“不可見字符”是從控制字符角度判定的倉庫另有一份獨立的不可見字符表 src/storage/invisible_chars/chars.txt由 src/storage/mod.rs 加載為INVISIBLE_CHARS集合用于 CLI 明文輸出時的安全提示見 src/cli_pretty_printing/mod.rs二者用途不同、互為補充。3.3 與既有過濾機制的協(xié)同本次增強并非孤立修改而是與字符串剪枝體系協(xié)同工作A路徑*expand_node在每次解碼產(chǎn)出新文本后調(diào)用calculate_string_worth(text[0])src/searchers/astar.rs質(zhì)量分低于 0.2 即跳過該結(jié)果并標記解碼失敗隨后才進行哈希去重calculate_hashDashSet與節(jié)點入隊BFS 路徑check_if_string_cant_be_decoded綜合三項判據(jù)——長度 ≤ 2、非可打印比例 0.3、質(zhì)量分 0.2——任一命中即判定不可解碼src/searchers/helper_functions.rs。從源碼結(jié)構(gòu)看A* 的calculate_string_worth只依賴質(zhì)量分閾值而 BFS 的check_if_string_cant_be_decoded閾值更激進0.3 比例即拒絕兩條路徑對低質(zhì)量字符串的容忍度并不相同屬于有意為之的差異化策略。3.4 新增測試用例重構(gòu)同步新增了針對不可見字符過濾的單元測試test_calculate_string_quality_with_invisible_charssrc/searchers/helper_functions.rs用三組輸入驗證閾值語義Hello\u{0}\u{0}\u{0}\u{0}World4/14 ≈ 28.6% 不可見→ 質(zhì)量分 0.0通過\u{0}\u{0}\u{0}\u{0}\u{0}\u{0}\u{0}Hello7/12 ≈ 58.3% 不可見→ 質(zhì)量分等于 0.0被拒絕全不可見字符串 → 質(zhì)量分等于 0.0被拒絕。配套的test_calculate_non_printable_ratiosrc/searchers/helper_functions.rs則驗證了比例計算本身包括常規(guī)文本為 0.0、混合內(nèi)容約為 0.1666、純控制字符為 1.0、空字符串為 1.0 等邊界情況。四、權(quán)衡分析收益與代價關(guān)聯(lián)文檔對該重構(gòu)的 Trade-off 有明確陳述結(jié)合源碼可進一步展開優(yōu)勢內(nèi)存效率提升50% 不可見字符的字符串在進入解碼器之前即被淘汰配合 A* 的seen_strings去重集合PRUNE_THRESHOLD 100000見 src/searchers/astar.rs顯著減少搜索空間的膨脹可維護性增強輔助函數(shù)獨立成模塊后astar.rs的主循環(huán)可讀性明顯改善函數(shù)級單元測試如啟發(fā)式、質(zhì)量評估可以直接針對helper_functions編寫無需構(gòu)造完整搜索場景跨算法復(fù)用check_if_string_cant_be_decoded被 BFS 引用即是模塊拆分帶來的直接紅利。代價模塊復(fù)雜度略增新增一個文件意味著模塊間函數(shù)調(diào)用增加存在輕微的性能開銷跨模塊調(diào)用對分支預(yù)測與內(nèi)聯(lián)的擾動需要持續(xù)校準閾值50% 不可見字符閾值若設(shè)置不當(dāng)可能誤傷少數(shù)“長得奇怪但有效”的編碼文本如部分二進制編碼產(chǎn)物因此必須由測試用例持續(xù)守護。五、結(jié)合 A* 全鏈路理解重構(gòu)的價值要真正理解這次字符串質(zhì)量增強的意義需要把它放回 A* 的完整決策鏈路中。5.1 啟發(fā)式與質(zhì)量懲罰當(dāng)前實現(xiàn)的generate_heuristicsrc/searchers/helper_functions.rs采用加法式評分包含四個分量解碼器熱度分量base_score 1.0 - decoder.get_popularity()熱度越高貢獻越低成功率代理分量base_score (1.0 - get_decoder_success_rate(name)) * 0.25用進程內(nèi)成功率見update_decoder_statssrc/searchers/helper_functions.rs作為熱度的補充信號深度懲罰(0.05 * (1.0 depth/20) * depth)2深度越大懲罰越激進防止搜索在無意義路徑上越走越深字符串質(zhì)量分量base_score (1.0 - quality) * 0.5低質(zhì)量字符串直接推高啟發(fā)值使其在優(yōu)先級隊列中后置?？梢奵alculate_string_quality的輸出同時影響兩處generate_heuristic中的質(zhì)量懲罰項以及expand_node中的硬性淘汰判定。硬過濾在前、軟懲罰在后構(gòu)成“先拒絕、后降權(quán)”的雙層防線。5.2 并行擴展與統(tǒng)計學(xué)習(xí)A* 主循環(huán)每次從隊列批量取出至多 10 個節(jié)點PARALLEL_BATCH_SIZE用 Rayonpar_iter并行執(zhí)行expand_nodesrc/searchers/astar.rs。每個節(jié)點的成功/失敗都會回調(diào)update_decoder_stats實時更新該解碼器的成功次數(shù)與總嘗試次數(shù)并進而影響后續(xù)節(jié)點的啟發(fā)值——這是“統(tǒng)計學(xué)習(xí)”機制的進程內(nèi)閉環(huán)。文檔中提到的“將成功率持久化到磁盤、實現(xiàn)跨會話學(xué)習(xí)”仍是未完成的 TODO見 src/searchers/helper_functions.rs 的注釋。5.3 動態(tài)剪枝當(dāng)seen_strings規(guī)模超過當(dāng)前閾值時A* 會清空已見集合并按搜索進度收緊閾值src/searchers/astar.rslet progress_factor new_depth as f32 / MAX_DEPTH as f32; let new_threshold INITIAL_PRUNE_THRESHOLD - (progress_factor * 5000.0) as usize;即閾值從 100000 起隨深度MAX_DEPTH 100線性下調(diào)至 95000越深入搜索越頻繁剪枝。字符串質(zhì)量增強與此機制互為補充質(zhì)量過濾從“源頭”減少進入seen_strings的垃圾字符串動態(tài)剪枝則從“存量”控制集合規(guī)模。六、重構(gòu)的后續(xù)演進脈絡(luò)將本次變更與同目錄下的其他變更記錄對照可以看到一條清晰的演進主線2024-07-10-astar-simplified-heuristic-rewrite.mddocs/changes/2024-07-10-astar-simplified-heuristic-rewrite.md將啟發(fā)式從“多因子乘法懲罰”改為“加法式簡化模型”移除 CipherIdentifier 依賴新增深度懲罰與熱度分量——這正是重構(gòu)后helper_functions.rs中g(shù)enerate_heuristic的形態(tài)來源2024-07-10-improve-string-pruning.mddocs/changes/2024-07-10-improve-string-pruning.md將check_if_string_cant_be_decoded擴展為“長度 非可打印比例 質(zhì)量分”三重判據(jù)與本文的 50% 閾值增強同屬字符串剪枝主題2024-07-10-remove-decoder-popularity.mddocs/changes/2024-07-10-remove-decoder-popularity.md移除冗余的get_decoder_popularity函數(shù)改為以解碼器自身popularity屬性與成功率代理進一步收緊了輔助函數(shù)模塊的 API 面。這些變更與本次重構(gòu)共享同一目標讓 A在更少的節(jié)點上做更聰明的決策*。質(zhì)量評估負責(zé)“少生成垃圾節(jié)點”啟發(fā)式負責(zé)“優(yōu)先生成好節(jié)點”剪枝負責(zé)“控制節(jié)點總量”。七、未來改進方向關(guān)聯(lián)文檔列出的 Future Improvements 與源碼現(xiàn)狀高度吻合成功率持久化DECODER_SUCCESS_RATES目前僅為LazyMutexHashMap的進程內(nèi)結(jié)構(gòu)src/searchers/helper_functions.rs寫入磁盤的 TODO 尚未實現(xiàn)一旦落地即可實現(xiàn)跨會話學(xué)習(xí)讓啟發(fā)式基于歷史數(shù)據(jù)而非單次運行更精細的語言檢測當(dāng)前質(zhì)量評估僅依賴長度與控制字符比例文檔建議引入更成熟的語言/文本檢測手段如 n-gram 或熵分析以提升對“隨機噪聲”與“真實編碼”的區(qū)分度工具函數(shù)進一步下沉is_common_sequence、質(zhì)量評估等通用函數(shù)可繼續(xù)沉淀在helper_functions模塊中供 BFS、未來的 Beam Search 等其他搜索算法復(fù)用。結(jié)語2024-07-10的這次重構(gòu)是 Ciphey 搜索內(nèi)核從“能用”走向“可控”的關(guān)鍵一步。通過astar.rs與helper_functions.rs的職責(zé)切分搜索算法、啟發(fā)式、質(zhì)量評估與統(tǒng)計維護各歸其位通過calculate_string_quality對 50% 不可見字符的硬性拒絕搜索資源被集中投放到真正值得解碼的候選上。對于希望深入理解 Ciphey 搜索機制或借鑒其架構(gòu)思路的開發(fā)者建議按 src/searchers/mod.rs → src/searchers/astar.rs → src/searchers/helper_functions.rs 的順序閱讀源碼并以 src/searchers/helper_functions.rs 的測試集作為行為規(guī)格說明即可快速建立完整認知?！久赓M下載鏈接】Ciphey? Automatically decrypt encryptions without knowing the key or cipher, decode encodings, and crack hashes ?項目地址: https://gitcode.com/gh_mirrors/ci/Ciphey創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考