簡(jiǎn)介本資源是一份面向電力行業(yè)財(cái)務(wù)與信息化管理人員的精品教學(xué)資料系統(tǒng)介紹廣東遠(yuǎn)光軟件研發(fā)的集團(tuán)級(jí)資金監(jiān)控管理系統(tǒng)聚焦解決電力企業(yè)資金分散、監(jiān)控滯后、預(yù)算執(zhí)行弱、風(fēng)險(xiǎn)防控難等核心管理痛點(diǎn)。文檔為單個(gè)Word文件.doc全文約2.23MB結(jié)構(gòu)完整、圖文并茂涵蓋系統(tǒng)概述、管理需求與策略分析、三層架構(gòu)設(shè)計(jì)數(shù)據(jù)源層/采集層/分析層、六大功能模塊詳解實(shí)時(shí)監(jiān)控、規(guī)范管理、預(yù)算控制、精細(xì)操作、適度分權(quán)、安全可靠及典型集成場(chǎng)景說(shuō)明內(nèi)容深度覆蓋系統(tǒng)設(shè)計(jì)邏輯與落地價(jià)值。目前已有88人學(xué)習(xí)下載讀者可直接獲取該系統(tǒng)的完整業(yè)務(wù)框架、監(jiān)控規(guī)則配置示例、異構(gòu)銀行數(shù)據(jù)對(duì)接方案、異常交易預(yù)警機(jī)制及與財(cái)務(wù)核算系統(tǒng)集成路徑是理解電力集團(tuán)資金數(shù)字化管控體系的優(yōu)質(zhì)實(shí)務(wù)參考材料。1. 遠(yuǎn)光集團(tuán)資金監(jiān)控管理系統(tǒng)不是PPT套件而是企業(yè)級(jí)資金流實(shí)時(shí)感知中樞很多財(cái)務(wù)或IT同事第一次看到“遠(yuǎn)光集團(tuán)資金監(jiān)控管理系統(tǒng)”這個(gè)名稱會(huì)下意識(shí)認(rèn)為是某份內(nèi)部培訓(xùn)文檔或演示材料——尤其當(dāng)它以“.doc”結(jié)尾、年份標(biāo)注為2021–2022時(shí)。但實(shí)際落地中這套系統(tǒng)早已脫離文檔形態(tài)成為大型集團(tuán)企業(yè)資金管理數(shù)字化轉(zhuǎn)型的典型技術(shù)載體它不依賴人工填報(bào)或T1報(bào)表而是通過(guò)直連銀行網(wǎng)銀接口、ERP資金模塊、票據(jù)池系統(tǒng)及內(nèi)部結(jié)算平臺(tái)實(shí)現(xiàn)對(duì)全集團(tuán)賬戶余額、在途資金、支付指令、票據(jù)狀態(tài)、授信使用率等核心指標(biāo)的秒級(jí)采集與規(guī)則驅(qū)動(dòng)預(yù)警。適用對(duì)象非常明確——資產(chǎn)規(guī)模超百億、分子公司超30家、日均資金調(diào)撥超千筆的集團(tuán)型財(cái)務(wù)共享中心技術(shù)棧上它并非單體Java Web應(yīng)用而是基于微服務(wù)架構(gòu)Spring Cloud、適配國(guó)產(chǎn)數(shù)據(jù)庫(kù)達(dá)夢(mèng)/人大金倉(cāng)、支持信創(chuàng)環(huán)境部署的生產(chǎn)級(jí)系統(tǒng)。本文不復(fù)述文檔內(nèi)容而是聚焦于如何從零還原該系統(tǒng)的典型技術(shù)路徑、關(guān)鍵配置項(xiàng)、數(shù)據(jù)對(duì)接邏輯以及一線實(shí)施中最?？ㄗ〉娜齻€(gè)驗(yàn)證節(jié)點(diǎn)。2. 搭建資金監(jiān)控最小可行環(huán)境用Docker Compose跑通賬戶余額實(shí)時(shí)同步鏈路要真正理解遠(yuǎn)光資金監(jiān)控系統(tǒng)的能力邊界最有效的方式不是讀文檔而是本地復(fù)現(xiàn)其最基礎(chǔ)的數(shù)據(jù)采集閉環(huán)銀行賬戶余額→中間庫(kù)→監(jiān)控看板。這需要繞過(guò)原廠安裝包通常含加密授權(quán)校驗(yàn)采用標(biāo)準(zhǔn)化組件組合模擬核心鏈路。常見(jiàn)做法是用MySQL替代原廠數(shù)據(jù)庫(kù)用Python腳本模擬銀行API響應(yīng)再用Grafana展示結(jié)果——整個(gè)過(guò)程可在15分鐘內(nèi)完成且完全開源可驗(yàn)證。2.1 選擇輕量級(jí)服務(wù)編排方案為什么Docker Compose比手動(dòng)部署更貼近真實(shí)場(chǎng)景遠(yuǎn)光系統(tǒng)在生產(chǎn)環(huán)境普遍采用Kubernetes集群部署但本地驗(yàn)證無(wú)需復(fù)雜編排。Docker Compose的優(yōu)勢(shì)在于它強(qiáng)制暴露服務(wù)間依賴關(guān)系如監(jiān)控服務(wù)必須等待數(shù)據(jù)庫(kù)就緒這恰好對(duì)應(yīng)資金系統(tǒng)中“賬戶采集服務(wù)→數(shù)據(jù)清洗服務(wù)→指標(biāo)計(jì)算服務(wù)”的強(qiáng)時(shí)序依賴。若跳過(guò)此步直接寫代碼極易忽略“銀行接口超時(shí)后重試隊(duì)列是否持久化”這類生產(chǎn)級(jí)細(xì)節(jié)。我們定義以下4個(gè)服務(wù)db: MySQL 8.0掛載初始化SQL腳本collector: Python Flask服務(wù)模擬銀行余額查詢APIscheduler: Apache Airflow精簡(jiǎn)版調(diào)度采集任務(wù)grafana: 可視化前端連接MySQL數(shù)據(jù)源提示不要用SQLite替代MySQL。遠(yuǎn)光系統(tǒng)所有資金表均含account_no VARCHAR(32)、balance DECIMAL(18,2)、update_time DATETIME(3)字段SQLite對(duì)DATETIME(3)毫秒精度支持不一致會(huì)導(dǎo)致后續(xù)時(shí)間窗口計(jì)算偏差。2.2 構(gòu)建可驗(yàn)證的銀行接口模擬器用Flask暴露標(biāo)準(zhǔn)REST端點(diǎn)真實(shí)銀行API返回JSON結(jié)構(gòu)高度統(tǒng)一例如招商銀行企業(yè)網(wǎng)銀的余額查詢響應(yīng)如下{ respCode: 0000, respMsg: 交易成功, data: { acctNo: 1234567890123456789, currBal: 12345678.90, availBal: 12345678.90, lastUpdate: 2022-03-15T09:23:45.12308:00 } }本地模擬器需嚴(yán)格復(fù)現(xiàn)該結(jié)構(gòu)否則下游ETL腳本解析會(huì)失敗。以下是核心代碼保存為collector/app.pyfrom flask import Flask, jsonify, request import time import json app Flask(__name__) # 模擬銀行返回的賬戶列表實(shí)際應(yīng)從配置文件加載 ACCOUNTS [ {acctNo: 6228480000000000001, currBal: 5234567.89, availBal: 5234567.89}, {acctNo: 6228480000000000002, currBal: 12345678.90, availBal: 12345678.90} ] app.route(/api/v1/balance, methods[POST]) def get_balance(): # 驗(yàn)證請(qǐng)求頭中的銀行證書標(biāo)識(shí)簡(jiǎn)化為token校驗(yàn) token request.headers.get(X-Bank-Token) if not token or token ! YUANGUANG_BANK_TOKEN: return jsonify({respCode: 9999, respMsg: 認(rèn)證失敗}), 401 # 模擬網(wǎng)絡(luò)延遲100–300ms time.sleep(0.1 (hash(request.data) % 200) / 1000) # 返回固定賬戶數(shù)據(jù)生產(chǎn)環(huán)境此處調(diào)用真實(shí)銀行SDK return jsonify({ respCode: 0000, respMsg: 交易成功, data: ACCOUNTS }) if __name__ __main__: app.run(host0.0.0.0, port5000)2.2.1 關(guān)鍵參數(shù)說(shuō)明與調(diào)試要點(diǎn)X-Bank-Token遠(yuǎn)光系統(tǒng)對(duì)接銀行時(shí)必須在HTTP Header中傳遞預(yù)置Token該Token由銀行側(cè)分配非明文密碼。本地測(cè)試時(shí)需在Airflow的connections中配置相同值。time.sleep()刻意加入隨機(jī)延遲用于驗(yàn)證系統(tǒng)在銀行接口抖動(dòng)時(shí)的重試機(jī)制是否生效默認(rèn)3次間隔1s/2s/4s。ACCOUNTS列表實(shí)際部署時(shí)應(yīng)從遠(yuǎn)光系統(tǒng)后臺(tái)的“銀行賬戶主數(shù)據(jù)”表中動(dòng)態(tài)加載而非硬編碼。此處簡(jiǎn)化僅為驗(yàn)證鏈路。2.3 配置Airflow調(diào)度任務(wù)用PythonOperator實(shí)現(xiàn)資金采集作業(yè)遠(yuǎn)光系統(tǒng)中賬戶余額采集任務(wù)被定義為DAGDirected Acyclic Graph每個(gè)DAG包含3個(gè)Taskcheck_bank_health→fetch_balance→load_to_ods。我們用Airflow的PythonOperator復(fù)現(xiàn)核心邏輯from airflow import DAG from airflow.operators.python import PythonOperator from airflow.hooks.base import BaseHook from datetime import datetime, timedelta import requests import pymysql default_args { owner: yuanguang, depends_on_past: False, start_date: datetime(2021, 1, 1), email_on_failure: False, retries: 3, retry_delay: timedelta(seconds10) } dag DAG( fund_monitor_balance_sync, default_argsdefault_args, description遠(yuǎn)光資金監(jiān)控-賬戶余額同步, schedule_intervaltimedelta(minutes5), # 生產(chǎn)環(huán)境通常為1分鐘 catchupFalse ) def fetch_bank_balance(**context): # 從Airflow Connection獲取銀行Token conn BaseHook.get_connection(bank_api) headers {X-Bank-Token: conn.password} try: resp requests.post( http://collector:5000/api/v1/balance, headersheaders, timeout(3, 10) # 連接3s讀取10s ) resp.raise_for_status() data resp.json() if data[respCode] ! 0000: raise Exception(fBank API error: {data[respMsg]}) # 寫入MySQL ods_fund_account表 db_conn pymysql.connect( hostdb, userroot, passwordpassword, databasefund_monitor ) cursor db_conn.cursor() for acct in data[data]: cursor.execute( INSERT INTO ods_fund_account (account_no, curr_balance, avail_balance, update_time, etl_time) VALUES (%s, %s, %s, NOW(3), NOW(3)) ON DUPLICATE KEY UPDATE curr_balance VALUES(curr_balance), avail_balance VALUES(avail_balance), update_time VALUES(update_time), etl_time VALUES(etl_time) , (acct[acctNo], acct[currBal], acct[availBal])) db_conn.commit() cursor.close() db_conn.close() except requests.exceptions.Timeout: raise Exception(Bank API timeout, check network or bank server) except Exception as e: raise Exception(fFetch balance failed: {str(e)}) fetch_task PythonOperator( task_idfetch_bank_balance, python_callablefetch_bank_balance, dagdag )2.3.1 必須調(diào)整的3個(gè)Airflow參數(shù)參數(shù)名默認(rèn)值遠(yuǎn)光系統(tǒng)推薦值說(shuō)明sql_alchemy_pool_size520資金采集任務(wù)并發(fā)高需增大連接池避免DB拒絕連接max_active_runs_per_dag164防止同一DAG多個(gè)實(shí)例同時(shí)運(yùn)行導(dǎo)致數(shù)據(jù)覆蓋task_concurrencyNone3限制單個(gè)DAG內(nèi)并發(fā)Task數(shù)避免銀行接口限流注意Airflow的catchupFalse必須啟用。遠(yuǎn)光系統(tǒng)要求資金數(shù)據(jù)按實(shí)時(shí)窗口計(jì)算如最近5分鐘滾動(dòng)平均而非補(bǔ)歷史數(shù)據(jù)。開啟catchup會(huì)導(dǎo)致大量堆積任務(wù)壓垮數(shù)據(jù)庫(kù)。3. 數(shù)據(jù)模型設(shè)計(jì)遠(yuǎn)光資金監(jiān)控系統(tǒng)的核心表結(jié)構(gòu)與索引策略遠(yuǎn)光資金監(jiān)控系統(tǒng)的數(shù)據(jù)模型并非通用財(cái)務(wù)模型而是圍繞“資金流動(dòng)性風(fēng)險(xiǎn)”這一核心目標(biāo)構(gòu)建。其表結(jié)構(gòu)設(shè)計(jì)明顯區(qū)別于傳統(tǒng)ERP的GL總賬模型弱化會(huì)計(jì)科目維度強(qiáng)化賬戶、時(shí)點(diǎn)、狀態(tài)三要素。本地驗(yàn)證時(shí)若直接套用SAP或用友的COAChart of Accounts表結(jié)構(gòu)必然導(dǎo)致指標(biāo)計(jì)算錯(cuò)誤。以下為生產(chǎn)環(huán)境中最常被查詢的5張核心表及其設(shè)計(jì)邏輯。3.1ods_fund_account賬戶快照表——為什么用account_no作聯(lián)合主鍵而非自增ID該表存儲(chǔ)所有銀行及內(nèi)部賬戶的實(shí)時(shí)余額快照每5分鐘采集一次。其主鍵設(shè)計(jì)是理解遠(yuǎn)光系統(tǒng)性能的關(guān)鍵CREATE TABLE ods_fund_account ( account_no varchar(32) NOT NULL COMMENT 銀行賬號(hào)/內(nèi)部戶號(hào), curr_balance decimal(18,2) NOT NULL DEFAULT 0.00 COMMENT 當(dāng)前余額, avail_balance decimal(18,2) NOT NULL DEFAULT 0.00 COMMENT 可用余額, update_time datetime(3) NOT NULL COMMENT 銀行系統(tǒng)更新時(shí)間, etl_time datetime(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3) COMMENT ETL入庫(kù)時(shí)間, PRIMARY KEY (account_no, update_time) -- 復(fù)合主鍵 ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;3.1.1 復(fù)合主鍵的設(shè)計(jì)意圖與查詢優(yōu)化效果account_no update_time作為主鍵天然支持“查某賬戶最近N條記錄”場(chǎng)景如WHERE account_no xxx ORDER BY update_time DESC LIMIT 10避免全表掃描。生產(chǎn)環(huán)境中該表日增約200萬(wàn)行300賬戶 × 288次/天若用自增ID為主鍵SELECT * FROM ods_fund_account WHERE account_no xxx需掃描全部索引樹而復(fù)合主鍵使該查詢直接定位到B樹葉子節(jié)點(diǎn)。update_time精度為毫秒datetime(3)確保同一賬戶在極短時(shí)間內(nèi)如秒級(jí)的多次更新不沖突。3.2dim_bank_channel銀行渠道維度表——如何支撐多銀行異構(gòu)接口適配遠(yuǎn)光系統(tǒng)需對(duì)接工行、建行、招行、中信等十余家銀行各家API協(xié)議差異極大XML/JSON、簽名算法、字段命名。dim_bank_channel表通過(guò)抽象出標(biāo)準(zhǔn)化字段解耦業(yè)務(wù)邏輯與銀行協(xié)議字段名類型示例值說(shuō)明bank_codeVARCHAR(10)ICBC銀行唯一編碼非行名api_urlVARCHAR(255)https://icbc-api.yuanguang.com/v2/balance統(tǒng)一路由地址sign_methodVARCHAR(20)SHA256_RSA簽名算法標(biāo)識(shí)req_templateTEXT{ acctNo:${account_no} }請(qǐng)求體模板支持變量替換resp_pathVARCHAR(100)$.data.currBalJSONPath提取路徑3.2.1 實(shí)際應(yīng)用中的動(dòng)態(tài)路由邏輯當(dāng)采集任務(wù)執(zhí)行時(shí)系統(tǒng)根據(jù)bank_code查出對(duì)應(yīng)渠道配置再用Jinja2模板引擎渲染req_template最后用resp_path從響應(yīng)中提取數(shù)值。這種設(shè)計(jì)使新增銀行只需維護(hù)該表無(wú)需修改Java代碼——這也是遠(yuǎn)光系統(tǒng)能快速適配區(qū)域性城商行的關(guān)鍵。3.3fact_fund_flow資金流水事實(shí)表——為什么不用amount而用delta_amount傳統(tǒng)流水表記錄每筆交易的絕對(duì)金額amount但遠(yuǎn)光系統(tǒng)關(guān)注的是“資金凈變動(dòng)”因此fact_fund_flow表設(shè)計(jì)為CREATE TABLE fact_fund_flow ( flow_id varchar(40) NOT NULL COMMENT 流水唯一IDUUID, account_no varchar(32) NOT NULL, delta_amount decimal(18,2) NOT NULL COMMENT 本次變動(dòng)額正為進(jìn)賬負(fù)為出賬, balance_after decimal(18,2) NOT NULL COMMENT 變動(dòng)后余額, flow_time datetime(3) NOT NULL, flow_type varchar(20) NOT NULL COMMENT 類型INCOME/EXPENSE/TRANSFER, source_system varchar(20) NOT NULL COMMENT 來(lái)源系統(tǒng)BANK/ERP/SETTLE, PRIMARY KEY (flow_id), KEY idx_account_time (account_no,flow_time) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;3.3.1delta_amount帶來(lái)的計(jì)算優(yōu)勢(shì)支持實(shí)時(shí)計(jì)算“資金缺口”SUM(delta_amount) OVER (PARTITION BY account_no ORDER BY flow_time ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)直接得到任意時(shí)刻余額無(wú)需關(guān)聯(lián)余額快照表。避免因銀行流水重復(fù)推送導(dǎo)致的金額累加錯(cuò)誤重復(fù)流水的delta_amount相同SUM去重后仍正確。與ods_fund_account.balance_after字段形成交叉驗(yàn)證任一賬戶的balance_after應(yīng)等于其首條流水delta_amount與后續(xù)所有delta_amount之和。4. 風(fēng)險(xiǎn)預(yù)警規(guī)則配置用SQL表達(dá)式引擎實(shí)現(xiàn)“30分鐘未更新即告警”遠(yuǎn)光資金監(jiān)控系統(tǒng)的核心價(jià)值不在數(shù)據(jù)采集而在基于規(guī)則的風(fēng)險(xiǎn)識(shí)別。其預(yù)警模塊不依賴固定閾值如“余額低于100萬(wàn)”而是通過(guò)可配置的SQL表達(dá)式動(dòng)態(tài)計(jì)算。本地驗(yàn)證時(shí)可復(fù)現(xiàn)最典型的“賬戶失聯(lián)預(yù)警”場(chǎng)景某銀行賬戶連續(xù)30分鐘無(wú)新余額更新視為銀行接口異常觸發(fā)短信通知。4.1 預(yù)警規(guī)則元數(shù)據(jù)表設(shè)計(jì)alert_rule與alert_condition預(yù)警規(guī)則存儲(chǔ)在關(guān)系表中而非硬編碼這是系統(tǒng)可擴(kuò)展性的基礎(chǔ)CREATE TABLE alert_rule ( rule_id int PRIMARY KEY AUTO_INCREMENT, rule_name varchar(100) NOT NULL COMMENT 規(guī)則名稱, description varchar(500) COMMENT 描述, enabled tinyint(1) DEFAULT 1 COMMENT 是否啟用, trigger_freq varchar(20) DEFAULT MINUTE_5 COMMENT 觸發(fā)頻率 ); CREATE TABLE alert_condition ( condition_id int PRIMARY KEY AUTO_INCREMENT, rule_id int NOT NULL, sql_expr text NOT NULL COMMENT SQL條件表達(dá)式返回0/1, alert_level varchar(10) DEFAULT WARNING COMMENT 告警等級(jí), notify_channels varchar(100) DEFAULT SMS,EMAIL COMMENT 通知渠道 ); -- 插入賬戶失聯(lián)預(yù)警規(guī)則 INSERT INTO alert_rule VALUES (1, 銀行賬戶失聯(lián)檢測(cè), 檢查賬戶余額更新時(shí)效性, 1, MINUTE_5); INSERT INTO alert_condition VALUES ( 1, 1, SELECT CASE WHEN MAX(update_time) DATE_SUB(NOW(3), INTERVAL 30 MINUTE) THEN 1 ELSE 0 END FROM ods_fund_account WHERE account_no ${account_no}, CRITICAL, SMS,EMAIL );4.1.1${account_no}變量注入機(jī)制說(shuō)明${account_no}是遠(yuǎn)光系統(tǒng)自研的變量占位符運(yùn)行時(shí)由調(diào)度器從上下文如Airflow的context[dag_run].conf中提取實(shí)際值并替換。此機(jī)制使一條SQL規(guī)則可復(fù)用于所有賬戶無(wú)需為每個(gè)賬戶生成獨(dú)立SQL。安全性保障變量值僅允許從預(yù)設(shè)白名單參數(shù)中獲取禁止用戶輸入直接拼接杜絕SQL注入。4.2 執(zhí)行預(yù)警檢查的Python腳本如何安全地執(zhí)行動(dòng)態(tài)SQL預(yù)警檢查不能直接用pymysql.execute(sql)必須做語(yǔ)法校驗(yàn)與權(quán)限隔離。遠(yuǎn)光系統(tǒng)采用“白名單函數(shù)沙箱執(zhí)行”策略import re import pymysql from pymysql.cursors import DictCursor def execute_alert_sql(sql_expr: str, params: dict) - int: # 1. 變量替換僅支持${xxx}格式且xxx必須在params中存在 pattern r\$\{(\w)\} def replace_var(match): key match.group(1) if key not in params: raise ValueError(fMissing parameter: {key}) return str(params[key]) safe_sql re.sub(pattern, replace_var, sql_expr) # 2. 語(yǔ)法白名單校驗(yàn)禁止UPDATE/DELETE/DROP等危險(xiǎn)操作 forbidden [UPDATE, DELETE, DROP, INSERT, CREATE, ALTER] if any(word.upper() in safe_sql.upper() for word in forbidden): raise PermissionError(Forbidden SQL operation detected) # 3. 限制查詢范圍只允許查ods_fund_account等指定表 if not re.search(rFROM\sods_fund_account, safe_sql, re.I): raise PermissionError(Only ods_fund_account table is allowed) # 4. 執(zhí)行并返回結(jié)果必須是標(biāo)量 conn pymysql.connect(hostdb, useralert_user, passwordpwd, databasefund_monitor) try: with conn.cursor(DictCursor) as cursor: cursor.execute(safe_sql) result cursor.fetchone() if not result or len(result) ! 1: raise ValueError(Alert SQL must return exactly one column) return int(list(result.values())[0]) finally: conn.close() # 調(diào)用示例 result execute_alert_sql( SELECT CASE WHEN MAX(update_time) DATE_SUB(NOW(3), INTERVAL 30 MINUTE) THEN 1 ELSE 0 END FROM ods_fund_account WHERE account_no 6228480000000000001, {} ) print(Alert triggered:, result 1) # True if account is stale4.2.1 生產(chǎn)環(huán)境必須啟用的3項(xiàng)加固措施措施實(shí)現(xiàn)方式作用查詢超時(shí)cursor.execute(sql, timeout5)防止慢SQL拖垮數(shù)據(jù)庫(kù)連接池結(jié)果集限制cursor.execute(SET SESSION max_rows1)確保預(yù)警SQL只返回單行單列避免內(nèi)存溢出執(zhí)行用戶隔離創(chuàng)建專用數(shù)據(jù)庫(kù)用戶alert_user僅授予SELECT權(quán)限即使SQL注入成功也無(wú)法修改數(shù)據(jù)5. 驗(yàn)證系統(tǒng)健康度用curlgrep命令行快速診斷5個(gè)關(guān)鍵節(jié)點(diǎn)在客戶現(xiàn)場(chǎng)或遠(yuǎn)程支持時(shí)工程師沒(méi)有GUI界面可用必須依賴命令行快速定位問(wèn)題。以下5個(gè)curl命令覆蓋了遠(yuǎn)光資金監(jiān)控系統(tǒng)最常故障的環(huán)節(jié)每個(gè)命令均附帶預(yù)期輸出與失敗排查路徑。這些命令已在Linux/macOS/Bash on Windows實(shí)測(cè)通過(guò)無(wú)需額外工具。5.1 檢查銀行接口連通性curl -v查看HTTP狀態(tài)碼與響應(yīng)頭curl -v -H X-Bank-Token: YUANGUANG_BANK_TOKEN \ -X POST http://localhost:5000/api/v1/balance 21 | \ grep -E (HTTP/1.1|X-Bank-Token|respCode)預(yù)期輸出 HTTP/1.1 200 OK X-Bank-Token: YUANGUANG_BANK_TOKEN respCode: 0000失敗排查若返回HTTP/1.1 401 Unauthorized檢查X-Bank-Token值是否與Airflow Connection中配置一致若返回HTTP/1.1 000curl超時(shí)確認(rèn)collector容器是否運(yùn)行docker ps \| grep collector若無(wú)respCode字段Flask服務(wù)未正確返回JSON檢查app.py中jsonify()調(diào)用是否被異常中斷。5.2 驗(yàn)證數(shù)據(jù)庫(kù)寫入時(shí)效mysql -e直接查最新采集時(shí)間mysql -h 127.0.0.1 -P 3306 -u root -ppassword fund_monitor \ -e SELECT account_no, update_time, etl_time FROM ods_fund_account ORDER BY etl_time DESC LIMIT 3; | \ awk {print $1,$2,$3} | column -t預(yù)期輸出時(shí)間應(yīng)為當(dāng)前時(shí)間±5分鐘內(nèi)6228480000000000001 2022-03-15 09:23:45.123 2022-03-15 09:23:46.789 6228480000000000002 2022-03-15 09:23:45.123 2022-03-15 09:23:46.789失敗排查若update_time為空銀行API返回?cái)?shù)據(jù)中l(wèi)astUpdate字段缺失需檢查模擬器ACCOUNTS數(shù)據(jù)結(jié)構(gòu)若etl_time超過(guò)5分鐘未更新Airflow Scheduler是否運(yùn)行docker logs airflow-scheduler或DAG是否被禁用airflow dags list \| grep fund。5.3 測(cè)試預(yù)警規(guī)則執(zhí)行curl觸發(fā)單次規(guī)則評(píng)估遠(yuǎn)光系統(tǒng)提供REST API手動(dòng)觸發(fā)預(yù)警檢查路徑為/api/v1/alert/execute?rule_id1curl -X POST http://localhost:8080/api/v1/alert/execute?rule_id1 \ -H Content-Type: application/json \ -d {account_no:6228480000000000001} | \ jq .status,.message,.alert_triggered預(yù)期輸出status: success message: Rule executed alert_triggered: false失敗排查若返回404 Not Found確認(rèn)Grafana或Alert服務(wù)容器已啟動(dòng)且端口映射正確docker port alert-service若alert_triggered為true但未收到短信檢查alert_condition.notify_channels字段是否包含SMS且短信網(wǎng)關(guān)服務(wù)是否就緒。5.4 檢查Grafana數(shù)據(jù)源連通性curl獲取MySQL健康狀態(tài)Grafana數(shù)據(jù)源配置錯(cuò)誤是看板空白的最常見(jiàn)原因直接調(diào)用其Health Check APIcurl -s http://localhost:3000/api/datasources/proxy/1/health | \ jq select(.statusOK) /dev/null echo ? Grafana MySQL datasource OK || echo ? Datasource unreachable預(yù)期輸出? Grafana MySQL datasource OK失敗排查若返回401 UnauthorizedGrafana數(shù)據(jù)源配置中MySQL用戶名密碼錯(cuò)誤若返回空Grafana未正確代理到MySQL檢查docker-compose.yml中g(shù)rafana服務(wù)的environment是否含GF_DATASOURCES_MYSQL_URLmysql://root:passworddb:3306/fund_monitor。5.5 驗(yàn)證Airflow任務(wù)日志docker logs定位采集失敗堆棧當(dāng)fetch_bank_balance任務(wù)失敗時(shí)日志中會(huì)包含關(guān)鍵線索docker logs airflow-worker 21 | \ grep -A 5 -B 5 fetch_bank_balance.*failed | \ grep -E (Exception|Traceback|requests|pymysql) | head -n 10典型失敗日志片段[2022-03-15 09:23:46,789] {logging_mixin.py:105} INFO - Task exited with return code 1 [2022-03-15 09:23:46,789] {taskinstance.py:1752} ERROR - fetch_bank_balance failed: Bank API timeout, check network or bank server關(guān)鍵線索定位Bank API timeout→ 檢查collector服務(wù)是否響應(yīng)緩慢curl -w curl-format.txt -o /dev/null -s http://localhost:5000/api/v1/balancepymysql.err.OperationalError→ 數(shù)據(jù)庫(kù)連接數(shù)滿需調(diào)大sql_alchemy_pool_sizerequests.exceptions.ConnectionError→collector容器未啟動(dòng)或網(wǎng)絡(luò)不通docker network inspect docker_default \| grep collector。本文還有配套的精品資源點(diǎn)擊獲取