服务假死最难排查:进程还在、请求不响应。探针体系的目标是把"服务器是不是挂了"变成"哪个服务哪个环节挂了":探针覆盖脚本线程、数据库连通、缓存可用三个维度,结果进看板,告警分级推送到值班。
三个探针的检查内容、频率与超时配置。探针必须真实执行一次轻量操作,只查进程存活测不出脚本线程假死。配置如下:
[probe_list]
probe_1 = script_thread | exec_light_command | interval=60s | timeout=5s
probe_2 = database | read_health_probe | interval=60s | timeout=5s
probe_3 = cache | get_cache_probe | interval=60s | timeout=5s
[probe_rule]
fail_judge = consecutive_fail >= 3
board_color = all_ok=green, any_fail=red_on_item
探针失败的分级推送规则:单项失败推值班,多项失败升级主管并启动预案,数据库探针失败直接按 P0 处理。配置如下:
[alert_levels]
single_fail = notify_duty
multi_fail = notify_leader + start_plan
database_fail = p0_alert + sms + im_push
auto_restart = enabled_after_3_fail
restart_fail = escalate_p0
[drill]
rehearsal = monthly_disconnect_database
告警到达后的响应路径要写死:值班五分钟内认领、十五分钟内定位层级(脚本层、数据层、缓存层)、数据库 P0 直接拉群。每次真实故障后回填故障档案,探针清单随之补漏洞——探针体系是长出来的,不是一次设计出来的。
上线盯探针响应时间与失败分布:响应时间持续抬升是资源瓶颈的前兆,在探针失败之前提前扩容才是探针的价值。每月演练一次真实断库,验证告警链路与值班响应时效,演练不通过的环节限期整改。
全站技术干货持续更新:996 引擎 / Lua 实战帖,语法、参数与示例一篇讲透。进入文章地图 · 查看全部 →
学员常见误区 Lua函数可返回多个值,学员用固定变量数接收时如果变量少于返回值,多余返回值被静默丢弃;如果变量多于返回值,多…
设计初衷 行会建筑的死穴是一次全解锁:会员没有逐步建设的过程感。梯度设计让每栋建筑都有前置条件和资源门槛。 数值模型 建筑分…
设计初衷 婚姻系统的属性加成是社交玩法的经济锚点:加成太弱没人结婚,太强则"为了属性被迫结婚"扭曲了社交本质。婚姻边界的设计…
设计初衷 宝箱类玩法的信任危机都源于同一句话:"概率是不是骗人的。"期望公示把概率从事后争议变成事前契约:奖池概率表全量公示…
设计初衷 流拍物(拍卖未成交的退回物品)堆积在卖家背包里成为死资产:低价值物流拍后无人问津,高价值物流拍后卖家不愿降价重拍。…
业务场景 沙巴克战功榜每周结算,玩家提交战功前不知道"再打多少能进前 10、前 10 的奖励是什么"。名次预览:输入自己的战…