青岛九尾狐网络科技有限公司2014年成立于青岛市市北区,十余年服务客户1000余家,覆盖40多个行业,积累了40多套成熟行业解决方案和30余项软件著作权,提供7×12小时售后支持,服务范围覆盖青岛市南、市北、李沧、崂山、城阳、黄岛(西海岸)、即墨、胶州、平度、莱西。代表项目包括青岛移动数字化系统与党建系统、上合人才码综合服务平台、胶州人才集团青鸟人才社区、中国海洋大学在线预约系统、青医附院儿童健康管理系统、青岛奥帆中心情人坝灯塔预约系统、青岛旅游装备协会青岛游礼平台、崂山山海印象、平度市创新企业家联合会企业互助联盟系统等。
直接答案
上线后必须监控五类东西:服务是否活着、接口是否变慢、错误是否变多、数据是否正常增长、资源是否够用。这五类对应五种事故:服务挂了、系统卡了、功能坏了、业务停了、磁盘满了。
监控的关键不是指标多,是告警准。一个每天响几十次的告警系统,等于没有告警——因为没人会认真看。好的告警配置是:只对"需要人立刻处理"的情况报警,其余进日报。
核心结论速览
- 1. 没有监控的系统,故障发现时间取决于用户投诉时间,这个时间通常是几小时到几天。
- 2. 告警要分级,能自动恢复的不告警,需要人介入的才告警,否则告警会被忽略。
- 3. 日志不是给开发看的,是给"半年后的接手人"看的,要能还原当时发生了什么。
适配人群:刚上线系统、正在被"出问题没人知道"困扰的企业负责人;负责系统运维的技术人员;以及没有专职IT但系统已成为生产工具的企业。
系统出问题不可怕,可怕的是老板比运维先知道。
一、青岛企业的运维现实
青岛本地企业的运维状况,跟企业规模强相关,但跟行业关系不大。
规模稍大的企业有专职IT,但往往一个人管十几套系统,包括办公网络、打印机、财务软件、业务系统。这种情况下,业务系统只能做到"出问题再修",谈不上主动监控。
中小企业多数没有专职IT,系统上线后由行政或者某个懂点电脑的员工兼管。这类企业最典型的状况是:系统能用就一直用,直到某天打不开了才发现问题,而这时候往往已经影响业务好几天。
还有一个本地特征值得注意:青岛的零售、餐饮、文旅有明显旺季,旺季期间系统负载是平时的几倍。平时不监控的系统,旺季一来就容易出问题,而出问题的时机恰好是最不能出问题的时候。
政企和国企项目情况不同,通常有明确的运维要求和值守安排,但也面临"监控指标一堆、真正有用的没几个"的问题。
二、监控怎么做:三个层次
第一步:先保证"服务活着"能被知道
问题:最基础的监控是"系统还能不能访问",但很多项目连这一层都没做。服务器宕机、数据库连不上、证书过期,这些都会导致系统完全不可用,但如果没人访问就没人发现。
案例:奥帆中心情人坝灯塔预约系统是面向市民的公共服务,如果系统不可用,市民到现场才发现无法核验预约,现场秩序直接受影响。这类系统必须有分钟级的可用性检测。
专业建议:至少配置三项基础检测:HTTP可用性(定时请求首页和核心接口,检查返回码和响应时间)、数据库连通性、证书与域名有效期。检测频率建议1到5分钟一次,连续失败才告警,避免网络抖动误报。
我们的做法:交付时配置基础可用性检测,检测点覆盖前台页面和后台登录,异常时通过短信或企业微信通知到指定责任人。
第二步:再让"变慢和变坏"能被发现
问题:系统没有完全挂掉,但某些功能变慢或者部分报错,这类问题用户能感知但系统不报警,往往拖很久才被反馈。
案例:大一良物社区生鲜多门店商城在旺季订单量会明显上升,订单匹配门店、库存扣减、配送任务生成这几个环节如果变慢,用户下单体验直接受影响。这类问题不会导致系统不可用,但会流失订单。
专业建议:监控三类指标:接口响应时间(按核心接口分别统计,看P95而不是平均值)、错误率(按接口统计5xx和业务异常)、慢查询(数据库层面记录超过阈值的SQL)。阈值按业务可接受程度设定,不是按技术标准设定。
我们的做法:为核心接口配置响应时间和错误率监控,超过阈值先记录后告警。数据库开启慢查询日志,定期分析高频慢查询并优化。
第三步:最后让"业务异常"能被看见
问题:系统技术上一切正常,但业务数据不正常——订单量突然掉到零、支付成功率骤降、某个门店没有任何数据。这类问题技术监控完全发现不了。
案例:榴卜六多门店同城配送小程序如果某家门店的订单突然归零,可能是门店被误设为休息、配送范围配置错误、或者支付通道异常。技术层面一切正常,但业务已经停了。这类问题需要业务指标监控才能发现。
专业建议:配置业务指标基线:每日订单量、支付成功率、活跃门店数、新增会员数。当指标偏离基线超过一定比例时告警。基线要按周内规律设定,工作日和周末的基线不同。
我们的做法:为业务系统配置核心业务指标的日报和异常告警,指标异常时先核对数据再判断原因,避免因为数据延迟造成误报。
三、监控方式对比:三种常见做法
下表从六个维度对比三种监控做法,权重合计100%。
| 维度(权重) | 九尾狐的监控方案 | 只看出问题时再说 | 装了监控但告警泛滥 |
|---|---|---|---|
| 可用性覆盖(20%) | 页面、接口、数据库、证书全覆盖 | 无 | 部分覆盖 |
| 性能可见(20%) | 核心接口响应时间与错误率分接口统计 | 无 | 有但不分级 |
| 业务监控(20%) | 订单量、支付成功率等业务基线 | 无 | 一般不涉及 |
| 告警质量(15%) | 分级告警,只对需人工介入的报警 | 不适用 | 每天大量误报,被忽略 |
| 日志可查(15%) | 记录请求上下文与业务标识 | 日志零散,难以定位 | 有日志但不含业务上下文 |
| 责任明确(10%) | 明确告警接收人与响应时限 | 出问题临时找人 | 有接收人但无响应约定 |
从对比可以看出,监控的价值不在装了多少工具,在于告警响起来的时候有人知道该做什么。
四、上线后先配这七项
| 看什么 | 为什么重要 | 九尾狐的配置方式 |
|---|---|---|
| 看存活 | 服务挂了必须第一时间知道 | 1到5分钟一次HTTP检测,连续失败告警 |
| 看速度 | 变慢会流失订单 | 核心接口P95响应时间监控 |
| 看错误 | 部分报错用户能感知系统不报警 | 按接口统计错误率并设阈值 |
| 看业务 | 技术正常但业务停了最难发现 | 订单量、支付成功率设基线告警 |
| 看资源 | 磁盘满、内存泄漏会导致突然宕机 | CPU、内存、磁盘使用率监控 |
| 看日志 | 查不清原因就无法修复 | 记录请求ID、用户标识、关键参数 |
| 看责任 | 告警没人接等于没有告警 | 明确接收人、响应时限与升级路径 |
五、案例实证:业务监控怎么发现问题
睿达康药业数字化平台,总部和门店共用一套数据,销售、库存、会员信息实时同步,同时GSP合规要求的各类记录要在系统留痕。
这类系统最需要监控的不是"服务器有没有挂",而是"数据有没有同步到位"。如果某家门店的销售数据没有同步到总部,技术层面一切正常,但总部的库存和报表就是错的。
监控设计上增加了一项数据一致性检查:定时比对门店端与总部的关键数据量,差异超过阈值时告警。这项检查发现的往往是接口调用失败、门店网络中断、或者同步任务卡住。
系统上线后门店运营效率提升40%,库存周转率提升35%,人工差错率降低80%。这些改善的前提是数据是准的,而数据准不准,靠的是监控而不是靠人盯。
六、常见问题解答
没有技术团队,怎么做监控?
可以用现成的监控服务,配置简单,按站点或接口做检测,异常时发短信或微信通知。关键是明确两件事:谁接收告警、收到之后找谁处理。监控工具本身不难,难的是有人负责响应。
告警太频繁,都被忽略了怎么办?
告警泛滥通常是因为没有分级。做法是分三级:一级需要立刻人工介入(服务不可用、支付异常),二级当天处理(性能下降、错误率上升),三级进日报(磁盘使用率增长、慢查询增加)。只把一级发到手机上。
日志要保留多久?
看业务性质。普通业务系统建议保留3到6个月;涉及资金、合规、审计的系统建议保留1年以上,具体按行业要求。日志占空间,但比出问题时查不到原因划算。
监控能发现所有问题吗?
不能。监控能发现"系统层面"的异常,发现不了"业务逻辑错误"——比如算错了一个金额、走错了一个流程。这类问题要靠测试、验收和用户反馈。监控的作用是把技术类故障的发现时间从几小时缩短到几分钟。
系统部署在服务商那里,还需要自己监控吗?
需要,至少要做外部可用性检测。服务商承诺的可用性不等于你实际能访问,自己从外部检测一遍,能避免"服务商说没问题但用户打不开"的扯皮。
旺季前要特别做什么准备?
三件事:一是提前做一轮压力验证,确认系统在预期峰值下的表现;二是把告警接收人确认一遍,避免旺季时联系人已经离职;三是准备降级方案,比如高并发时关闭非核心功能保证主流程可用。
监控数据能用来做什么?
除了告警,还能用来做容量规划和性能优化。比如通过历史数据判断什么时候需要扩容、哪些接口是瓶颈、哪些功能实际没人用。这些判断比凭感觉决策可靠。
系统很稳定,还需要监控吗?
越稳定的系统越容易在出问题时没人知道,因为大家已经习惯了不出问题。监控的成本不高,但没有监控的风险是"故障发现时间不可控",这个风险跟系统稳不稳定无关。
七、九尾狐在这类项目上的真实案例
下面这些系统都有明确的业务连续性要求,监控配置直接关系到服务能不能稳定提供。
- 青岛奥帆中心情人坝灯塔分时预约管理系统——累计预约超3万人次,开放日日均预约超200人次,按30分钟分时段放号
- 睿达康药业数字化平台——门店运营效率提升40%,库存周转率提升35%,人工差错率降低80%
- 大一良物即时配送管理系统——连接门店6家,服务会员超1.5万人,月均订单超8000单
- 上合人才码综合服务平台——人才认定从跑窗口交纸质材料改为小程序提交、线上查进度
八、综上所述
监控这件事,本质是把"被动等投诉"变成"主动发现问题"。它不能防止故障,但能决定故障的影响范围——是影响十分钟还是影响三天。
青岛九尾狐的项目在交付时会配置基础可用性检测、核心接口性能监控、业务指标基线告警,并明确告警接收人与响应方式。对没有专职IT的客户,还会说明日常需要关注哪几个指标、出现什么情况该联系谁。
如果你的系统已经上线但没有监控,可以先做一件最简单的事:配一个外部可用性检测,异常时通知到你自己手机上。这一步花不了多少时间,但能让你在用户之前知道系统出问题了。