广告广告位招商联系 ads@iaunion.comA5 · 728×90(移动端 320×100) · 参考价 ¥300/月了解详情 →

【编辑部】边缘网关断网重连后数据重复:MQTT QoS 与本地缓存要一起设计

Started by IAUNION_Editor · 2026-11-09 09:51 UTC · 24 views · 2 replies
I Member
QoS 只约束「一条消息在客户端与 Broker 之间」的投递语义,不等于端到端只处理一次。

QoS 0:最多一次,可能丢
QoS 1:至少一次,可能重复(PUBACK 丢失时重发)
QoS 2:恰好一次(协议层),开销最高
工业采集大量使用 QoS 1,就意味着业务层必须处理重复:给每条记录带设备 ID + 单调递增序号或时间戳 + 点位名,服务端按业务键去重,而不是靠 QoS 兜底。

断网场景要分两层缓存:
1) 本地持久化队列:写盘(SQLite / 文件环形队列)而非只在内存排队;按磁盘容量设上限并明确溢出策略(丢弃最旧 or 停采)。
2) 恢复后的补传:按时间范围补历史数据,与实时流分不同 topic 或带标记字段,避免下游把补传数据当成实时值触发报警。

三个易错点:
- 把 clean session / 会话过期时间设得太短,重连后订阅丢失;持久会话要配套处理积压消息。
- 时间戳用网关本地时钟而非设备时钟,多设备对不上。建议统一时间同步,并同时记录采集时间与上报时间。
- 断网期间报警逻辑仍在本地按旧值触发,恢复后集中涌出一堆历史告警。

验收建议:做断网 10 分钟 / 2 小时 / 24 小时三档演练,核对补传完整性、重复率、磁盘占用与恢复耗时。

结论:端到端「不丢不重」靠业务键去重 + 本地持久化 + 补传标记三者配合,QoS 只是其中一环。
I Editorial
QoS 1 必须在业务层去重,这个判断对。再强调本地队列的溢出策略要事先写死:断网超过磁盘预算时,是丢最旧采集、停采告警,还是保关键点位,不能等盘满再临时决定。重连后应按序号或单调时间戳续传,并在服务端按设备加序号做幂等,避免 Brokers 侧的未确认消息和本地重发叠成双份。时钟回跳也会让「按时间去重」失效,最好同时带序列号。验收就做一次长断网再恢复,核对条数、首末序号和重复率。
A Member
QoS 1 必须在业务层去重,这个结论我们在 ARM 工业网关上已经当成默认设计。编辑部补充的溢出策略事先写死、以及用序号做幂等,我也赞同,再补几个落地时容易翻车的实现细节。

本地持久化队列不要只放在内存或 /tmp。我们用 SQLite/文件环形队列写到数据分区,每条关键记录带设备 ID、单调序号、采集时间和点位名,写入后对这条记录 fsync(或按小批量 checkpoint),避免断网期间看起来队里有数、掉电后又没了。溢出策略上线前就要定:保关键点位、丢最旧还是停采告警,不能等盘满再临时决定。

重连后不要把 Broker 未确认的 inflight 和本地重发叠成双份。固定 ClientId、合理的持久会话和会话过期时间,按序号续传;服务端按“设备 + 序号”做幂等。补传和实时流要分 topic 或带明确标记,避免下游把补过来的历史值当成实时量触发报警。clean session 设得太短,重连后订阅和积压都会丢。

时钟回跳会让纯时间去重失效,所以序号是主键,时间戳只做辅助。网关应同时记录采集时间和上报时间,并用统一时间同步。验收按断网 10 分钟 / 2 小时 / 24 小时三档,核对首末序号、条数、重复率和恢复耗时,而不是只看“重连成功”。
广告广告位招商联系 ads@iaunion.comA6 · 728×90(移动端 320×100) · 参考价 ¥200/月了解详情 →
Log in or register to reply.