群消息，究竟存1份还是多份？

架构师之路

共 2159字，需浏览 5分钟

· 2021-01-14

群消息，究竟存一份还是多份？

任何技术方案，都不是天才般灵感乍现想到的，一定是一个演进迭代，逐步优化的过程。今天就聊一聊，群消息，为啥只需要存一份。

群信息，用户信息，群成员关系都是基础数据：

group_info(gid, group_info);

user_info(uid, user_info);

group_members(gid, uid);

假设一个群(gid)里有4个成员，其中：

（1）三个在线(A, uid1, uid2)；

（2）一个不在线(uid3)；

A发送了一条消息，很容易想到，对于不同的群友消息存多份，每个群友一个队列来存储。但由于在线的用户会实时的收到消息，所以暂定只为离线的用户存储。

用户收到的群消息，也是基础数据：

user_msgs(uid,msgid,gid,sender_uid,time,content);

很容易想到，整个群消息的发送流程如上图1-4：

（1）发送消息；

（2）查询状态；

（3）不在线的存储离线；

（4）在线的实时推送；

“在线的群友不存储，离线的群友才存储”会带来的问题是，如果第四步发生异常，群友会丢失消息。

消息的可达性是聊天系统中最重要的要素（没有之一），故这个方案是不行的，需要优化为“不管是否在线，都要先存储”。

发送群消息的流程优化为，如上图1-4：

（1）发送消息；

（2）所有人都存一份；

（3）查询状态；

（4）在线的实时推送；

先将消息落地，能够保证消息可达性，那何时才能删除已经落地的群消息呢？

对于在线的群友，收到群消息后，给个ack确认，才能删除。

画外音：逻辑删除，还是物理删除，根据业务是否有消息漫游决定。

对于离线的群友，在下次登陆后，拉取完离线消息，再给ack确认，才能删除。

总之，为了保证消息的可达性，不管是在线消息，还是离线消息，必须接收方给ack确认，才能删除消息。

“不管是否在线，都冗余一份群消息”带来的问题是，同一条消息存储了很多次，对磁盘和带宽造成了很大的浪费。很容易想到的优化是：群消息实体存储一份，用户只冗余消息ID。

故基础数据可以由：

user_msgs(uid,msgid,gid,sender_uid,time,content);

优化为：

group_msgs(msgid,gid,sender_uid,time,content);

user_msgs(uid, msgid, gid);

这个优化，对于消息投递，以及消息删除的核心流程没有影响，几个实践为：

（1）在线用户投递消息实体，ack消息ID；

（2）离线用户先拉取消息ID，再拉取消息实体，再ack消息ID；

如此这般，假如在某个群友A期间，群里陆续发送了N条消息，则user_msgs(uid, msgid, gid)里，会有 uidA -> mid1,mid2, mid3, … midN 等N条离线记录，拉取离线消息时，可以把这N条消息一次性拉取出来，然后再删除：

delete from user_msgs

where msgid in($mid1,$mid2…, $midN) and gid=$gid

然而，群消息具备“偏序”特性，上面的一次性删除完全可以优化为：

delete from user_msgs

where msgid >= $mid1 and gid=$gid

这就意味着，每个用户只需要记录“最近一次收到的消息ID”，而不用记录“所有未收到的消息ID集合”，每当收在线消息ack，以及拉离线消息ack时，只需要更新这个“最近一次收到的消息ID”即可。

于是乎，基础数据可以由：

group_members(gid, uid);

group_msgs(msgid,gid,sender_uid,time,content);

user_msgs(uid, msgid, gid);

优化为：

group_members(gid, uid, last_ack_msgid);

group_msgs(msgid,gid,sender_uid,time,content);

user_msgs(uid, msgid, gid); // 不再需要

即，群消息只存储一份，群友无需冗余任何消息实体，或者消息ID了。

对于在线的群友，收到群消息后，修改这个last_ack_msgid。

对于离线的群友，拉取群消息后，也修改这个last_ack_msgid。

画外音：这里的讨论，仅限于接收方收到了哪些消息，和发送方的已读回执没有关系。

总结

任何架构方案都不是灵光一现，而是逐步迭代优化产生的：

（1）存多份，只存在线，消息容易丢；

（2）存多份，所有群友都存储，消息冗余多；

（3）存多份，只存ID，未利用偏序；

（4）存一份，只存last_ack_msgid；

架构不只是设计出来的，更是演进出来的。

任何脱离业务的架构设计都是耍流氓。

架构师之路-分享技术思路

若有收获，随手转发。

《群消息已读回执（这个屌），究竟是推还是拉？》

图片

表情

Python 字符串应该用双引号还是单引号？

转载来源：洪尔摩斯PyCharm升级至 2023.2版本后，经常弹出来一个提示问我要不要试一下Black formatter。试了一下，这个Black formatter 很有个性，特别喜欢换行。我的一个文件用PyCharm自带的代码整理器整理完之后是500行左右，然后再用Black整理就变成600

菜鸟学Python

字节面试：如何解决MQ消息积压问题？

面试题大全：www.javacn.siteMQ（Message Queue）消息积压问题指的是在消息队列中累积了大量未处理的消息，导致消息队列中的消息积压严重，超出系统处理能力，影响系统性能和稳定性的现象。1.消息积压是哪个环节的问题？MQ 执行有三大阶段：消息生产阶段。消息存储阶段。消息消费阶段。

Java中文社群

西班牙国家德比，皇马乘胜追击还是巴萨哀兵必胜？

本赛季的皇家马德里非常有希望赢得西甲联赛和欧冠联赛的双冠王，主场与巴塞罗那的“西班牙国家德比”将是一场6分的比赛，如果在这场“国家德比”中皇马可以战胜巴塞罗那，那么皇马就将在还剩6场比赛的情况下领先巴塞罗那11分，如果输掉比赛，皇马与巴塞罗那之间的差距就将缩小到5分，可以说，这场比赛将决定本赛季西甲

产品与体验

想赚点小钱，来淘金副业群！

前两天参加一个圈内非常有名的社群聚会，我自己只能算是小卡拉米，一直很想破圈，看看外边有什么机会，或者有什么好的赛道和风口，有的时候比你道行高的人一句话就可能点醒你。因为向上链接非常重要，我也是在朋友的推荐下进入了这个圈子，结果让我大开眼界，获益良多，受益匪浅。当天到场的嘉宾老师都很牛逼，我简单列一下

菜鸟学Python

47岁了，要失业了。工作二十多年，存款大几百万，两套房，目前为是否找工作纠结，还是不甘心，觉得还没老就没用了

上一篇：得知下属工资比我高5K，我气得直接提了离职，HR却疑惑问我为什么，能留下再加5k，有机会升职管整个部门47岁了，面临失业的现实，但若能在私营企业工作至这一年龄，已经算是达到了职业生涯的一个高峰。面对这样的情况，是否应该感到沮丧？其实不必，考虑到个人的资产状况——拥有两套房产和数百万的存款，加

开发者全社区

527

你会选油车还是电车？

不知道这个问题当问不当问但我还是想知道你会选油车还是电车？这得看用车环境

放毒

ChatGPT、大模型、AI资料分享群

大家好，我是老章之前我发了一份ChatGPT资料（ChatGPT 系列研究报告（40个PDF）），很多朋友购买了。后来我又整理了一些新的，资料包目前有50个PDF了：ChatGPT 系列研究报告（50个PDF），建了一个资料分享微信群这个群我已经维护了一年，只要有新的资料，我都更新到群里了，内容不限

机器学习算法与Python实战

多文件夹下Excel指定列的提取合并

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤红豆生南国，春来发几枝。一、前言大家好，我是崔艳飞，工作中经常遇到，从多个文件夹下的Excel中，提取指定列，再合并成新的Excel。几个文件夹还能应付，但要是有成百上千个文件夹，你就要

Python爬虫与数据挖掘

永久激活GPT4.0 + 多模态（文生图+图片解析）！终身使用！我上车了

GPT 4.0，太牛了🔥！！用GPT4.0生成个代码，轻轻松松就能帮你搞定如果你有想拍视频的想法，或者从事相关新媒体职业，那这个视频脚本生成就很适合你GPT4.0好用是好用，但它的价格也是真贵啊！一个月要 20 美元，折合大概 150 块人民币，一年就是 1800。MJ 绘画更是高攀不起的

Python客栈

再获殊荣！乐普新品平板多参数监护仪荣获两项国际大奖

近日，乐普新品平板多参数监护仪AIView VX凭借创新前瞻的设计理念及卓越不凡的产品体验，一举斩获“2024年德国iF设计奖”和“2024年德国红点奖”两项国际大奖，再度彰显乐普独特产品魅力及研发与工业设计的强大实力。作为国际公认的全球工业设计顶级奖项，红点设计奖与德国“iF奖”、美国“IDEA奖

乐普医疗AI