likes
comments
collection
share

【从0-1 千万级直播项目实战】交易、对账与数据一致性的挑战与解决方案

作者站长头像
站长
· 阅读数 17

1. 引言

直播平台已从单纯的娱乐转变为一个涉及巨大资金流动的商业平台，从用户为主播打赏的虚拟礼物，到主播的收益提现，每一个环节都涉及到资金的流入和流出。在这样一个高并发、高流量的环境下，如何确保每一笔交易的数据一致性，成为了直播平台不可或缺的核心技术挑战。

2. 直播系统的资金流动简介

在大多数直播系统中，资金流动可以简化为以下几个步骤：

  • 用户充值：用户通过第三方支付平台或银行卡为自己的账户充值。
  • 用户代充：用户可以通过平台指定代理进行快速充值自己的平台账户。
  • 用户消费：用户在直播间购买虚拟礼物、道具或其他服务。
  • 主播收益：主播根据平台规则获得一定比例的收益。
  • 主播提现：主播将自己的收益提现到银行卡或其他支付工具。
  • 资产转换：用户和主播都可将收益资产按照一定的转换比例转换成可以赠送出去的资产。

【从0-1 千万级直播项目实战】交易、对账与数据一致性的挑战与解决方案

3. 资产设计

3.1 用户资产设计

为了表示资产的不同类型，我们定义了一个AssetType枚举类。

  • COIN：金币，是直播平台的基础货币，可以用来购买虚拟礼物、道具或其他服务。
  • BEANS：金豆，收礼所得平台抽成后的奖励，可以提现、可以按一定比例再次转换为金币。
  • DIVISION_BEANS：分成金豆，代表主播的收益，可以提现。
  • AGENT：代储储值金币，是用户通过代理或合作伙伴获得的金币。
  • HANDOUT：代储储值赠送币，是平台赠送给用户的金币，有一定的使用限制。

每个用户都有一个与之关联的资产账户，用于记录用户的虚拟货币余额。

  • id：资产的唯一标识，使用自增的方式生成。
  • userId：与资产关联的用户ID。
  • type：资产的类型，如金币、金豆等。这是一个枚举值，由AssetType类定义。
  • amount：资产的数量，使用BigDecimal类型来确保精确计算。

3.2 资产流水设计

3.2.1 用户资产流水记录实体设计

UserAssetLog类代表了用户资产的一次操作记录。

  • id：流水记录的唯一标识，使用自增的方式生成。
  • userId：与此次操作关联的用户ID。
  • billType：出入账单类型，代表是入账或出账。
  • assetType：资产的类型，如金币、金豆等。这是一个枚举值，由上方的AssetType类定义。
  • tradeType：交易的类型，如充值、购买虚拟礼物等。这是一个枚举值，由AssetTradeType类定义，代表着交易的具体类型，比如充值、送礼、购买道具、购买商城物品、房间分成、提现、兑换等。
  • amount：此次操作涉及的资产数量。
  • balance：操作后的资产余额。
  • remark：此次操作的备注信息，如“购买虚拟礼物”、“提现”等。
  • createTime：此次操作的时间。
  • role：当前流水操作的角色，可能是用户、主播或平台管理员。

3.2.2 资产流水记录的应用场景

每当用户的资产发生变动时，系统都会生成一条UserAssetLog记录。例如，当用户为主播购买一个虚拟礼物时，系统会生成一条消费类型的记录；当主播提现时，系统会生成一条提现类型的记录。

这些记录不仅可以帮助用户和主播查看自己的资产变动历史，还可以用于平台的对账和分析。例如，平台可以根据这些记录计算每个主播的收益，或分析用户的消费习惯。

3.2.3 资产流水记录的管理

为了方便管理和查询，我们为UserAssetLog类提供了一系列的管理工具和接口。例如，用户可以通过App查看自己的资产变动历史，平台管理员可以通过后台系统查看所有用户的资产变动记录。

此外，我们还为UserAssetLog类提供了导出功能，可以将资产变动记录导出为Excel文件，方便进一步的对账分析和处理。

【从0-1 千万级直播项目实战】交易、对账与数据一致性的挑战与解决方案

4. 对账设计

对账是一个周期性的过程，通常每天进行一次。其目的是确保系统内部的数据与第三方支付平台或银行的数据一致。

4.1 对账流程

  1. 数据采集：从系统数据库和第三方支付平台采集前一天的所有交易数据。
  2. 数据匹配：将系统的交易数据与第三方支付平台的数据进行匹配，找出不一致的数据。
  3. 异常处理：对于不一致的数据，进行人工审核，确定是系统的错误还是第三方支付平台的错误，并进行修复。
  4. 报告生成：生成对账报告，包括匹配成功的数据、不一致的数据和已修复的数据。

【从0-1 千万级直播项目实战】交易、对账与数据一致性的挑战与解决方案

4.2 对账的潜在问题与挑战

对账是确保财务数据准确性的关键环节，确保系统内部的数据与第三方支付平台或银行的数据一致,但在实际操作中，可能会遇到多种问题和挑战。

  1. 数据延迟
  • 问题：第三方支付平台可能存在数据延迟，导致某些交易记录在对账时尚未完全同步。
  • 解决方案：进行预对账，提前发现可能的数据延迟问题，并与第三方支付平台建立数据同步完成的通知机制。
  1. 数据格式不一致
  • 问题：系统与第三方支付平台的数据格式可能存在差异。
  • 解决方案：开发数据转换工具，将不同格式的数据统一为一个标准格式，并在数据匹配前进行数据校验。
  1. 交易状态的差异
  • 问题：某些交易可能在系统中标记为成功，但在第三方支付平台中被拒绝或延迟。
  • 解决方案：建立一个交易状态映射表，开启定时任务并定期检查交易状态。
  1. 手续费与汇率问题
  • 问题：第三方支付平台会收取一定的手续费，特别是做海外加上有汇率经常变化的情况。
  • 解决方案：建立费率、汇率表，并对于因手续费、汇率导致的小额差异设置一个阈值进行自动调整。
  1. 人工审核的挑战
  • 问题：对于不一致的数据，人工审核是一个时间和资源消耗的过程。
  • 解决方案：开发智能审核工具，并定期培训审核团队。
  1. 数据量巨大
  • 问题：在高并发的系统中，每天的交易数据可能非常庞大。
  • 解决方案：将大量的数据分布式数据库存储，数据分批处理，使用多线程方式进行并行处理。
  1. 对账时间窗口
  • 问题：对账通常在固定的时间窗口内进行。
  • 解决方案：使用任务调度工具，灵活调整对账时间。
  1. 数据安全与隐私
  • 问题：需要确保交易数据的安全和隐私。
  • 解决方案：对敏感数据进行加密，并设置数据访问权限。
  1. 历史数据的处理
  • 问题：如何存储、查询和处理历史数据。
  • 解决方案：将历史数据归档，可以利用冷归档的方式进行存储，与热数据进行分离，一来节省数据存储成本，二来可以对特定的冷数据使用指定的查询工具快速检索。
  1. 自动化的限制
  • 问题：虽然对账过程可以部分自动化，但仍然需要人工参与，这是无可避免的。
  • 解决方案：采用自动化与人工审核的混合模式。
  1. 通知与反馈机制
  • 问题：当发现数据不一致时，如何及时通知相关人员。
  • 解决方案：建立实时通知机制，比如钉钉群提醒、邮件、电话告警等，并设置反馈渠道。
  1. 第三方平台的变更
  • 问题：第三方支付平台可能会更改其API、数据格式或政策。
  • 解决方案：记录第三方支付平台的API版本，政策改变一般会有邮件提醒，及时关注邮件信息，并定期检查其更新通知。

5. 数据一致性的保证方式

在涉及真实货币与虚拟货币交易的系统中，数据一致性显得尤为关键。任何数据的不一致，无论是由于技术故障、网络延迟还是恶意攻击，都可能导致用户或主播的经济损失，严重时甚至会影响到平台的声誉和业务。

5.1 使用分布式锁与乐观锁结合 在需要确保数据安全性的关键操作上，使用分布式锁来确保同一时间只有一个操作能够修改数据。而在其他非关键操作上，使用乐观锁来提高系统的并发处理能力，这组合操作可以非常简单的落地。

5.2 引入消息队列与事件溯源 通过引入消息队列，我们可以确保数据的异步处理和传输的可靠性。同时，结合事件溯源，我们可以记录每一次数据的变更，当出现数据不一致的情况时，可以追溯原因并进行修复。

5.3 借助分布式事务中间件 也可以考虑使用如Seata、TCC等分布式事务中间件，它们提供了一套完整的分布式事务解决方案，可以帮助我们在分布式环境中确保数据的一致性。

5.4 定期数据校验与修复 设置定时任务，对系统内部的数据与第三方支付平台或银行的数据进行校验。一旦发现数据不一致，立即触发修复机制，确保数据的准确性。

6. 实际应用案例

用户A想要为主播B购买一个价值100元的虚拟礼物。这个交易涉及到用户A的账户扣款、主播B的账户入账、以及平台的分成。在这个过程中，任何一个环节的失败都可能导致数据不一致。

6.1 交易流程

  1. 预扣款：当用户A点击购买礼物时，系统首先会从用户A的账户中预扣100元。

  2. 分账：系统根据平台的规则，将100元分成三部分：主播B的收益、平台的分成和可能的税费。

  3. 入账：系统将分账后的金额入账到主播B和平台的账户。

  4. 确认交易：系统确认所有的操作都成功后，会正式扣除用户A的100元，并生成交易记录。

  5. 定期检查：系统会定期检查最近XX时间段内的交易记录，确保时间段内所有的交易都已正确处理，没有遗漏或错误。

  6. 对账：系统每天会与第三方支付平台进行对账，确保系统内部的数据与第三方支付平台的数据完全一致。如果发现任何不一致，系统会自动触发修复机制，或通知相关人员进行手动处理。

6.2 异常处理

如果在交易流程中的任何环节发生错误，系统需要进行以下操作：

  1. 回滚：系统会回滚所有已完成的操作，确保数据的一致性。
  2. 记录异常：系统会记录这次交易的所有操作和异常信息，以便后续的分析和修复。
  3. 通知用户：系统会通知用户A交易失败，并提供失败的原因和可能的解决方案。
  4. 系统告警：通过告警机制来帮助开发/运营能及时感知交易异常，做出相应的处理。

完整交易流程如下

【从0-1 千万级直播项目实战】交易、对账与数据一致性的挑战与解决方案

总结

在直播系统中，资金流动涉及到多个参与者和复杂的业务逻辑。确保数据的一致性不仅需要技术上的支持，还需要详细的业务流程和异常处理机制。通过采用合适的技术和方法，我们可以有效地解决这一问题，从而提高系统的可靠性和用户的信任。