相关文章
聊聊大数据框架的数据更新解决方案: COW, MOR, MOW
2024-11-10 18:29

大数据框架下,常用的数据更新策略有三种:

聊聊大数据框架的数据更新解决方案: COW, MOR, MOW

COW: copy-on-write, 写时复制;

MOR: merge-on-read, 读时合并;

MOW: merge-on-write, 写时合并;

hudi等数据湖仓框架,常用的是前两种实现数据更新。而Doris则主要用后两种更新数据。

COW

在数据写入的时候,复制一份原来的拷贝,在其基础上添加新数据,创建数据文件的新版本。新版本文件包括旧版本文件的记录以及来自传入批次的记录(全量最新)。

正在读数据的请求,读取的是最近的完整副本,这类似Mysql 的MVCC的思想。

在java的类库中就有一个CopyOnWriteArrayList,而linux的fork子进程的内部机制也是通过COW实现。可以说,COW是比较常用的数据更新方案。

MOR

新插入的数据存储在delta log 中,定期再将delta log合并进行parquet数据文件。读取数据时,会将delta log跟老的数据文件做merge。

这个merge的过程一般是多路归并排序的实现:查询时将重复的 Key 排在一起,并进行聚合操作,其中高版本 Key 的会覆盖低版本的 Key,最终只返回给用户版本最高的那一条记录。

hudi中,数据表的存储类型主要是MOR,参考:

MOW

将被覆盖和被更新的数据进行标记删除,同时将新的数据写入新的文件。在查询的时候, 所有被标记删除的数据都会在文件级别被过滤掉,读取出来的数据就都是最新的数据,消除掉了读时合并中的数据聚合过程,并且能够在很多情况下支持多种谓词的下推。

别的大数据框架我没有查到相关的信息,这个的应用主要是在Doris的Unique数据模型中,即通过MOW实现了Unique数据模型下的数据更新。

Doris的MOW的实现方案是: Delete + Insert。即在数据写入时通过一个主键索引查找到被覆盖的 Key,将其标记为删除。 参考自微软的 SQL Server 在 2015 年 VLDB 上发表的论文《Real-Time Analytical Processing with SQL Server》中提出的方案。

Delete + Insert

这篇论文提出了数据写入时将旧的数据标记删除(使用一个 Delete Bitmap 的数据结构),并将新数据记录在 Delta Store 中,查询时将 base 数据、Delete Bitmap、Delta Store 中的数据 Merge 起来以得到最新的数据。整体方案如下图所示

其优点是,任何一个有效的主键只存在于一个地方(要么在 base Data 中,要么在 Delta Store 中),这样就避免了查询过程中的大量归并排序的消耗,同时 base 数据中的各种丰富的列存索引也仍然有效。

简单来讲,Merge-On-Write 的处理流程是:

总结

    以上就是本篇文章【聊聊大数据框架的数据更新解决方案: COW, MOR, MOW】的全部内容了,欢迎阅览 ! 文章地址:http://sjzytwl.xhstdz.com/news/5554.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://sjzytwl.xhstdz.com/mobile/ , 查看更多   
最新文章
IK Total Studio MAX4降价至1099元,音频制作不容错过的超值选择total手机「IK Total Studio MAX4降价至1099元,音频制作不容错过的超值选择」
在实际使用中,Total Studio MAX4展现出了强大的音频处理能力。以AmpliTube 5为例,用户不仅可以选择丰富的音色,还能通过ToneNE
为大家推荐30部穿越类动漫,哪一部是您的最爱?智慧型手机「为大家推荐30部穿越类动漫,哪一部是您的最爱?」
“穿越”是现在非常流行的题材,在网络文学中“穿越类”作品比比皆是,什么穿越去古代或未来、穿越去异世界……而在二次元动漫里
移动云考勤喔趣手机考勤「移动云考勤喔趣」
移动云考勤喔趣,一般又称喔趣app。
捕鱼大咖官捕鱼手机版「捕鱼大咖官」
【免费礼包】兑换码:DK666,DK888【兑换方式】打开游戏-右上角精彩活动-兑换码-每个玩家限2次不同号码的兑换机会!专业团队,史
瓜子二手车二手手机直卖网「瓜子二手车」
瓜子二手车是非常热门的二手车交易软件,二手车辆线上直卖,更有三天试驾驶的模式提供,平台上新车辆均是经过车辆严选,保证车辆
权限列表【录屏录制大师-录屏】小米手机录屏功能在哪「权限列表【录屏录制大师-录屏】」
● 访问大概位置允许应用访问大概位置● 查看网络状态允许应用程序查看所有网络的状态。● 开关WLAN允许应用开启或关闭WLAN● 开
爱思助手 For Mac版爱思助手怎么下载到苹果手机「爱思助手 For Mac版」
爱思助手Mac版是一款至力于为iOS设备用户提供百万正版苹果软件、热门游戏、苹果铃声、高清壁纸,免 AppIe ID 高速一键下载,支持
【品牌人物】OPPO与vivo幕后老板段永平vivo手机创始人「【品牌人物】OPPO与vivo幕后老板段永平」
五洲天宇认证中心是国家认监委唯一批准的品牌星级评价机构,为中华人民共和国境内企业提供品牌星级认证。该认证是对企业及其产品
三防壳 戒不了毒 再入Griffin Survivor Summit 手机壳三防手机壳「三防壳 戒不了毒 再入Griffin Survivor Summit 手机壳」
之前已经隶属过这么多年用过的三防手机壳了,果然被绝大部分人看做了神经病 。但这种偏执的嗜好确实难以改变,这不上一个Lifepro
如何检测空调氟利昂泄露?空调氟利昂怎么加? 发布时间:2025-01-13手机怎么测室内温度「如何检测空调氟利昂泄露?空调氟利昂怎么加? 发布时间:2025
空调是我们生活中常用到的电器,我们都知道,它在制冷的过程中是需要氟利昂的。那么氟利昂是什么呢?它其实就是空调当中的制冷剂