采纳

最近有个数据处理的问题,大家有

最近有个数据处理的问题,大家有过经验的给点思路解决方案,感激感激!

题目如下:

处理一个200多GB的csv文件,文件大概十几亿行,共4列,只关心其中两列a,b(a列表示钱包地址,b列表示交易哈希,这两列的意思可不管)这两列是一对一,一对多,多对多的可能关系,某两行可能a的值相等,或者这两行b的值相等,那么我们称这两行可合并(为一组),处理最终结果是将这十几亿行数据,进行分组。 打个比喻,a是b的朋友,b是c的朋友,那么a,b,c是朋友,为一组,只要a,b,c这一组任何人有朋友d,那么这四个人都是一组朋友......

可用内存50G左右,磁盘存这个200g文件没有问题,空间大

用数据库持久化进行不断修改读写?或者通过文件方式处理,先分块处理再合并?或者说其他的方案?

已解决
0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
下载 APP