我有一个包含大约10亿个数据点的数据集。我想从中提取大约4600万个独特的数据点。我想使用Hadoop提取唯一值，但在Hadoop上不断出现“内存不足”和Java堆大小错误-同时，我能够使用Python在单个机器上相当轻松地运行它设置(哈希表，如果你愿意的话。)我正在使用一种相当简单的算法来提取这些唯一值:我正在解析map中的10亿行并输出如下所示的行:UniqValueCount:IaUniqValueCount:IaUniqValueCount:IbUniqValueCount:IcUniqValueCount:IcUniqValueCount:Id然后运行“聚合”reducer得