我是Hadoop的新手并且相信我开始看到数据分析(“离线”)与超低延迟的网络应用程序世界有多少不同.我仍在努力理解的一件重要事情是，真正的“大数据”最初是如何进入HDFS的。假设我在各种系统(RDBMS、NoSQL、日志数据等)中存储了500TB的数据。我的理解是，如果我想编写MR作业来查询和分析这些数据，我需要先将其全部导入/摄取到HDFS。但即使我在每个不同的系统和我的Hadoop集群之间有一个1Gbps的网络连接，这也是500TB=500*1000Gb=500,000GB的数据，在1Gbps下，是500,000秒或~138小时将所有数据移植到我的HDFS集群上。差不多一周了。而且