一、概述 上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的，我们整套标签系统的初级输入数据大概是8T左右，这里也是个参考。(下面的Spark部署模式为sparkonyarn)二、问题1、大规模数据往HDFS中写时候，报了HDFS读写超时，具体日志看下面。（1）具体到某个Excutor的错误日志:（2）具体到各个数据节点DataNode的日志:分析：从这两个
