如果数据库在字段中包含诸如“,”和“\n”之类的字段，是否有一种方法可以在不必修复这些分隔符的情况下使用 sqoop 到 hive，可能使用替代格式而不是标准文本文件？一直在使用一些解决方法(即/替换定界符、oreplace 等)。

最佳答案

我找到的解决方案是在换行符的列基础上解决这个问题:

SELECT 
  COL_A,
  OREPLACE(COL_B, '0A'XC, '_replace_char_'),
  ...,
  COL_N
FROM
  TABLE_NAME

假设这也适用于逗号。我还没有测试你是否可以嵌套这个 replace char 语句。也没有估计对假脱机空间使用的影响。

解决方案在第一个问题中找到，而不是在“答案”中:

https://community.teradata.com/t5/Database/Removing-a-line-break-character-in-a-column/td-p/52431

关于hadoop - teradata connector sqoop sequencefile 格式能否克服分隔符问题？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43598715/