这是我第一次使用 StackOverflow 提问，但多年来你们共同保存了我的许多项目，我已经感到宾至如归了。

我正在使用 Python3.5 和 nltk 来解析完整的古英语语料库，它以 77 个文本文件和一个 XML 文档的形式发布给我，该文档将文件序列指定为 TEI 格式语料库的连续片段。这是 XML 文档 header 的相关部分，表明我们实际上正在使用 TEI:

<?xml version="1.0" encoding="UTF-8"?>
<TEI xmlns="http://www.tei-c.org/ns/1.0">
  <teiHeader type="ISBD-ER">
    <fileDesc>

是的，作为测试，我只是尝试使用 NLTK 的 MTECorpusReader 打开语料库并使用 words() 方法来证明我可以打开它。我正在从交互式 Python shell 中执行所有这些操作，只是为了便于测试。这就是我真正在做的事情:

# import the reader method    
import nltk.corpus.reader as reader

# open the sequence of files and the XML doc with the MTECorpusReader    
oecorpus = reader.mte.MTECorpusReader('/Users/me/Documents/0163','.*')

# print the first few words in the corpus to the interactive shell
oecorpus.words()

当我尝试这样做时，我得到以下回溯:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/util.py", line 765, in __repr__
    for elt in self:
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/corpus/reader/util.py", line 397, in iterate_from
    for tok in piece.iterate_from(max(0, start_tok-offset)):
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/corpus/reader/util.py", line 291, in iterate_from
    tokens = self.read_block(self._stream)
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/corpus/reader/mte.py", line 25, in read_block
    return list(filter(lambda x: x is not None, XMLCorpusView.read_block(self, stream, tagspec, elt_handler)))
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/corpus/reader/xmldocs.py", line 307, in read_block
    xml_fragment = self._read_xml_fragment(stream)
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/corpus/reader/xmldocs.py", line 252, in _read_xml_fragment
    xml_block = stream.read(self._BLOCK_SIZE)
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/data.py", line 1097, in read
    chars = self._read(size)
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/data.py", line 1367, in _read
    chars, bytes_decoded = self._incr_decode(bytes)
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/nltk/data.py", line 1398, in _incr_decode
    return self.decode(bytes, 'strict')
  File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/encodings/utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 59: invalid start byte

因此，由于我是一名勇敢的 StackOverflowsketeer，我确定一个或多个文件已损坏，或者文件中的某些字符包含 Python 的 utf-8 解码器无法识别的字符处理。我可以相当确定这个文件的完整性(相信我的话)，所以我正在追求

我尝试了以下方法来重新格式化 77 个文本文件，但没有明显效果:

for file in loglist:
    bufferfile = open(file, encoding='utf-8', errors='replace')
    bufferfile.close()
loglist = [name for name in os.listdir('.') if os.path.isfile(name)]

所以我的问题是:

1) 到目前为止我的方法是否有意义，或者到目前为止我在故障排除中是否搞砸了？

2) 基于 UTF-8 错误很早就出现(在十六进制位置 59)和我的 utf- 8 error 替换脚本对问题没有影响？如果我的假设是错误的，那么我怎样才能更好地隔离问题？

3) 如果我们可以断定问题出在 XML 文档上，那么清除它的最佳方法是什么？我尝试找到那个十六进制字节和它对应的ASCII并更改字符是否可行？

预先感谢您的帮助!

最佳答案

您的转换技术没有用，因为您再也没有读取和写回文件。

0x80 不是 UTF-8 或任何 iso-8859-* 字符集中的有效字节。它在 Windows 代码页中有效，但只有 Unicode 可以支持古英文字符，所以你有一些非常破损的数据。

要转换带有坏字节的 UTF-8，请执行以下操作:

with open('input.txt', 'r', encoding='utf-8', errors='ignore') as input,
        open('output.txt', 'w', encoding='utf-8') as output:

     output.write(input.read())

如果您不关心丢失数据，您可以在 MTECorpusReader 上使用 encoding 参数:

oecorpus = reader.mte.MTECorpusReader('/Users/me/Documents/0163','.*', encoding='cp1252')

这将使 0x80 成为欧元 (€) 符号。

关于utf-8 文件的 Python 3.5 UnicodeDecodeError(语言为 'ang' ，古英语)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38363747/