所以我正在编写一个程序，将一个中英定义的 .txt 文件转换为一个通过 CLI 运行的词汇训练器。但是，在 Windows 中，当我尝试在 VS2017 中编译它时，它变成了乱码，我不确定为什么。我认为它在 Linux 中工作正常，但 Windows 似乎把它搞得一团糟。这和windows中的编码表有关系吗？我错过了什么吗？我在 Linux 中编写了代码以及输入文件，但我尝试使用 Windows IME 编写字符，但结果仍然相同。我认为这幅画最能说明问题。谢谢

注意:根据要求添加了在 Windows 中显示的输入/输出示例。此外，输入是 UTF-8。

输入样本

人(rén),person
刀(dāo),knife
力(lì),power
又(yòu),right hand; again
口(kǒu),mouth

输出样本

人(rén),person
刀(dāo),knife
力(lì),power
又(yòu),right hand; again
口(kǒu),mouth
土(tǔ),earth

Picture of Input file & Output

最佳答案

TL;DR:Windows 终端讨厌 Unicode。您可以解决它，但它并不漂亮。

您的问题与“char 与 wchar_t”无关。其实你的程序没有任何问题!只有当文本通过 cout 离开并到达终端时才会出现问题。

您可能习惯于将 char 视为“字符”；这是一个常见(但可以理解)的误解。在 C/C++ 中，char 类型通常与 8 位整数同义，因此更准确地描述为 byte。

您的文本文件 chineseVocab.txt 编码为 UTF-8。当您通过 fstream 读取此文件时，您得到的是一个UTF-8 编码字节串。

I/O 中没有“字符”这样的东西；您始终以特定的编码 传输字节。在您的示例中，您正在从文件句柄 (fin) 中读取 UTF-8 编码的字节。

尝试运行它，您应该会在两个平台(Windows 和 Linux)上看到相同的结果:

int main()
{
    fstream fin("chineseVocab.txt");
    string line;
    while (getline(fin, line))
    {
        cout << "Number of bytes in the line: " << dec << line.length() << endl;
        cout << "    ";
        for (char c : line)
        {
            // Here we need to trick the compiler into displaying this "char" as an integer:
            unsigned int byte = (unsigned char)c;
            cout << hex << byte << "  ";
        }
        cout << endl;
        cout << endl;
    }
    return 0;
}

这是我在我的 (Windows) 中看到的:

Number of bytes in the line: 16
    e4  ba  ba  28  72  c3  a9  6e  29  2c  70  65  72  73  6f  6e

Number of bytes in the line: 15
    e5  88  80  28  64  c4  81  6f  29  2c  6b  6e  69  66  65

Number of bytes in the line: 14
    e5  8a  9b  28  6c  c3  ac  29  2c  70  6f  77  65  72

Number of bytes in the line: 27
    e5  8f  88  28  79  c3  b2  75  29  2c  72  69  67  68  74  20  68  61  6e  64  3b  20  61  67  61  69  6e

Number of bytes in the line: 15
    e5  8f  a3  28  6b  c7  92  75  29  2c  6d  6f  75  74  68

到目前为止，还不错。

问题现在开始了:您想将那些相同的 UTF-8 编码字节写入另一个文件句柄 (cout)。

cout 文件句柄连接到您的 CLI(“终端”、“控制台”、“shell”，无论您如何调用它)。 CLI 从 cout 读取字节并将它们解码为字符以便显示。

• Linux 终端通常配置为使用UTF-8 解码器。好消息! 您的字节是 UTF-8 编码的，因此您的 Linux 终端的解码器匹配文本文件的编码。这就是终端中一切看起来都不错的原因。

• 另一方面，Windows 终端通常配置为使用系统相关的解码器(您的似乎是 DOS codepage 437 )。坏消息! 您的字节是 UTF-8 编码的，因此您的 Windows 终端的解码器不匹配文本文件的编码。这就是为什么一切在终端中看起来都是乱码的原因。

好的，那你是怎么解决这个问题的？不幸的是，我找不到任何可移植的方法...你需要将你的程序分为 Linux 版本和 Windows 版本.在 Windows 版本中:

1. 将您的 UTF-8 字节转换为 UTF-16 代码单元。
2. 将标准输出设置为 UTF-16 模式。
3. 写入wcout而不是cout
4. 告诉您的用户将他们的终端更改为支持中文字符的字体。

代码如下:

#include <fstream>
#include <iostream>
#include <string>

#include <windows.h>

#include <fcntl.h>  
#include <io.h>  
#include <stdio.h> 

using namespace std;

// Based on this article:
// https://msdn.microsoft.com/magazine/mt763237?f=255&MSPPError=-2147217396
wstring utf16FromUtf8(const string & utf8)
{
    std::wstring utf16;

    // Empty input --> empty output
    if (utf8.length() == 0)
        return utf16;

    // Reject the string if its bytes do not constitute valid UTF-8
    constexpr DWORD kFlags = MB_ERR_INVALID_CHARS;

    // Compute how many 16-bit code units are needed to store this string:
    const int nCodeUnits = ::MultiByteToWideChar(
        CP_UTF8,       // Source string is in UTF-8
        kFlags,        // Conversion flags
        utf8.data(),   // Source UTF-8 string pointer
        utf8.length(), // Length of the source UTF-8 string, in bytes
        nullptr,       // Unused - no conversion done in this step
        0              // Request size of destination buffer, in wchar_ts
    );

    // Invalid UTF-8 detected? Return empty string:
    if (!nCodeUnits)
        return utf16;

    // Allocate space for the UTF-16 code units:
    utf16.resize(nCodeUnits);

    // Convert from UTF-8 to UTF-16
    int result = ::MultiByteToWideChar(
        CP_UTF8,       // Source string is in UTF-8
        kFlags,        // Conversion flags
        utf8.data(),   // Source UTF-8 string pointer
        utf8.length(), // Length of source UTF-8 string, in bytes
        &utf16[0],     // Pointer to destination buffer
        nCodeUnits     // Size of destination buffer, in code units          
    );

    return utf16;
}

int main()
{
    // Based on this article:
    // https://blogs.msmvps.com/gdicanio/2017/08/22/printing-utf-8-text-to-the-windows-console/
    _setmode(_fileno(stdout), _O_U16TEXT);

    fstream fin("chineseVocab.txt");
    string line;
    while (getline(fin, line))
        wcout << utf16FromUtf8(line) << endl;
    return 0;
}

在我的终端中，在我将字体更改为 MS Gothic 后，它看起来基本没问题:

有些字符仍然乱七八糟，但那是因为字体不支持它们。

关于c++ - 为什么汉字经过编译器会变成乱码？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53294124/