我正在尝试读取一个大文本文件并输出其中的不同单词及其计数。到目前为止，我已经尝试了几次，这是迄今为止我想出的最快的解决方案。

private static readonly char[] separators = { ' ' };

public IDictionary<string, int> Parse(string path)
{
    var wordCount = new Dictionary<string, int>();

    using (var fileStream = File.Open(path, FileMode.Open, FileAccess.Read))
    using (var streamReader = new StreamReader(fileStream))
    {
        string line;
        while ((line = streamReader.ReadLine()) != null)
        {
            var words = line.Split(separators, StringSplitOptions.RemoveEmptyEntries);

            foreach (var word in words)
            {
                if (wordCount.ContainsKey(word))
                {
                    wordCount[word] = wordCount[word] + 1;
                }
                else
                {
                    wordCount.Add(word, 1);
                }
            }
        }
    }

    return wordCount;
}

我如何衡量我的解决方案

我有一个 200MB 的文本，我知道它的总字数(通过文本编辑器)。我正在使用 Stopwatch class 并计算单词以确保准确性并测量所用时间。到目前为止，大约需要 9 秒。

其他尝试

• 我尝试利用多线程通过 TPL 库。这涉及批处理多行，发送 将一批行处理到一个单独的任务并锁定 字典中的读/写操作。然而，这似乎并不 为我提供任何性能改进。
• 大约用了 30 秒。我怀疑锁定读/写到 字典成本太高，无法获得任何性能。
• 我还查看了 ConcurrentDictionary 类型，但是 AddOrUpdate 方法确实需要调用代码来处理 根据我的理解同步，并没有带来任何性能 利益。

我相信有更快的方法可以实现这一目标!有没有更好的数据结构来解决这个问题？

欢迎对我的解决方案提出任何建议/批评 - 尝试在这里学习和改进!

干杯。

更新:这是 link到我正在使用的测试文件。

最佳答案

我能给出的最好的简短回答是测量、测量、测量。 Stopwatch 很适合了解时间花在了哪里，但最终您会用它来处理大量代码，否则您将不得不为此寻找更好的工具。我建议为此获得一个专用的分析器工具，有许多适用于 C# 和 .NET 的工具。

我已经通过三个步骤成功地削减了大约 43% 的总运行时间。

首先我测量了你的代码并得到了这个:

这似乎表明这里有两个热点我们可以尝试解决:

1. 字符串拆分(SplitInternal)
2. 字典维护(FindEntry、Insert、get_Item)

花在读取文件上的最后一段时间，我真的怀疑我们可以通过更改那部分代码获得多少 yield 。这里的另一个答案提到使用特定的缓冲区大小，我试过了但无法获得可测量的差异。

第一个是字符串拆分，比较简单，但需要将对 string.Split 的非常简单的调用重写为更多代码。处理一行的循环我重写为:

while ((line = streamReader.ReadLine()) != null)
{
    int lastPos = 0;
    for (int index = 0; index <= line.Length; index++)
    {
        if (index == line.Length || line[index] == ' ')
        {
            if (lastPos < index)
            {
                string word = line.Substring(lastPos, index - lastPos);
                // process word here
            }
            lastPos = index + 1;
        }
    }
}

然后我把一个词的处理重写成这样:

int currentCount;
wordCount.TryGetValue(word, out currentCount);
wordCount[word] = currentCount + 1;

这依赖于以下事实:

1. TryGetValue 比检查单词是否存在然后检索其当前计数更便宜
2. 如果TryGetValue获取值失败(key不存在)那么它会初始化这里的currentCount变量为它的默认值，也就是0。这意味着我们真的不需要检查这个词是否确实存在。
3. 我们可以通过索引器向字典添加新词(它会覆盖现有值或向字典添加新的键+值)

最后的循环看起来像这样:

while ((line = streamReader.ReadLine()) != null)
{
    int lastPos = 0;
    for (int index = 0; index <= line.Length; index++)
    {
        if (index == line.Length || line[index] == ' ')
        {
            if (lastPos < index)
            {
                string word = line.Substring(lastPos, index - lastPos);
                int currentCount;
                wordCount.TryGetValue(word, out currentCount);
                wordCount[word] = currentCount + 1;
            }
            lastPos = index + 1;
        }
    }
}

新的测量显示:

详细信息:

1. 我们从 6876 毫秒减少到 5013 毫秒
2. 我们失去了在 SplitInternal、FindEntry 和 get_Item 上花费的时间
3. 我们在 TryGetValue 和 Substring 上花费了更多时间

差异详情如下:

如您所见，我们损失的时间多于获得的新时间，从而实现了净改进。

但是，我们可以做得更好。我们在这里进行 2 次字典查找，包括计算单词的哈希码，并将其与字典中的键进行比较。第一个查找是 TryGetValue 的一部分，第二个是 wordCount[word] = ... 的一部分。

我们可以通过在字典中创建更智能的数据结构来移除第二次字典查找，但代价是使用更多的堆内存。

我们可以使用 Xanatos 将计数存储在对象中的技巧，这样我们就可以删除第二次字典查找:

public class WordCount
{
    public int Count;
}

...

var wordCount = new Dictionary<string, WordCount>();

...

string word = line.Substring(lastPos, index - lastPos);
WordCount currentCount;
if (!wordCount.TryGetValue(word, out currentCount))
    wordCount[word] = currentCount = new WordCount();
currentCount.Count++;

这只会从字典中检索计数，添加 1 次额外出现不涉及字典。该方法的结果也将更改为将此 WordCount 类型作为字典的一部分返回，而不仅仅是一个 int。

净结果:节省约 43%。

最后一段代码:

public class WordCount
{
    public int Count;
}

public static IDictionary<string, WordCount> Parse(string path)
{
    var wordCount = new Dictionary<string, WordCount>();

    using (var fileStream = new FileStream(path, FileMode.Open, FileAccess.Read, FileShare.None, 65536))
    using (var streamReader = new StreamReader(fileStream, Encoding.Default, false, 65536))
    {
        string line;
        while ((line = streamReader.ReadLine()) != null)
        {
            int lastPos = 0;
            for (int index = 0; index <= line.Length; index++)
            {
                if (index == line.Length || line[index] == ' ')
                {
                    if (lastPos < index)
                    {
                        string word = line.Substring(lastPos, index - lastPos);
                        WordCount currentCount;
                        if (!wordCount.TryGetValue(word, out currentCount))
                            wordCount[word] = currentCount = new WordCount();
                        currentCount.Count++;
                    }
                    lastPos = index + 1;
                }
            }
        }
    }

    return wordCount;
}

关于c# - 大文本文件中的词频，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30280142/