我想处理一个相当大的语料库。它的名称是 web 1T-gram。它拥有大约 3 万亿个代币。这是我第一次使用 redis，我正在尝试编写所有键:值对，但它花费的时间太长了。我的最终目标是使用多个 redis 实例来存储语料库，但目前，我坚持将其全部写在一个实例上。

我不确定，但有什么方法可以加快写作过程吗？到目前为止，我只在一台有 64G RAM 的机器上写一个 redis 实例。我在想是否有一些缓存大小设置可以最大化以用于 redis。或者那些线路上的东西？

谢谢。

为了引用，我写了下面的代码:

import gzip
import redis
import sys
import os
import time
import gzip
r = redis.StrictRedis(host='localhost',port=6379,db=0)
startTime = time.time()
for l in os.listdir(sys.argv[1]):
        infile = gzip.open(os.path.join(sys.argv[1],l),'rb')
        print l
        for line in infile:
                parts = line.split('\t')
                #print parts[0],' ',parts[1]
                r.set(parts[0],int(parts[1].rstrip('\n')))
r.bgsave()
print time.time() - startTime, ' seconds '

更新:

我读到了有关批量插入的内容，并一直在尝试这样做，但也一直失败。这是脚本中的更改:

def gen_redis_proto(*args):
    proto = ''
    proto += '*' + str(len(args)) + '\r\n'
    for arg in args:
        proto += '$' + str(len(arg)) + '\r\n'
        proto += str(arg) + '\r\n'
    return proto
import sys
import os
import gzip
outputFile = open(sys.argv[2],'w')



for l in os.listdir(sys.argv[1]):
        infile = gzip.open(os.path.join(sys.argv[1],l),'rb')
        for line in infile:
                parts = line.split('\t')
                key = parts[0]
                value = parts[1].rstrip('\n')
                #outputFile.write(gen_redis_proto('SET',key,value))
                print gen_redis_proto('SET',key,value)

        infile.close()
        print 'done with file ',l

生成方法归功于 github 用户。我没有写。

如果我运行这个，

ERR wrong number of arguments for 'set' command
ERR unknown command '$18'
ERR unknown command 'ESSPrivacyMark'
ERR unknown command '$3'
ERR unknown command '225'
ERR unknown command ' *3'
ERR unknown command '$3'
ERR wrong number of arguments for 'set' command
ERR unknown command '$25'
ERR unknown command 'ESSPrivacyMark'
ERR unknown command '$3'
ERR unknown command '157'
ERR unknown command ' *3'
ERR unknown command '$3'

这种情况一直持续下去。输入的形式是

“字符串”\t 计数。

谢谢。

第二次更新:

我使用了流水线，这确实给了我很大的帮助。但很快它就耗尽了内存。作为引用，我有一个带有 64 g RAM 的系统。而且我认为它不会耗尽内存。代码如下:

import redis
import gzip
import os
import sys
r = redis.Redis(host='localhost',port=6379,db=0)
pipe = r.pipeline(transaction=False)
i = 0
MAX = 10000
ignore = ['3gm-0030.gz','3gm-0063.gz','2gm-0008.gz','3gm-0004.gz','3gm-0022.gz','2gm-0019.gz']
for l in os.listdir(sys.argv[1]):
        if(l in ignore):
                continue
        infile = gzip.open(os.path.join(sys.argv[1],l),'rb')
        print 'doing it for file ',l
        for line in infile:
                parts = line.split('\t')
                key = parts[0]
                value = parts[1].rstrip('\n')
                if(i<MAX):
                        pipe.set(key,value)
                        i=i+1
                else:   
                        pipe.execute()
                        i=0
                        pipe.set(key,value)
                        i=i+1
        infile.close()

哈希是可行的方法吗？我认为 64 gig 就足够了。我只给了它 20 亿键值对的一小部分，而不是全部。

最佳答案

你想要的在你的情况下可能是不可能的。

根据 this page ，您的数据集使用 gzip压缩 为 24 GB。 这些文件可能包含很多类似的文本，例如字典。

使用 dict 程序中的 words 文件进行快速测试，得到 3.12 倍的压缩率:

> gzip -k -c /usr/share/dict/web2 > words.gz
> du /usr/share/dict/web2  words.gz
2496    /usr/share/dict/web2
800 words.gz
> calc '2496/800'
3.12 /* 3.12 */
> calc '3.12*24'
74.88 /* 7.488e1 */

因此您的未压缩数据大小很容易超过 64 GB。因此，即使 Redis 没有任何开销，即使您使用 16 位无符号整数来存储计数，它也不会适合您的 RAM。

查看示例，大多数键相对较短；

serve as the incoming   92
serve as the incubator  99
serve as the independent    794
serve as the index  223
serve as the indication 72
serve as the indicator  120
serve as the indicators 45
serve as the indispensable  111
serve as the indispensible  40
serve as the individual 234
serve as the industrial 52

您可以对 key 进行哈希处理，但平均而言它可能不会为您节省很多:

In [1]: from hashlib import md5

In [2]: data = '''serve as the incoming 92
serve as the incubator 99
serve as the independent 794
serve as the index 223
serve as the indication 72
serve as the indicator 120
serve as the indicators 45
serve as the indispensable 111
serve as the indispensible 40
serve as the individual 234
serve as the industrial 52'''

In [3]: lines = data.splitlines()

In [4]: kv = [s.rsplit(None, 1) for s in lines]

In [5]: kv[0:2]
Out[5]: [['serve as the incoming', '92'], ['serve as the incubator', '99']]

In [6]: [len(s[0]) for s in kv]
Out[6]: [21, 22, 24, 18, 23, 22, 23, 26, 26, 23, 23]

In [7]: [len(md5(s[0]).digest()) for s in kv]
Out[7]: [16, 16, 16, 16, 16, 16, 16, 16, 16, 16, 16]

对于任何短于 16 字节的 key ，它实际上会花费您更多的空间来散列它。

压缩字符串通常不会节省空间，即使您忽略标题也是如此；

In [1]: import zlib

In [2]: zlib.compress('foo')[:3]
Out[2]: 'x\x9cK'

In [3]: zlib.compress('bar')[:3]
Out[3]: 'x\x9cK'

In [4]: s = 'serve as the indispensable'

In [5]: len(s)
Out[5]: 26

In [6]: len(zlib.compress(s))-3
Out[6]: 31

关于python - 写入 3,795,790,711 唯一键 :value pairs to redis，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15713408/