jjzjj

C++ LZMA SDK : Uncompress function for LZMA2 compressed file

coder 2024-02-24 原文

我正在尝试创建一个解压缩 LZAM2 压缩数据的函数。我的灵感来自 this tutorial这对 LZMA 非常有效,我尝试将其改编为 LZMA2。我成功地为 LZMA2 创建了压缩函数,但我没有成功创建解压缩函数。

这里是压缩函数:

static void Compress2Inc(std::vector<unsigned char> &outBuf,
                         const std::vector<unsigned char> &inBuf)
{
    CLzma2EncHandle enc = Lzma2Enc_Create(&SzAllocForLzma, &SzAllocForLzma2);
    assert(enc);

    CLzma2EncProps props;
    Lzma2EncProps_Init(&props);
    props.lzmaProps.writeEndMark = 1; // 0 or 1

    SRes res = Lzma2Enc_SetProps(enc, &props);
    assert(res == SZ_OK);

    unsigned propsSize = LZMA_PROPS_SIZE;
    outBuf.resize(propsSize);

    res = Lzma2Enc_WriteProperties(enc);
    //cout << res;
    //assert(res == SZ_OK && propsSize == LZMA_PROPS_SIZE);

    VectorInStream inStream = { &VectorInStream_Read, &inBuf, 0 };
    VectorOutStream outStream = { &VectorOutStream_Write, &outBuf };

    res = Lzma2Enc_Encode(enc,
        (ISeqOutStream*)&outStream, (ISeqInStream*)&inStream,
        0);
    assert(res == SZ_OK);

    Lzma2Enc_Destroy(enc);
}

地点:

static void *AllocForLzma2(void *, size_t size) { return BigAlloc(size); }
static void FreeForLzma2(void *, void *address) { BigFree(address); }
static ISzAlloc SzAllocForLzma2 = { AllocForLzma2, FreeForLzma2 };

static void *AllocForLzma(void *, size_t size) { return MyAlloc(size); }
static void FreeForLzma(void *, void *address) { MyFree(address); }
static ISzAlloc SzAllocForLzma = { AllocForLzma, FreeForLzma };

typedef struct
{
    ISeqInStream SeqInStream;
    const std::vector<unsigned char> *Buf;
    unsigned BufPos;
} VectorInStream;

SRes VectorInStream_Read(void *p, void *buf, size_t *size)
{
    VectorInStream *ctx = (VectorInStream*)p;
    *size = min(*size, ctx->Buf->size() - ctx->BufPos);
    if (*size)
        memcpy(buf, &(*ctx->Buf)[ctx->BufPos], *size);
    ctx->BufPos += *size;
    return SZ_OK;
}

typedef struct
{
    ISeqOutStream SeqOutStream;
    std::vector<unsigned char> *Buf;
} VectorOutStream;

size_t VectorOutStream_Write(void *p, const void *buf, size_t size)
{
    VectorOutStream *ctx = (VectorOutStream*)p;
    if (size)
    {
        unsigned oldSize = ctx->Buf->size();
        ctx->Buf->resize(oldSize + size);
        memcpy(&(*ctx->Buf)[oldSize], buf, size);
    }
    return size;
}

到目前为止,这是我对解压缩函数的了解,但是 Lzma2Dec_DecodeToBuf 函数返回错误代码 1(SZ_ERROR_DATA) 而我就是不能'在网络上找不到与此相关的任何信息。

static void Uncompress2Inc(std::vector<unsigned char> &outBuf,
                           const std::vector<unsigned char> &inBuf)
{
    CLzma2Dec dec;
    Lzma2Dec_Construct(&dec);

    SRes res = Lzma2Dec_Allocate(&dec, outBuf.size(), &SzAllocForLzma);
    assert(res == SZ_OK);

    Lzma2Dec_Init(&dec);

    outBuf.resize(UNCOMPRESSED_SIZE);
    unsigned outPos = 0, inPos = LZMA_PROPS_SIZE;
    ELzmaStatus status;
    const unsigned BUF_SIZE = 10240;
    while (outPos < outBuf.size())
    {
        unsigned destLen = min(BUF_SIZE, outBuf.size() - outPos);
        unsigned srcLen  = min(BUF_SIZE, inBuf.size() - inPos);
        unsigned srcLenOld = srcLen, destLenOld = destLen;

        res = Lzma2Dec_DecodeToBuf(&dec,
                                   &outBuf[outPos], &destLen,
                                   &inBuf[inPos], &srcLen,
                                   (outPos + destLen == outBuf.size()) ? LZMA_FINISH_END : LZMA_FINISH_ANY,
                                   &status);

        assert(res == SZ_OK);
        inPos += srcLen;
        outPos += destLen;
        if (status == LZMA_STATUS_FINISHED_WITH_MARK)
            break;
    }

    Lzma2Dec_Free(&dec, &SzAllocForLzma);
    outBuf.resize(outPos);
}

我正在使用从 here 下载的 Visual Studio 2008LZMA SDK .有人here有完全相同的问题,但我无法使用他的代码...

有没有人使用LZMA SDK成功解压过LZMA2压缩文件?

请帮忙!

最佳答案

临时解决方法是将 SRes res = Lzma2Dec_Allocate(&dec, outBuf.size(), &SzAllocForLzma); 替换为 SRes res = Lzma2Dec_Allocate(&dec, 8, &SzAllocForLzma);Uncompress2Inc 函数中,其中 8 是一个魔数(Magic Number)...

然而这不是解决问题的正确方法...

第一个错误是 Lzma2Enc_WriteProperties 没有返回结果,而是一个属性字节,它必须用作 Uncompress2Inc 函数中 Lzma2Dec_Allocate 调用的第二个参数.结果,我们将魔数(Magic Number) 8 替换为属性字节,一切都按预期进行。

为了实现这一点,必须将 5 字节的 header 添加到将在解码函数中提取的编码数据。这是一个在 VS2008 中工作的例子(不是最完美的代码,但它工作......我稍后会回来,当我有时间时,有一个更好的例子):

void Lzma2Benchmark::compressChunk(std::vector<unsigned char> &outBuf, const std::vector<unsigned char> &inBuf)
{
    //! \todo This is a temporary workaround, size needs to be added to the 
    m_uncompressedSize = inBuf.size();

    std::cout << "Uncompressed size is: " << inBuf.size() << std::endl;

    DWORD tickCountBeforeCompression = GetTickCount();

    CLzma2EncHandle enc = Lzma2Enc_Create(&m_szAllocForLzma, &m_szAllocForLzma2);
    assert(enc);

    CLzma2EncProps props;
    Lzma2EncProps_Init(&props);
    props.lzmaProps.writeEndMark = 1; // 0 or 1
    props.lzmaProps.level = 9;
    props.lzmaProps.numThreads = 3;
    //props.numTotalThreads = 2;

    SRes res = Lzma2Enc_SetProps(enc, &props);
    assert(res == SZ_OK);

    // LZMA_PROPS_SIZE == 5 bytes
    unsigned propsSize = LZMA_PROPS_SIZE;
    outBuf.resize(propsSize);

    // I think Lzma2Enc_WriteProperties returns the encoding properties in 1 Byte
    Byte properties = Lzma2Enc_WriteProperties(enc);

    //! \todo This is a temporary workaround
    m_propByte = properties;

    //! \todo Here m_propByte and m_uncompressedSize need to be added to outBuf's 5 byte header so simply add those 2 values to outBuf and start the encoding from there.

    BenchmarkUtils::VectorInStream inStream = { &BenchmarkUtils::VectorInStream_Read, &inBuf, 0 };
    BenchmarkUtils::VectorOutStream outStream = { &BenchmarkUtils::VectorOutStream_Write, &outBuf };

    res = Lzma2Enc_Encode(enc,
                          (ISeqOutStream*)&outStream,
                          (ISeqInStream*)&inStream,
                          0);

    std::cout << "Compress time is: " << GetTickCount() - tickCountBeforeCompression << " milliseconds.\n";

    assert(res == SZ_OK);

    Lzma2Enc_Destroy(enc);

    std::cout << "Compressed size is: " << outBuf.size() << std::endl;
}

void Lzma2Benchmark::unCompressChunk(std::vector<unsigned char> &outBuf, const std::vector<unsigned char> &inBuf)
{
    DWORD tickCountBeforeUncompression = GetTickCount();

    CLzma2Dec dec;
    Lzma2Dec_Construct(&dec);

    //! \todo Heere the property size and the uncompressed size need to be extracted from inBuf, which is the compressed data.

    // The second parameter is a temporary workaround.
    SRes res = Lzma2Dec_Allocate(&dec, m_propByte/*8*/, &m_szAllocForLzma);
    assert(res == SZ_OK);

    Lzma2Dec_Init(&dec);

    outBuf.resize(m_uncompressedSize);
    unsigned outPos = 0, inPos = LZMA_PROPS_SIZE;
    ELzmaStatus status;
    const unsigned BUF_SIZE = 10240;

    while(outPos < outBuf.size())
    {
        SizeT destLen = std::min(BUF_SIZE, outBuf.size() - outPos);
        SizeT srcLen  = std::min(BUF_SIZE, inBuf.size() - inPos);
        SizeT srcLenOld = srcLen, destLenOld = destLen;

        res = Lzma2Dec_DecodeToBuf(&dec,
                                   &outBuf[outPos],
                                   &destLen,
                                   &inBuf[inPos],
                                   &srcLen,
                                   (outPos + destLen == outBuf.size()) ? LZMA_FINISH_END : LZMA_FINISH_ANY,
                                   &status);

        assert(res == SZ_OK);
        inPos += srcLen;
        outPos += destLen;

        if(status == LZMA_STATUS_FINISHED_WITH_MARK)
        {
            break;
        }
    }

    Lzma2Dec_Free(&dec, &m_szAllocForLzma);

    outBuf.resize(outPos);

    std::cout << "Uncompress time is: " << GetTickCount() - tickCountBeforeUncompression << " milliseconds.\n";
}

关于C++ LZMA SDK : Uncompress function for LZMA2 compressed file,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21289985/

有关C++ LZMA SDK : Uncompress function for LZMA2 compressed file的更多相关文章

  1. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  2. ruby - 使用 `+=` 和 `send` 方法 - 2

    如何将send与+=一起使用?a=20;a.send"+=",10undefinedmethod`+='for20:Fixnuma=20;a+=10=>30 最佳答案 恐怕你不能。+=不是方法,而是语法糖。参见http://www.ruby-doc.org/docs/ProgrammingRuby/html/tut_expressions.html它说Incommonwithmanyotherlanguages,Rubyhasasyntacticshortcut:a=a+2maybewrittenasa+=2.你能做的最好的事情是:

  3. ruby - 如何计算 Liquid 中的变量 +1 - 2

    我对如何计算通过{%assignvar=0%}赋值的变量加一完全感到困惑。这应该是最简单的任务。到目前为止,这是我尝试过的:{%assignamount=0%}{%forvariantinproduct.variants%}{%assignamount=amount+1%}{%endfor%}Amount:{{amount}}结果总是0。也许我忽略了一些明显的东西。也许有更好的方法。我想要存档的只是获取运行的迭代次数。 最佳答案 因为{{incrementamount}}将输出您的变量值并且不会影响{%assign%}定义的变量,我

  4. arrays - Ruby 数组 += vs 推送 - 2

    我有一个数组数组,想将元素附加到子数组。+=做我想做的,但我想了解为什么push不做。我期望的行为(并与+=一起工作):b=Array.new(3,[])b[0]+=["apple"]b[1]+=["orange"]b[2]+=["frog"]b=>[["苹果"],["橙子"],["Frog"]]通过推送,我将推送的元素附加到每个子数组(为什么?):a=Array.new(3,[])a[0].push("apple")a[1].push("orange")a[2].push("frog")a=>[[“苹果”、“橙子”、“Frog”]、[“苹果”、“橙子”、“Frog”]、[“苹果”、“

  5. += 的 Ruby 方法 - 2

    有没有办法让Ruby能够做这样的事情?classPlane@moved=0@x=0defx+=(v)#thisiserror@x+=v@moved+=1enddefto_s"moved#{@moved}times,currentxis#{@x}"endendplane=Plane.newplane.x+=5plane.x+=10putsplane.to_s#moved2times,currentxis15 最佳答案 您不能在Ruby中覆盖复合赋值运算符。任务在内部处理。您应该覆盖+,而不是+=。plane.a+=b与plane.a=

  6. ruby - Sinatra + Heroku + Datamapper 使用 dm-sqlite-adapter 部署问题 - 2

    出于某种原因,heroku尝试要求dm-sqlite-adapter,即使它应该在这里使用Postgres。请注意,这发生在我打开任何URL时-而不是在gitpush本身期间。我构建了一个默认的Facebook应用程序。gem文件:source:gemcuttergem"foreman"gem"sinatra"gem"mogli"gem"json"gem"httparty"gem"thin"gem"data_mapper"gem"heroku"group:productiondogem"pg"gem"dm-postgres-adapter"endgroup:development,:t

  7. ruby - Ruby 中字符串运算符 + 和 << 的区别 - 2

    我是Ruby和这个网站的新手。下面两个函数是不同的,一个在函数外修改变量,一个不修改。defm1(x)x我想确保我理解正确-当调用m1时,对str的引用被复制并传递给将其视为x的函数。运算符当调用m2时,对str的引用被复制并传递给将其视为x的函数。运算符+创建一个新字符串,赋值x=x+"4"只是将x重定向到新字符串,而原始str变量保持不变。对吧?谢谢 最佳答案 String#+::str+other_str→new_strConcatenation—ReturnsanewStringcontainingother_strconc

  8. ruby - rails 3.2.2(或 3.2.1)+ Postgresql 9.1.3 + Ubuntu 11.10 连接错误 - 2

    我正在使用PostgreSQL9.1.3(x86_64-pc-linux-gnu上的PostgreSQL9.1.3,由gcc-4.6.real(Ubuntu/Linaro4.6.1-9ubuntu3)4.6.1,64位编译)和在ubuntu11.10上运行3.2.2或3.2.1。现在,我可以使用以下命令连接PostgreSQLsupostgres输入密码我可以看到postgres=#我将以下详细信息放在我的config/database.yml中并执行“railsdb”,它工作正常。开发:adapter:postgresqlencoding:utf8reconnect:falsedat

  9. ruby - 在 Ruby + Chef 中检查现有目录失败 - 2

    这是我在ChefRecipe中的一blockRuby:#ifdatadirdoesn'texist,moveoverthedefaultoneif!File.exist?("/vol/postgres/data")execute"mv/var/lib/postgresql/9.1/main/vol/postgres/data"end结果是:Executingmv/var/lib/postgresql/9.1/main/vol/postgres/datamv:inter-devicemovefailed:`/var/lib/postgresql/9.1/main'to`/vol/post

  10. ruby-on-rails - 使用 Pow 作为服务器在 RubyMine 中调试 - Ruby 2.1.1 + Rails 4 - 2

    我已经开始使用RubyMine6。我正在处理Rails4、Ruby2.1.1项目。我无法找到如何使用Pow作为服务器调试到RubyMine。你能给我指明正确的方向吗? 最佳答案 我能够使用远程调试从RubyMine进行调试。我正在使用RubyMine6、Rails3、Ruby2.1.1。首先创建一个.powenv文件并添加:exportRUBY_DEBUG_PORT=1234exportPOW_WORKERS=1将以下gem添加到您的Gemfile:gem'ruby-debug-ide'gem'debase'创建一个新的初始化器st

随机推荐