RK3588 RGA 图像操作

基层搬砖的Panda 2024-06-16 原文

背景

公司业务需要用到RK3588 的RGA进行图像处理加速，网上搜了下，这方面的资料很少，在此记录下自己从熟悉文档到应用的整个过程，给有相关需求的小伙伴做个参考。

一、什么是RGA

RGA (Raster Graphic Acceleration Unit)是一个独立的2D硬件加速器，可用于加速点/线绘制，执行图像缩放、旋转、格式转换等常见的2D图形操作。

二、RK3588 RGA及代码示例

2.1 从git拉取官方文档及sample示例

git clone https://github.com/airockchip/librga
cd librga

其中 include 是相关头文件，libs是运行库，samples是代码示例。注意：官方demo是有默认的验证源文件，开始前先看下图对应的md文件。

2.2 图像缩放或者放大

本示例代码是在官方resize_demo的基础上进行改动、验证。说明：因为是Debian系统，安装opencv会报错，缺少libjasper库。网上搜了下比较麻烦，本人使用的先在Ubuntu先编译好的opencv库。

代码功能：使用opencv读取本地 1.jpg 图片，调用RGA resize接口进行图片缩小和放大，再使用opencv保存为新的文件。BIG宏定义是用来执行控制放大还缩操作。

#include <iostream>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "im2d_version.h"
#include "im2d_type.h"
#include "im2d_single.h"
#include "im2d_common.h"
#include "im2d_buffer.h"
#include "RgaUtils.h"
#include "src/utils/utils.h"
#include "./opencv2/core/core.hpp"
#include "./opencv2/highgui/highgui.hpp"

using namespace std;
using namespace cv;

#define BIG

#ifdef BIG
#define RESIZE_WIDTH  1920
#define RESIZE_HEIGHT 1080
#define SCALE_NAME "./scale_1920_1080.jpg"
#else
#define RESIZE_WIDTH  640
#define RESIZE_HEIGHT 480
#define SCALE_NAME "./zoom_640_480.jpg"
#endif

int main(int argc, char **argv)
{
    clock_t t1, t2;
    t1 = clock();
    int ret = 0;
    int src_width, src_height, src_format;
    int dst_width, dst_height, dst_format;
    char *src_buf, *dst_buf;
    int src_buf_size, dst_buf_size;

    rga_buffer_t src_img, dst_img;
    rga_buffer_handle_t src_handle, dst_handle;

    memset(&src_img, 0, sizeof(src_img));
    memset(&dst_img, 0, sizeof(dst_img));

    Mat image, res;
	image = imread("./1.jpg");
	if (image.data == nullptr)                     
	{
		cout << "图片文件不存在" << endl;
	}

    cout << "图像宽为：" << image.cols << "\t高度为：" << image.rows << "\t通道数为：" << image.channels() << endl;
    src_width = image.cols;
    src_height = image.rows;
    src_format = RK_FORMAT_BGR_888;

    // src_format = RK_FORMAT_RGBA_8888; // RK_FORMAT_YCbCr_420_SP

    dst_width = RESIZE_WIDTH;
    dst_height = RESIZE_HEIGHT;
    dst_format = RK_FORMAT_BGR_888;


    src_buf_size = src_width * src_height * get_bpp_from_format(src_format);
    dst_buf_size = dst_width * dst_height * get_bpp_from_format(dst_format);
    cout << " src format: " << get_bpp_from_format(src_format) << endl;
    cout << " dst format: " << get_bpp_from_format(dst_format) << endl;

    src_buf = (char *)malloc(src_buf_size);
    dst_buf = (char *)malloc(dst_buf_size);


    memcpy(src_buf, image.data, src_width * src_height * get_bpp_from_format(src_format));

    memset(dst_buf, 0x80, dst_buf_size);

    src_handle = importbuffer_virtualaddr(src_buf, src_buf_size);
    dst_handle = importbuffer_virtualaddr(dst_buf, dst_buf_size);
    if (src_handle == 0 || dst_handle == 0) {
        printf("importbuffer failed!\n");
        // goto release_buffer;
        return -1;
    }

    src_img = wrapbuffer_handle(src_handle, src_width, src_height, src_format);
    dst_img = wrapbuffer_handle(dst_handle, dst_width, dst_height, dst_format);


    ret = imcheck(src_img, dst_img, {}, {});
    if (IM_STATUS_NOERROR != ret) {
        printf("%d, check error! %s", __LINE__, imStrError((IM_STATUS)ret));
        return -1;
    }
    printf("%d, check success \n", __LINE__);


    ret = imresize(src_img, dst_img);
    if (ret == IM_STATUS_SUCCESS) {
        printf("imresize running success!\n");
    } else {
        printf("running failed, %s\n", imStrError((IM_STATUS)ret));
        // goto release_buffer;
        return -1;
    }
    t2 = clock();

    double time_use = (double)(t2 - t1) / CLOCKS_PER_SEC; // 微秒
    printf("vptdt_init  time_use is [%f] s\n", time_use);
    
    res.create(RESIZE_HEIGHT, RESIZE_WIDTH, CV_8UC3);
    memcpy(res.data, dst_buf, RESIZE_HEIGHT*RESIZE_WIDTH*3);

    cv::imwrite(SCALE_NAME, res);
    printf("save picture: [ %s ] success\n", SCALE_NAME);


release_buffer:
    if (src_handle)
        releasebuffer_handle(src_handle);
    if (dst_handle)
        releasebuffer_handle(dst_handle);

    if (src_buf)
        free(src_buf);
    if (dst_buf)
        free(dst_buf);
    return ret;

    return 0;
}

2.2 图像格式转换

本示例代码是在官方cvtcolor_demo的基础上进行改动、验证。

代码功能：

打开宏定义BGR2NV12 ，使用opencv读取本地1.jpg图片，调用RGA imcvtcolor 接口实现BGR到YUV的转换；
关闭宏定义BGR2NV12，读取YUV文件，调用RGA imcvtcolor 接口实现YUV到BGR的转换；

#include <iostream>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "im2d_version.h"
#include "im2d_type.h"
#include "im2d_single.h"
#include "im2d_common.h"
#include "im2d_buffer.h"
#include "RgaUtils.h"
#include "src/utils/utils.h"
#include "./opencv2/core/core.hpp"
#include "./opencv2/highgui/highgui.hpp"

#include "./opencv4/opencv2/opencv.hpp"
using namespace std;
using namespace cv;

#define TRANSFER_FILE "./transfer.YUV"
#define RGA_WRITE_FILE "./rga_res.jpg"
#define OPENCV_WRITE_FILE "./opecv_res.jpg"
#define BGR2NV12
// #define OPENCV_TRANSFER
int main(int argc, char **argv)
{

    int ret = 0;
    int src_width, src_height, src_format;
    int dst_width, dst_height, dst_format;
    char *src_buf, *dst_buf;
    int src_buf_size, dst_buf_size;

    rga_buffer_t src_img, dst_img;
    rga_buffer_handle_t src_handle, dst_handle;

    memset(&src_img, 0, sizeof(src_img));
    memset(&dst_img, 0, sizeof(dst_img));

#ifdef BGR2NV12
    clock_t t1, t2;
    t1 = clock();
    Mat image, res;
    image = imread("./1.jpg");
    if (image.data == nullptr)
    {
        cout << "图片文件不存在" << endl;
    }

    cout << "图像宽为：" << image.cols << "\t高度为：" << image.rows << "\t通道数为：" << image.channels() << endl;
    src_width = image.cols;
    src_height = image.rows;
    src_format = RK_FORMAT_BGR_888;

    dst_width = image.cols;
    dst_height = image.rows;
    dst_format = RK_FORMAT_YCbCr_420_SP; // NV12
    cout << " src format: " << get_bpp_from_format(src_format) << endl;
    cout << " dst format: " << get_bpp_from_format(dst_format) << endl;

    src_buf_size = src_width * src_height * get_bpp_from_format(src_format);
    dst_buf_size = dst_width * dst_height * get_bpp_from_format(dst_format);

    src_buf = (char *)malloc(src_buf_size);
    dst_buf = (char *)malloc(dst_buf_size);

    memcpy(src_buf, image.data, src_width * src_height * get_bpp_from_format(src_format));

    memset(dst_buf, 0x80, dst_buf_size);

    src_handle = importbuffer_virtualaddr(src_buf, src_buf_size);
    dst_handle = importbuffer_virtualaddr(dst_buf, dst_buf_size);
    if (src_handle == 0 || dst_handle == 0)
    {
        printf("importbuffer failed!\n");
        if (src_handle)
            releasebuffer_handle(src_handle);
        if (dst_handle)
            releasebuffer_handle(dst_handle);

        if (src_buf)
            free(src_buf);
        if (dst_buf)
            free(dst_buf);
        return ret;
    }

    src_img = wrapbuffer_handle(src_handle, src_width, src_height, src_format);
    dst_img = wrapbuffer_handle(dst_handle, dst_width, dst_height, dst_format);

    ret = imcheck(src_img, dst_img, {}, {});
    if (IM_STATUS_NOERROR != ret)
    {
        printf("%d, check error! %s", __LINE__, imStrError((IM_STATUS)ret));
        return -1;
    }

    // ret = imcvtcolor(src_img, dst_img, src_format, dst_format, IM_RGB_TO_YUV_BT709_LIMIT);
    ret = imcvtcolor(src_img, dst_img, src_format, dst_format, IM_RGB_TO_YUV_BT709_LIMIT);
    if (ret == IM_STATUS_SUCCESS)
    {
        printf("imcvtcolor running success!\n");
    }
    else
    {
        printf("imcvtcolo rrunning failed, %s\n", imStrError((IM_STATUS)ret));
        if (src_handle)
            releasebuffer_handle(src_handle);
        if (dst_handle)
            releasebuffer_handle(dst_handle);

        if (src_buf)
            free(src_buf);
        if (dst_buf)
            free(dst_buf);
        return ret;
    }
    t2 = clock();
    double time_use = (double)(t2 - t1) / CLOCKS_PER_SEC; // 微秒
    printf("imcvtcolo to YUV time_use is [%f] s\n", time_use);
    FILE *file = fopen(TRANSFER_FILE, "wb+");
    if (!file)
    {
        fprintf(stderr, "Could not open %s\n", TRANSFER_FILE);
        return false;
    }
    else
    {
        fprintf(stderr, "open %s and write ok\n", TRANSFER_FILE);
    }
    fwrite(dst_buf, image.cols * image.rows * get_bpp_from_format(dst_format), 1, file);
    fclose(file);

#else
    src_width = 1920;
    src_height = 1080;
    src_format = RK_FORMAT_YCbCr_420_SP; // NV12
#ifdef OPENCV_TRANSFER

    cout << " src format: " << get_bpp_from_format(src_format) << endl;
    src_buf_size = src_width * src_height * get_bpp_from_format(src_format);

    src_buf = (char *)malloc(src_buf_size);
    FILE *file = fopen(TRANSFER_FILE, "rb");
    if (!file)
    {
        fprintf(stderr, "Could not open %s\n", TRANSFER_FILE);
        return -EINVAL;
    }
    fread(src_buf, src_width * src_height * get_bpp_from_format(src_format), 1, file);
    fclose(file);

    cv::Mat yuvNV12, rgb24;
    yuvNV12.create(src_height * 3 / 2, src_width, CV_8UC1);
    memcpy(yuvNV12.data, src_buf, src_width*src_height * 3 / 2);
    // trans to rgb24
    cv::cvtColor(yuvNV12, rgb24, cv::COLOR_YUV2BGR_NV12);

    cv::imwrite(OPENCV_WRITE_FILE, rgb24);
    printf("[OPENCV] save picture: [ %s ] success\n", OPENCV_WRITE_FILE);
    free(src_buf);
    src_buf = NULL;
#else
    clock_t t1, t2;
    t1 = clock();
    dst_width = 1920;
    dst_height = 1080;
    dst_format = RK_FORMAT_BGR_888;

    cout << "src format: " << get_bpp_from_format(src_format) << endl;
    cout << "dst format: " << get_bpp_from_format(dst_format) << endl;

    src_buf_size = src_width * src_height * get_bpp_from_format(src_format);
    dst_buf_size = dst_width * dst_height * get_bpp_from_format(dst_format);

    src_buf = (char *)malloc(src_buf_size);
    dst_buf = (char *)malloc(dst_buf_size);

    FILE *file = fopen(TRANSFER_FILE, "rb");
    if (!file)
    {
        fprintf(stderr, "Could not open %s\n", TRANSFER_FILE);
        return -EINVAL;
    }
    fread(src_buf, src_width * src_height * get_bpp_from_format(src_format), 1, file);
    fclose(file);
    printf("read src file success!\n");
    memset(dst_buf, 0x80, dst_buf_size);

    src_handle = importbuffer_virtualaddr(src_buf, src_buf_size);
    dst_handle = importbuffer_virtualaddr(dst_buf, dst_buf_size);
    if (src_handle == 0 || dst_handle == 0)
    {
        printf("importbuffer failed!\n");
        if (src_handle)
            releasebuffer_handle(src_handle);
        if (dst_handle)
            releasebuffer_handle(dst_handle);

        if (src_buf)
            free(src_buf);
        if (dst_buf)
            free(dst_buf);
        return ret;
    }

    src_img = wrapbuffer_handle(src_handle, src_width, src_height, src_format);
    dst_img = wrapbuffer_handle(dst_handle, dst_width, dst_height, dst_format);

    ret = imcheck(src_img, dst_img, {}, {});
    if (IM_STATUS_NOERROR != ret)
    {
        printf("%d, check error! %s", __LINE__, imStrError((IM_STATUS)ret));
        return -1;
    }

    ret = imcvtcolor(src_img, dst_img, src_format, dst_format, IM_YUV_TO_RGB_BT709_LIMIT);
    if (ret == IM_STATUS_SUCCESS)
    {
        printf("imcvtcolor running success!\n");
    }
    else
    {
        printf("imcvtcolo rrunning failed, %s\n", imStrError((IM_STATUS)ret));
        if (src_handle)
            releasebuffer_handle(src_handle);
        if (dst_handle)
            releasebuffer_handle(dst_handle);

        if (src_buf)
            free(src_buf);
        if (dst_buf)
            free(dst_buf);
        return ret;
    }
    t2 = clock();
    double time_use = (double)(t2 - t1) / CLOCKS_PER_SEC; // 微秒
    printf("imcvtcolo YUV to BGR time_use is [%f] s\n", time_use);
    Mat rgb24;
    rgb24.create(src_height, src_width, CV_8UC3);
    memcpy(rgb24.data, dst_buf, dst_width*dst_height*3);
    cv::imwrite(RGA_WRITE_FILE, rgb24);
    printf("[RGA] save picture: [ %s ] success\n", RGA_WRITE_FILE);
#endif // OPENCV_TRANSFER


#endif
    return 0;
}

有关RK3588 RGA 图像操作的更多相关文章

ruby-on-rails - 添加回形针新样式不影响旧上传的图像 - 2
我有带有Logo图像的公司模型has_attached_file:logo我用他们的Logo创建了许多公司。现在，我需要添加新样式has_attached_file:logo,:styles=>{:small=>"30x15>",:medium=>"155x85>"}我是否应该重新上传所有旧数据以重新生成新样式？我不这么认为……或者有什么rake任务可以重新生成样式吗？最佳答案参见Thumbnail-Generation.如果rake任务不适合你，你应该能够在控制台中使用一个片段来调用重新处理!关于相关公司
ruby-on-rails - 在 Ruby (on Rails) 中使用 imgur API 获取图像 - 2
我正在尝试使用Ruby2.0.0和Rails4.0.0提供的API从imgur中提取图像。我已尝试按照Ruby2.0.0文档中列出的各种方式构建http请求，但均无济于事。代码如下:require'net/http'require'net/https'defimgurheaders={"Authorization"=>"Client-ID"+my_client_id}path="/3/gallery/image/#{img_id}.json"uri=URI("https://api.imgur.com"+path)request,data=Net::HTTP::Get.new(path
python ffmpeg 使用 pyav 转换一组图像到视频 - 2
2022/8/4更新支持加入水印水印必须包含透明图像，并且水印图像大小要等于原图像的大小pythonconvert_image_to_video.py-f30-mwatermark.pngim_dirout.mkv2022/6/21更新让命令行参数更加易用新的命令行使用方法pythonconvert_image_to_video.py-f30im_dirout.mkvFFMPEG命令行转换一组JPG图像到视频时，是将这组图像视为MJPG流。我需要转换一组PNG图像到视频，FFMPEG就不认了。pyav内置了ffmpeg库，不需要系统带有ffmpeg工具因此我使用ffmpeg的python包装p
ruby - 如何使用 Selenium Webdriver 根据 div 的内容执行操作？ - 2
我有一个使用SeleniumWebdriver和Nokogiri的Ruby应用程序。我想选择一个类，然后对于那个类对应的每个div，我想根据div的内容执行一个Action。例如，我正在解析以下页面:https://www.google.com/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=puppies这是一个搜索结果页面，我正在寻找描述中包含“Adoption”一词的第一个结果。因此机器人应该寻找带有className:"result"的div，对于每个检查它的.descriptiondiv是否包含单词“adoption
ruby-on-rails - 如何处理 Grape 中特定操作的过滤器之前？ - 2
我正在我的Rails项目中安装Grape以构建RESTfulAPI。现在一些端点的操作需要身份验证，而另一些则不需要身份验证。例如，我有users端点，看起来像这样:moduleBackendmoduleV1classUsers现在如您所见，除了password/forget之外的所有操作都需要用户登录/验证。创建一个新的端点也没有意义，比如passwords并且只是删除password/forget从逻辑上讲，这个端点应该与用户资源。问题是Grapebefore过滤器没有像except,only这样的选项，我可以在其中说对某些操作应用过滤器。您通常如何干净利落地处理这种情况？
ruby-on-rails - 在 Ruby on Rails 中发送响应之前如何等待多个异步操作完成？ - 2
在我做的一些网络开发中，我有多个操作开始，比如对外部API的GET请求，我希望它们同时开始，因为一个不依赖另一个的结果。我希望事情能够在后台运行。我找到了concurrent-rubylibrary这似乎运作良好。通过将其混合到您创建的类中，该类的方法具有在后台线程上运行的异步版本。这导致我编写如下代码，其中FirstAsyncWorker和SecondAsyncWorker是我编写的类，我在其中混合了Concurrent::Async模块，并编写了一个名为“work”的方法来发送HTTP请求:defindexop1_result=FirstAsyncWorker.new.async.
ruby - 是否有将图像文件转换为 ASCII 艺术的命令行程序或库？ - 2
有这样的事吗？我想在Ruby程序中使用它。最佳答案试试这个http://csl.sublevel3.org/jp2a/此外，Imagemagick可能还有一些东西关于ruby-是否有将图像文件转换为ASCII艺术的命令行程序或库？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/6510445/
ruby-on-rails - 使用 Dragonfly 从 URL 分配图像 - 2
我正在使用Dragonfly在Rails3.1应用程序上处理图像。我正在努力通过url将图像分配给模型。我有一个很好的表格:{:multipart=>true}do|f|%>RemovePicture?Dragonfly的文档指出:Dragonfly提供了一个直接从url分配的访问器:@album.cover_image_url='http://some.url/file.jpg'但是当我在控制台中尝试时:=>#ruby-1.9.2-p290>picture.image_url="http://i.imgur.com/QQiMz.jpg"=>"http://i.imgur.com/QQ
Ruby-vips 图像处理库。有什么好的使用示例吗？ - 2
我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道，是否可以在某处找到执行以下简单操作的ruby代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby-vips的github页面上的链接，我们将不胜感激!如果有ruby-
ruby - 在 Ruby 中是否有一种惯用的方法来操作 2 个数组？ - 2
a=[3,4,7,8,3]b=[5,3,6,8,3]假设数组长度相同，是否有办法使用each或其他一些惯用方法从两个数组的每个元素中获取结果？不使用计数器？例如获取每个元素的乘积:[15,12,42,64,9](0..a.count-1).eachdo|i|太丑了...ruby1.9.3 最佳答案使用Array.zip怎么样？:>>a=[3,4,7,8,3]=>[3,4,7,8,3]>>b=[5,3,6,8,3]=>[5,3,6,8,3]>>c=[]=>[]>>a.zip(b)do|i,j|c[[3,5],[4,3],[7,6],