我在使用 Android 模拟器和 OpenCV CameraBridgeViewBase 时遇到了一个奇怪的问题。

使用 onCameraFrame 我得到一张看起来没有正确解码的图片。

public Mat onCameraFrame(CvCameraViewFrame inputFrame) {
    return inputFrame.rgba();
}

使用“inputFrame.gray()”我得到了预期的效果 - 黑白图像没有伪影或任何其他问题。

这就是我得到的:

One more picture (a bigger one)

到目前为止我已经尝试过:

1. 不同的 API 级别(从 15 到 21)。
2. 不同的模拟器:Genymotion 和 Google Android 模拟器。
3. 不同的平台架构 - ARM 和 Intel x86。
4. 在装有 Linux 的不同笔记本电脑上启动模拟器:它正常工作如预期，问题已解决!
5. 使用 OpenCV 启动从 Play 商店下载的应用。他们确实有效! 但是:
   1. 启动按预期运行的应用，然后将其关闭。
   2. 启动您的应用(或 OpenCV 教程之一)，然后将其关闭。
   3. 再次从 5.1 启动应用程序，我发现它受到了相同错误的影响!
6. 不同的 OpenCV 版本(2.4.9 和 2.4.10)。
7. 不同版本的 OpenCV 管理器(一个来自 Play 商店，2.4.9 和 2.4.10 来自 OpenCV 包)。
8. 最后，正如我在 5.2 中注意到的那样，来自 OpenCV 包的预编译教程 .apk 文件也受到该问题的影响。

在我的真实 Android 设备上，一切都按预期运行。

在查看了 CameraBridgeViewBase 和 Java/Native 相机类的源代码后，我决定在解码图像时出现问题。可能平台特定的相机输出格式(YUV、NV21)存在问题。然而，奇怪的是 .gray() 给出了正确的图像(没有伪影)。

如果需要的话，我使用的是 Mac OS X 10.10 Yosemite 和配备“Facetime HD”摄像头的 MacBook Air。

非常感谢任何关于如何克服这个问题并帮助找到问题根源的想法!

最佳答案

因此，在深入研究问题后，我找到了问题的根源。

让我们看一下 OpenCV JavaCameraView 类及其 CameraBridgeViewBase 基类。 问题是在 onPreviewFrame 方法中作为 byte[] 数组接收的相机帧被错误解码。

发生解码过程的代码的确切位置是 JavaCameraViewJavaCameraFrame 类中 Mat rgba() 方法的实现:

    public Mat rgba() {
        Imgproc.cvtColor(mYuvFrameData, mRgba, Imgproc.COLOR_YUV2RGBA_NV21, 4);
        return mRgba;
    }

如我们所见，使用 Imgproc.cvtColor(...) 方法将帧从 YUV 转换为 RGBA。 NV21 YUV -> RGBA 转换在那里进行。在初始化过程中我们将格式设置为NV21，所以这应该是正确的。此外，every Android device should support NV21 .此外，我们可以使用调试器检查设备是否接受了格式:

protected boolean initializeCamera(int width, int height) {
    ...
    params.setPreviewFormat(ImageFormat.NV21);
    ...
    mCamera.setParameters(params);
    ...
    params = mCamera.getParameters();
    Log.d(TAG, String.format("Actual preview format is 0x%X", params.getPreviewFormat()));
}

据报道，手机 (HTC Sensation) 和模拟器确实在使用 NV21。

但是，如果我们将 COLOR_YUV2RGBA_NV21 更改为 COLOR_YUV2RGB_I420(YV12 和 I420 是同一回事，只是 Y 和 V 颠倒了；)我们会看到模拟器会得到一个合适的色彩空间终于。在 params.setPreviewFormat(ImageFormat.NV21); 中将 NV21 更改为 YV12，我们会得到类似的结果。看起来 Imgproc.cvtColor 或 Android 中存在错误。

解决方案来了。 按以下方式更改 public Mat rgba():

    public Mat rgba() {
        if (previewFormat == ImageFormat.NV21) {
            Imgproc.cvtColor(mYuvFrameData, mRgba, Imgproc.COLOR_YUV2RGBA_NV21, 4);
        }
        else if (previewFormat == ImageFormat.YV12) {
            Imgproc.cvtColor(mYuvFrameData, mRgba, Imgproc.COLOR_YUV2RGB_I420, 4);  // COLOR_YUV2RGBA_YV12 produces inverted colors
        }
        return mRgba;
    }

previewFormat 是一个新的 int 变量，它是这样声明的:

private int previewFormat = ImageFormat.NV21;

在初始化中添加以下更改:

protected boolean initializeCamera(int width, int height) {
        ...
                params.setPreviewFormat(ImageFormat.NV21);
                // "generic" = android emulator
                if (Build.BRAND.equalsIgnoreCase("generic")) {
                    params.setPreviewFormat(ImageFormat.YV12);
                }
                ...
                mCamera.setParameters(params);
                params = mCamera.getParameters();
                previewFormat = params.getPreviewFormat();
        ...
}

重要:
请注意:这只是一个临时解决方案，目的是使 OpenCV 在我的情况下可与模拟器一起使用。应该做进一步的研究。在 onPreviewFrame 中检查设备是否使用了正确的图像格式非常容易。我会在有时间的时候回到这个问题上。

关于java - OpenCV Android - 使用 CameraBridgeViewBase 的颜色问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27083097/