在 Jelly Bean 中，是否可以从相机预览填充的 SurfaceTexture 中创建一个 Renderscript 分配？我正在从 Android 源代码树中构建我的应用程序，所以我可以使用 @hide API，例如 Allocation.setSurfaceTexture()。但是我想避免使用 RS Graphics 弃用的 API。类似问题here没有得到完整的回答，也不是 JB 特有的。

尝试以下代码时遇到以下问题:

• 进入 Renderscript 的数据始终为零
• 为了重复调用 onFrameAvailable 回调，我必须更新 TexImage()，因为当我调用 Allocation.ioReceive() 时，它在第一次后不再被回调，并且 logcat 中有一个“无效的 EGLDisplay” .然而我认为 ioReceive() 是可行的方法 - 它在内部也有 updateTexImage()。
• 支持的分配类型包括 RGBA8888 但不包括 NV21(这是相机预览格式)，RS 代码将如何处理这种格式的数据？

(我知道我正在使用的设备支持请求的 VGA 分辨率)。

public class SampleRSCPCActivity extends Activity implements SurfaceTexture.OnFrameAvailableListener {
final static int DO_KERNEL = 0;
private static final String TAG="SAMPLERSCP";
private static Camera mCamera;
private Camera.Parameters mParams;
private int mFrameWidth, mFrameHeight;
private static SurfaceTexture mST;
private RenderScript mRS;
private Allocation mInAllocation;
private Allocation mOutAllocation;
private ScriptC_mono mScript;

public void onCreate(Bundle savedInstanceState) {

    super.onCreate(savedInstanceState);

    Log.i(TAG, "onCreate()");
    createGUI();
    createCamera();
    createRSEnvironment();
}

public void onPause() {
    Log.i(TAG, "onPause");
    mCamera.stopPreview();
    mCamera.release();
    mCamera = null;
    super.onPause();
}

private void createCamera() {
    mCamera = Camera.open();
    mParams = mCamera.getParameters();

    mFrameWidth = 640;
    mFrameHeight = 480;
    mParams.setPreviewSize(mFrameWidth, mFrameHeight);
    mParams.setPreviewFormat(ImageFormat.NV21);

    mCamera.setParameters(mParams);
}

private void createRSEnvironment () {
    mRS = RenderScript.create(this);
    mScript = new ScriptC_mono(mRS, getResources(), R.raw.mono);

    Type.Builder b = new Type.Builder(mRS, Element.U8(mRS));

    int usage = Allocation.USAGE_SCRIPT | Allocation.USAGE_IO_INPUT;
    mInAllocation = Allocation.createTyped(mRS, b.setX(mFrameWidth).setY(mFrameHeight).create(), usage);
    mOutAllocation = Allocation.createTyped(mRS, b.setX(mFrameWidth).setY(mFrameHeight).create());

    Log.i(TAG, "Getting SurfaceTexture from input Allocation");
    mST = mInAllocation.getSurfaceTexture();

    mST.setOnFrameAvailableListener(this);

    try {
      Log.i(TAG, "Setting SurfaceTexture for camera preview");
      mCamera.setPreviewTexture(mST);

      Log.i(TAG, "Starting preview");
      mCamera.startPreview();
      } catch (IOException e) {
      Log.e(TAG, "Oops, something got wrong with setting the camera preview texture");
    }
}

private void createGUI() {
    requestWindowFeature(Window.FEATURE_NO_TITLE);
    getWindow().setFlags(WindowManager.LayoutParams.FLAG_FULLSCREEN, 
            WindowManager.LayoutParams.FLAG_FULLSCREEN);

    setContentView(R.layout.main);
}

private Handler handler = new Handler() {
    @Override
    public void handleMessage(Message msg) {
        if (msg.what == DO_KERNEL)
          Log.i(TAG, "Calling RS kernel");
          mST.updateTexImage();
          // mInAllocation.ioReceive();
          mScript.forEach_root(mInAllocation, mOutAllocation);

          Log.i(TAG, "Finishing RS");
          mRS.finish();
          Log.i(TAG, "Ok");
    }
};

public void onFrameAvailable(SurfaceTexture st) {
  Log.i(TAG, "onFrameAvailable callback");
  handler.sendEmptyMessage(DO_KERNEL);
}

RS 代码相当简单，只是尝试检测非空数据:

void root(const uchar *v_in, uchar *v_out, uint32_t x, uint32_t y) {

if (*v_in != 0)
  rsDebug("input data non null !", *v_in);
*v_out = (x / 640) * 255;

最佳答案

跟进我自己的问题:

事实证明，无法从相机填充的 SurfaceTexture 读取 NV21 缓冲区。我不得不修改 Android 源代码来对此进行试验(对于专家:获取 SurfaceTexture 的当前缓冲区，然后锁定它以获得真正的缓冲区指针 - 我在 RS 驱动程序的 rsdAllocationIoReceive() 中执行此操作)。这对于避免执行从相机到 RS 的缓冲区复制非常有用。

最新的 JB(MR1 版本)有一个名为 LivePreview 的测试应用程序，它对相机预览进行 RS 处理。但是，它使用应用程序分配的预览回调缓冲区，然后将其复制到输入分配。有趣的是，它使用新的 ScriptIntrinsicRgbToYuv 类进行颜色转换。大部分转换是手工编码的 Neon 程序集，因此大概非常快。

甚至可能是 Nexus 10(它有一个支持 Mali 的 RS 驱动程序)在 GPU 上执行此操作，我很想亲 body 验一下这个设备。 (欢迎捐赠者 ;-) !)

关于android - 使用相机预览填充的 SurfaceTexture 作为 Jelly Bean 中的 Renderscript 输入分配，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12960317/