我正在开发一个抓取图像并将其发送到 PC 客户端进行显示的 Android 应用程序，Android 应用程序和 PC 应用程序都使用 Opencv。我要发送的图像是彩色图像(以 rbga 格式抓取)。

首先，我使用以下方法在 Java 应用程序中抓取图像:

InputImage = inputFrame.rgba();

接下来我使用 Mat 图像变量并使用以下 native (使用 JNI)函数将输入图像转换为字节数组:

    JNIEXPORT jbyteArray JNICALL Java_com_example_communicationmoduleTCPIP_communicationmoduleTCPIP_ConvertImageToByteArray(
        JNIEnv* Env, jobject,
        jlong addrInputImage){

    Mat& OutputImg = *(Mat*) addrInputImage;
    jbyteArray Array;

    //__android_log_write(ANDROID_LOG_ERROR, "Tag", "==== 1 ");

    // Init  java byte array
    Array = Env->NewByteArray(1536000);

    //__android_log_write(ANDROID_LOG_ERROR, "Tag", "==== 2 ");

    // Set byte array region with the size of the SendData CommStruct.
    // Now we can send the data back.
    Env->SetByteArrayRegion(Array, 0, 1536000, (jbyte*)OutputImg.data);

    //__android_log_write(ANDROID_LOG_ERROR, "Tag", "==== 3 ");

        return Array;
}

接下来是使用以下函数通过 TCP 结束字节数组(包含图像数据):

    // Send buffer, the method can be used by both client and server objects.
    public void SendByteBuffer(byte[] ByteBuffer){
    
    try {                         
        // Get socket output stream
        OutputStream OutputBuffer = ClientSocket.getOutputStream();
        
        //Write byte data to outputstream
        OutputBuffer.write(ByteBuffer);  
        
    } 
    catch (IOException e) {
        Log.e("TCPIPCommunicator: ", "Client: Failed to send", e);
        e.printStackTrace();
    }  
}

在 PC 端(在 C++ 中)我接收带有 boost lib 接收函数的缓冲区:

int CommunicationModuleTCPIPServer::RecieveBuffer(char Buffer[], int Size){

boost::asio::read(ServerSocket, boost::asio::buffer(TempBuffer, 1536000));
//boost::asio::read(ServerSocket, boost::asio::buffer((char*)InputImage, Size));
//cout <<"Temp buffer: " << TempBuffer << endl;


 int ptr=0;
 for (int i = 0;  i < InputImage.rows; i++) {
  for (int j = 0; j < InputImage.cols; j++) {
      InputImage.at<cv::Vec4b>(i,j) = cv::Vec4b(TempBuffer[ptr+ 0],TempBuffer[ptr+1],TempBuffer[ptr+2],TempBuffer[ptr+3]);
   ptr=ptr+3;
   }
  }

return COMMSUCCES;

然后我用opencv的imshow函数显示变量。问题是我没有在 pc 端的窗口中获取图像。我认为转换在某处出错了，但我看不到哪里。有人有想法吗？欢迎所有建议和反馈!

更新

我目前的代码如下:

在 PC 服务器端，我运行一个小程序来接收图像并尝试使用 imshow 显示它，它调用 RecieveImageBuffer 函数。在主函数下面。

int ImgReciever(){

    cout << "Setting up monitor server with ip: 192.168.2.11:5000" << endl;
    CommunicationModuleTCPIPServer TICM("192.168.2.11", 5000);
    //CommunicationModuleTCPIPServer TICM("192.168.1.103", 5000);

    VisionModule VM;

    TICM.RunServer();

    char ACK[10];

    ACK[0] = '@';

    while(1){
        cout << "Recieving data...." << endl;
        TICM.RecieveImageBuffer(TICM.TempBuffer, 384000);

        cout << "Data recieved, going to display image" << endl;

        imshow("Testwindow", TICM.InputImage);

        Sleep(1000);

        TICM.SendBuffer(ACK, 1);

    }

    return 0;
}

RecieveImageBuffer 函数(尝试切换行和列的形式，但随后程序崩溃)。读取函数总是在一次读取中接收 34800 个字节。并且 Tempbuffer 声明为:

uchar TempBuffer[384000]

int CommunicationModuleTCPIPServer::RecieveImageBuffer(uchar Buffer[], int Size){

    Mat Temp;
    int bytecount = 0;
    int bytecountTotal = 0;


    while(bytecountTotal < Size){
        bytecount = boost::asio::read(ServerSocket, boost::asio::buffer(Buffer, Size));
        cout << "Recieved chunck size: " << bytecount << endl;
        bytecountTotal = bytecountTotal + bytecount;
        bytecount = 0;

    }

    cout << "Recieved in total: " + bytecountTotal << endl;

     int ptr=0;
        for (int i = 0;  i < InputImage.rows; i++) {
            for (int j = 0; j < InputImage.cols; j++) {
          //InputImage.at<cv::Vec4b>(i,j) = cv::Vec4b(TempBuffer[ptr+ 0],TempBuffer[ptr+1],TempBuffer[ptr+2],TempBuffer[ptr+3]);
       //ptr=ptr+3;
          ptr++;
          InputImage.at<uchar>(i,j) = TempBuffer[ptr];

       }
      }

     return COMMSUCCES;
}

在 Android 端我发送图像，首先我抓取并转换灰度图像，缓冲区大小与 pc 缓冲区的大小匹配。

    OutputImage = inputFrame.gray();
long Size = (OutputImage.total() * OutputImage.channels());
      CMTCP.bufferByte = new byte[(int) Size];
            
CMTCP.bufferByte = ConvertMatToByteArray(OutputImage.getNativeObjAddr(), Size);

ConvertMatToByteArray 函数如下所示:

JNIEXPORT jbyteArray JNICALL Java_com_example_opencv1_MainActivity_ConvertMatToByteArray(
    JNIEnv* Env, jobject, jlong addrInputImage, jlong Size){

Mat& OutputImg = *(Mat*) addrInputImage;
jbyteArray Array;

// Init  java byte array
Array = Env->NewByteArray(Size);


// Set byte array region with the size of the SendData CommStruct.
// Now we can send the data back.
Env->SetByteArrayRegion(Array, 0, Size, (jbyte*)OutputImg.data);


    return Array;

TCP 客户端在一个线程中运行，该线程发送图像缓冲区，然后收到新发送的确认。

线程函数如下所示:

while(true){
        
        
        if(SendFrame){
            //System.out.println("Converting image");
            // Convert Buffer
            //ImgDataSend = ConvertImageToByteArray(InputImage.getNativeObjAddr(), 10, 20, 30);
            //System.out.println("Image converted");
            
            
            // Send new image buffer
            System.out.println("Sending frame data");
            SendByteBuffer(bufferByte);
            SendFrame = false;
            System.out.println("Image data send");
            
            
            // Wait for ACK 
            while(NoAck){
                RecieveBuffer();
                //System.out.println("Recieved: " +RecieveString);
                
                if(RecieveString == "@"){
                    System.out.println("GOT ACK");
                    bufferByte = new byte[384000];
                    NoAck = false;
                    RecieveString = "#";
                }
            }
        }

SendByteBuffer 函数如下所示:

    // Send buffer, the method can be used by both client and server objects.
public void SendByteBuffer(byte[] ByteBuffer){

    /*
    BufferedWriter out;
    try {
        out = new BufferedWriter(new OutputStreamWriter(ClientSocket.getOutputStream()));
        out.write(bufferByte.toString()); 
        out.flush();
    } catch (IOException e1) {
        // TODO Auto-generated catch block
        e1.printStackTrace();
    } 
    
    */

    try {                         
        // Get socket output stream
        OutputStream OutputBuffer = ClientSocket.getOutputStream();
        
        //Write byte data to outputstream
        OutputBuffer.write(bufferByte);  
        //OutputBuffer.flush();
        
    } 
    catch (IOException e) {
        Log.e("TCPIPCommunicator: ", "Client: Failed to send", e);
        e.printStackTrace();
    }  
}

我收到发送和确认功能消息，但显示图像的 PC 端窗口保持灰色并且没有响应(在标题栏中说)

最佳答案

我假设您已经验证通信交换工作正常，并且平台之间没有小/大端问题，即。发送一个小字节字符串并检查其在另一端是否完好无损。

此外，检查读取是否返回所有数据 - 您可能需要调用它直到所有数据都已收到，尤其是对于大字节缓冲区。

inputFrame.rgba() 返回一个 4 channel 图像 - 我认为你需要 ptr=ptr+4;

关于java - 通过TCP将Opencv图像从Android发送到PC，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21135673/