我编写了一个简单的 Python 扩展模块来模拟 3 位模数转换器。它应该接受一个 float 组作为输入以返回相同大小的输出数组。输出实际上由量化的输入数字组成。这是我的(简化的)模块:

static PyObject *adc3(PyObject *self, PyObject *args) {
  PyArrayObject *inArray = NULL, *outArray = NULL;
  double *pinp = NULL, *pout = NULL;
  npy_intp nelem;
  int dims[1], i, j;

  /* Get arguments:  */
  if (!PyArg_ParseTuple(args, "O:adc3", &inArray))
    return NULL;

  nelem = PyArray_DIM(inArray,0); /* size of the input array */
  pout = (double *) malloc(nelem*sizeof(double));
  pinp = (double *) PyArray_DATA(inArray);

  /*   ADC action   */
  for (i = 0; i < nelem; i++) {
    if (pinp[i] >= -0.5) {
    if      (pinp[i] < 0.5)   pout[i] = 0;
    else if (pinp[i] < 1.5)   pout[i] = 1;
    else if (pinp[i] < 2.5)   pout[i] = 2;
    else if (pinp[i] < 3.5)   pout[i] = 3;
    else                      pout[i] = 4;
    }
    else {
    if      (pinp[i] >= -1.5) pout[i] = -1;
    else if (pinp[i] >= -2.5) pout[i] = -2;
    else if (pinp[i] >= -3.5) pout[i] = -3;
    else                      pout[i] = -4;
    }
  }

  dims[0] = nelem;

  outArray = (PyArrayObject *)
               PyArray_SimpleNewFromData(1, dims, NPY_DOUBLE, pout);
  //Py_INCREF(outArray);

  return PyArray_Return(outArray); 
} 

/* ==== methods table ====================== */
static PyMethodDef mwa_methods[] = {
  {"adc", adc, METH_VARARGS, "n-bit Analog-to-Digital Converter (ADC)"},
  {NULL, NULL, 0, NULL}
};

/* ==== Initialize ====================== */
PyMODINIT_FUNC initmwa()  {
    Py_InitModule("mwa", mwa_methods);
    import_array();  // for NumPy
}

我预计，如果引用计数得到正确处理，Python 垃圾回收将(足够频繁地)释放输出数组使用的内存(如果它具有相同的名称并被重复使用)。因此，我使用以下代码在一些虚拟(但大量)数据上对其进行了测试:

for i in xrange(200): 
    a = rand(1000000)
    b = mwa.adc3(a)
    print i

此处名为“b”的数组被多次重复使用，其内存由 adc3() 从堆中借用，预计将返回给系统。我用 gnome-system-monitor 来检查。出乎我意料的是，python拥有的内存增长很快，只能通过退出程序来释放(我使用的是IPython)。 为了进行比较，我使用标准 NumPy 函数 zeros() 和 copy() 尝试了相同的过程:

for i in xrange(1000): 
    a = np.zeros(10000000)
    b = np.copy(a)
    print i

如您所见，后面的代码不会产生任何内存积聚。 我在标准文档和网络上阅读了许多文本，尝试使用 Py_INCREF(outArray) 而不是使用它。一切都是徒劳:问题仍然存在。

但是，我在 http://wiki.scipy.org/Cookbook/C_Extensions/NumPy_arrays 中找到了解决方案. 作者提供了一个创建数组并返回的扩展程序matsq()。当我尝试使用作者建议的调用时:

outArray = (PyArrayObject *) PyArray_FromDims(nd,dims,NPY_DOUBLE);
pout = (double *) outArray->data;

代替我的

pout = (double *) malloc(nelem*sizeof(double));
outArray = (PyArrayObject *)
            PyArray_SimpleNewFromData(1, dims, NPY_DOUBLE, pout);
/* no matter with or without Py_INCREF(outArray)) */

内存泄漏消失了!该程序现在可以正常运行。

一个问题:有人能解释为什么 PyArray_SimpleNewFromData() 没有提供正确的引用计数，而 PyArray_FromDims() 可以吗？

非常感谢。

添加。我可能超出了评论的空间/时间，所以我在这里添加了对 Alex 的评论。 我试图以这种方式设置 OWNDATA 标志:

outArray->flags |= OWNDATA;

但我收到“错误:‘OWNDATA’未声明”。 剩下的在评论里。提前谢谢你。

已解决:标志的正确设置是

outArray->flags |= NPY_ARRAY_OWNDATA;

现在可以了。

亚历克斯，对不起。

最佳答案

问题是不是PyArray_SimpleNewFromData，它会生成正确引用的PyObject*。相反，它与您的 malloc 一起分配给 pout 然后 never freed。

作为 http://docs.scipy.org/doc/numpy/user/c-info.how-to-extend.html 的文档清楚地说明，记录 PyArray_SimpleNewFromData:

the ndarray will not own its data. When this ndarray is deallocated, the pointer will not be freed. ... If you want the memory to be freed as soon as the ndarray is deallocated then simply set the OWNDATA flag on the returned ndarray.

(我强调的是不是)。 IOW，您正在观察如此清楚记录的“不会被释放”行为，并且如果您想避免上述行为，则不会采取特别推荐的步骤。

关于python - 使用 PyArray_SimpleNewFromData() 创建并返回数组时 Python 扩展中的内存泄漏，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/27912483/