Compilare codice C che utilizza sia R che numpy su Linux

Question

Ho un codice C che utilizza sia numpy che R. Su Windows, esso compila con MSVC in un dll che può essere caricato dinamicamente da R e passa tutti i test. Tuttavia, non riesco a farlo funzionare su Debian.

Per studiare il problema ho creato il seguente esempio minimal-ish:

#include <Python.h> 
#include <Rinternals.h> 
#include <numpy/arrayobject.h> 

SEXP main() { 
    Py_Initialize(); 
    import_array(); 

    SEXP one = PROTECT(allocVector(INTSXP, 1)); 
    INTEGER(one)[0] = 1; 
    npy_intp dims[1] = {1}; 
    int data[1] = {1}; 
    PyObject *another = PyArray_SimpleNewFromData(1, dims, NPY_INT, data); 

    Rprintf("Hello, %d ", INTEGER(one)[0] + *(int*)PyArray_DATA(another)); 
    PyRun_SimpleString("print('worlds')"); 

    UNPROTECT(1); 
    return one; 
} 

posso compilarlo con

cl /I "C:\Program Files\R\R-3.2.0\include" /I "C:\Python34\include" /I "C:\Python34\Lib\site-packages\numpy\core\include" /c hello.c 
link /dll /export:main hello.obj Rdll.lib C:/Python34/libs/python34.lib 

dove Rdll.lib è stato creato da %R_HOME%\bin\x64\R.dll con

pexports R.dll > R.exp 
link /lib /def:R.exp /machine:x64 /out:Rdll.lib 

Quindi può essere utilizzato da R:

> dyn.load(paste0("hello", .Platform$dynlib.ext)) 
> .Call("main") 
Hello, 2 worlds 
[1] 1 

Quando, tuttavia, posso compilare su Debian con

gcc -shared -fPIC -I/usr/share/R/include -I/usr/include/python2.6 -lpython2.6 -L/usr/lib64/R/lib -lR hello.c -o hello.so 

e importarlo da R avviene quanto segue:

> dyn.load("hello.so") 
> .Call("main") 
Traceback (most recent call last): 
    File "/usr/lib/pymodules/python2.6/numpy/__init__.py", line 132, in <module> 
    import add_newdocs 
    File "/usr/lib/pymodules/python2.6/numpy/add_newdocs.py", line 9, in <module> 
    from lib import add_newdoc 
    File "/usr/lib/pymodules/python2.6/numpy/lib/__init__.py", line 4, in <module> 
    from type_check import * 
    File "/usr/lib/pymodules/python2.6/numpy/lib/type_check.py", line 8, in <module> 
    import numpy.core.numeric as _nx 
    File "/usr/lib/pymodules/python2.6/numpy/core/__init__.py", line 5, in <module> 
    import multiarray 
ImportError: /usr/lib/pymodules/python2.6/numpy/core/multiarray.so: undefined symbol: _Py_ZeroStruct 

*** caught segfault *** 
address 0x4, cause 'memory not mapped' 

Produce errori di segmentazione a meno che tutto ciò che riguarda Numpy sia commentato. Interagire con Python puro da R sembra essere OK. Ma non appena si chiama import_array(), c'è un segfault. Ho aggiunto -I/usr/share/pyshared/numpy/core/include/ per disperazione e non ha cambiato nulla.

Infine, se compilo il seguente (simile al precedente, ma leggermente modificato) codice

#include <Python.h> 
#include <Rinternals.h> 
#include <numpy/arrayobject.h> 

int main() { 
    char *localArgs[] = {"R", "--silent"}; 
    Rf_initEmbeddedR(2, localArgs); 
    Py_Initialize(); 
    import_array(); 

    SEXP one = PROTECT(allocVector(INTSXP, 1)); 
    INTEGER(one)[0] = 1; 
    npy_intp dims[1] = {1}; 
    int data[1] = {1}; 
    PyObject *another = PyArray_SimpleNewFromData(1, dims, NPY_INT, data); 

    Rprintf("Hello, %d ", INTEGER(one)[0] + *(int*)PyArray_DATA(another)); 
    PyRun_SimpleString("print('worlds')"); 

    UNPROTECT(1); 
} 

sulla stessa macchina Debian con

gcc -I/usr/share/R/include -I/usr/include/python2.6 -lpython2.6 -L/usr/lib64/R/lib -lR hello.c -o hello 

e chiamarla con

LD_LIBRARY_PATH=/usr/lib64/R/lib R_HOME=/usr/lib64/R ./hello 

it improvvisamente non si blocca, funziona bene e produce "Ciao, 2 mondi", come previsto.

Le versioni sono: di Windows: versione del compilatore 19.00.23506 per x64, Python 3.4.4, 1.9.3 NumPy, R 3.2.0 Debian: versione di gcc 4.4.5 (target: x68_64-linux-gnu) , Python 2.6.6, numpy 1.4.1, R 3.2.1

Cosa sto facendo male?

Aggiornamento: Testato su Ubuntu con Python 3.2 e Python 2.7 con gcc e clang. Il problema persiste.

Answer 1

una soluzione che funziona (con questo esempio, così come con il codice vero e proprio) è quello di caricare libpythonX.Y.so con dlopen:

#include <Python.h> 
#include <Rinternals.h> 
#include <numpy/arrayobject.h> 

#ifndef _WIN32 
#include <dlfcn.h> 
#endif 

SEXP main() { 
#ifndef _WIN32 
    dlopen("libpython2.6.so", RTLD_NOW | RTLD_GLOBAL); 
#endif 
    Py_Initialize(); 
    import_array(); 

    SEXP one = PROTECT(allocVector(INTSXP, 1)); 
    INTEGER(one)[0] = 1; 
    npy_intp dims[1] = {1}; 
    int data[1] = {1}; 
    PyObject *another = PyArray_SimpleNewFromData(1, dims, NPY_INT, data); 

    Rprintf("Hello, %d ", INTEGER(one)[0] + *(int*)PyArray_DATA(another)); 
    PyRun_SimpleString("print('worlds')"); 

    UNPROTECT(1); 
    return one; 
} 

Non, però, capisco pienamente perché è necessario .