Salut,
On fait généralement comme ceci pour revenir au menu de la console:
chdir("/usr/gp2x");
execl("/usr/gp2x/gp2xmenu", "/usr/gp2x/gp2xmenu", NULL);
Tu as bien défini quelque part CAANOO dans ton makefile par exemple en ajoutant -DCAANOO dans la ligne CFLAGS ?