Como nadie responde, supongo que preferirás una respuesta negativa a ninguna en absoluto. No programo en C++ (me parece un lenguaje innecesariamente complicado), pero para trabajar en RSA en C uso la librería freelip (la puedes bajar de la dirección que le indiqué a un individuo en una nota anterior). Es muy buena, pero no vale para propósitos comerciales. Pese a todo te puedes inspirar en ella. También puedes ver una implementación concreta -no comercial, claro- en la fuente de PGP (www.pgp.org) en C o mezclando C y ensamblador (mira las funciones en el directorio bn -de bignum-). Para trabajar en múltiple precisión, como caso desesperado, podrías también recurrir a LISP.