Hola. Ciertos lenguajes de programacion, como java, incluyen RSA entre sus clases estandar. Si te interesa una implementacion publica y robusta (en C), hazte con RSAREF, la implementacion de RSA labs con licencia no comercial (por ejemplo, puedes bajartelo de http://www.spinnaker.com/crypt/rsaref/ ). Esta implementacion puede compilarse en multiples plataformas y esta bien documentada. Otras implementaciones con diferentes licencias y de indole variada las puedes encontrar en el codigo fuente de PGP (www.pgpi.org), el de GPG (www.gnupg.org). Haciendo un buen google puedes encontrar toneladas de informacion y muchas otras implementaciones
C.