Depende mucho para qué quieres instalar un servidor en linux, yo en mi caso he instalado las principales distros que existen, slackware, debian, red hat y posteriormente fedora, ubuntu, mandrake que cambió a mandriva, suse que ahora está como opensuse, todos los linux tienes la capacidad de ser servidor, recuerda que el nucleo es lo mismo y la mayoría de las aplicaciones son las mismas.
Ahora, si quieres usar bases de datos como Oracle y Sybase lo recomendable es usar variantes de Red Hat o SuSE:
- Fedora
- CentOS
- OpenSuSE
Contras que tienes estas distribuciones es que son lentas y pesadas, eso sí excluyo a CentOS por que no lo he usado. Se pueden usar variantes de Debian (Debian, Ubuntu) qué son más livianas y hacer unas modificaciones para instalar Oracle, no he instalado Sybase en estos.
Si es para compartir archivos sea por SAMBA (Windows) o NFS (Linux) cualquier distribución tiene la capacidad de trabajar con eso.
Si conoces de SAMBA puedes incluso configurar un PDC (Controlador Primario de Dominio) para redes Windows.
Si quieres un servidor de autenticación sea para Windows o Linux puedes instalar OpenLDAP.
Si quieres crear una VPN (es lo que estoy tratando de montar) puedes utilizar OpenVPN.
Ya ves, depénde mucho para qué quieras usar el servidor, tienes una gama de distribuciones, pero en sí es mejor probar con las más conocidas y que la llegues a dominar.