C# es un lenguaje creado por Microsoft exclusivamente para la programacion en el entorno .NET. Por ejemplo ASP.NET, el modulo de .NET que se usa para crear paginas web dinamicas fue escrito totalmente en C#.
Para arrancar, pues lo primero seria instalar las herramientas. Antes que nada necesitas el .NET Framework el cual puedes descargar gratis del site de Microsoft. Es mas facil comenzar haciendo aplicaciones de escritorio y ventanas asi que si tu presupuesto lo permite adquirir el Visual Studio .NET o si no puedes conseguir el SharpDeveloper o tambien la edicion de aprendizaje de Visual Studio de bajo costo.
Microsoft tambien tiene la linea de productos Express cuyos betas puedes descargar gratis del wite de Microsoft