SQL Server - Obtención de la media de edad

Muy buenas.
Os explico mi problema, aunque de antemano os diré que soy un mero usuario con ansias de aprender, por lo que estoy muy verde en lides como os la que os expongo.
Quisiera obtener la media de edad de una columna cuyo tipo de datos es datetime. He conseguido hacerlo con la función AVG, pero, por eso de enrevesar las cosas y aprender algo más, me he liado a hacerlo sin esa función, y estoy seguro de que se puede sacar, aunque no sé ya por dónde seguir.
Hasta aquí todo bien; el problema es que si hago SELECT * FROM Usuarios arroja error, porque sólo se espera un valor de salida para DATEDIFF...
La idea era poder extraer el DATEDIFF (year) de cada usuario, sumarlos, y dividir ese valor entre SELECT @Numero_usuario = COUNT (UsuarioID) FROM Usuarios
Muchas gracias de antemano.

No me queda muy claro cual es el problema que deseas resolver

El objetivo es obtener la media de edad de los usuarios, teniendo, por una lado, en una columna, su fecha de nacimiento, y por el otro, la fecha actual (que introduzco de manera estática con SET @Fecha_actual = 'valor' (aunque bien podría utilizar la funcion GETDAY).
El problema es que si hago SELECT * FROM Usuarios arroja error (penúltima línea de código), porque sólo se espera un valor de salida para DATEDIFF... Esa línea funciona tal como está escrita arriba, dado que sólo se selecciona un usuario (en este caso aquel cuya ID es 1), pero no con SELECT * FROM Usuarios
No sé si me he explicado ahora...
Una vez que tuviese una variable con esos varios valores podría hacer una función que restase cada uno de esos valores a la fecha actual, y así obtener la media de edad.