Java - Audio en tiempo real

Buen día, estoy creando una aplicación que consta de un cliente y un servidor, el cliente debería ir enviandole la información (voz) a medida que va a hablando y el servidor reproducirlo en tiempo real sin que se almacene en un archivo.

Creo que ya se como realizar el envio de los array de bytes con la información (voz), mi gran problema es hacer que el servidor agarre esos bytes y los reproduzca a medida que le llegan.

Desde ya muchas gracias.

Empieza investigando por aquí:

http://docs.oracle.com/javase/7/docs/api/javax/sound/sampled/AudioInputStream.html