Java - Mover imagenes con el teclado (fluidez)

Hola! Estoy haciendo un pequeño applet en el que se maneja a un muñeqito con el teclado. Gracias al doble buffering he conseguido que la imagen no parpadee y el applet vaya fluido.
Mi problema esta en que el movimiento se hace muy lento. Si quiero un movimiento fluido tengo que moverlo con incrementos pequeños y va lento. Si pongo incrementos grandes va a saltos y no se ve bien.
Creo que el problema esta en como capturo los eventos del teclado porque he visto applets mucho mas complejos con una fluidez increible...asi que no es un problema de rendimiento.
Asi es como lo estoy haciendo ahora:

public boolean keyDown(Event e, int key) {

if (key == Event.UP) { y--; }
if (key == Event.DOWN) { y++; }
if (key == Event.LEFT) { x--; }
if (key == Event.RIGHT) { x++; }
return true;
}

Logicamente "x" e "y" representan las coordenadas de la imagen a mover. Muchisimas gracias por la ayuda. Saludos

Si apretas hacia arriba, según el codigo que tienes, te va a comparar hacia abajo y los demás. Eso es ineficiente. Es mejor que cuando incrementes o decrementes te salgas de la función.

amigo y como le harias para moverla en diagonal?