Java - Juego GridLayout Inteligencia Artificial

Hola Amigos! Tengo una duda estoy con un proyecto para mi clase de inteligencia artificial pero me encuentro con un error que no logró solucionar, el juego consiste en que al presionar sobre la casita debemos colocarla sobre un espacio libre del campo, una vez hecho esto podremos mover al personaje que se encuentra dentro, sin embargo, cuando lo muevo (con las flechas) hacia arriba o hacia abajo se desplazan el resto de los elementos, la colisión funciona correctamente, pero no logro observar porqué ese desplazamiento entre las celdas del grid.

• KibusEtapa1.rar(4,1 KB)
• src.rar(86,0 KB)

No he mirad tu código pero ¿puede ser que todos los elementos estén escuchando el evento del teclado (las flecha) y todos realicen la acción aunque no estén seleccionados?

Saco el elemento por medio del getComponentZOrder y con el index del elemento así que dudo que saque todos :(