Java - sobre botones y JPanel

hola, tengo un programa en el cual manejo varios paneles y en los cuales se repiten el boton "regresar" lo que hace es regresar al menu principal, pero no quiero hacer varios botones regresar para cada panel, porque seria mucho botones, nose si podrian decirme como hacer para manejarlo con un solo boton? me dijeron con el isFocusOwner pero nose como usarlo,

alguien me podria ayudar?