Java - estructuras de datos adecuadas

Saludos compañeros, estoy haciendo un proyecto con matrices. Las que yo manejo son de tipo static LinkedList [][] , es decir, cada componente de la matriz son listas. Inicialmente la matriz puede tener varias componentes nulas, por ejemplo:

0 1 2 3 4
0 a b
1 c a
2 b
3 a
4 a b

pero luego se pueden unir estados, de manera que si se une el 0 y el 1, quedaria:

0 1 2 3 4
0 a,c b a
1
2 b
3 a
4 a b

siendo cada componente listas, y para unir ambas listas hago:
if (!m[i][a].contains(m[i][b].get(k)))
m[i][a].add(m[i][b].get(k));
donde a y b serian los estados a unir, la i una variable de control para ir uniendo todas las transiciones, y la k otra variable de control.

Si el tamaño de la matriz es grande, por ejemplo de 100, a la hora de ir fusionando todos los estados puede tardar muchisimo tiempo, hablamos de varios minutos, y no se por que puede tardar tanto. Se podran utilizar otras estructuras de datos mejor ???

Por favor, ayudadme, que es realmente importante.
Muchas gracias.