MySQL - Consultas mysql

Buenas tardes! tengo un pequeño incoveniente con tablas de mysql que no puedo resolver y llevo dias tratandolo.

Tengo una tabla grupos:
id_grupo, nombre, id_usuario_creator

Otra tabla unir_grupos:
id_grupo_unido, id_usuario_unido

En la tabla grupos coloco los nuevos grupos que crea cada usuario
En la tabla unir_grupos coloco los seguidores de cada grupo: en id_grupo_unido iria el id_grupo al que se quiere unir la persona con id diferente al creador del grupo

Hasta ahi todo bien, luego en una pagina grupos.php muestro:
-grupos creados por el usuario de la tabla grupos por el id del usuario
-grupos en los que esta unido el usuario de la tabla unir_grupos por el id del usuario
Ademas quiero mostrar los grupos en los que no esta unido el usuario creado por otros usuarios pero nose como hacerlo, cuando pongo la consulta sobre la tabla grupos donde el id sea distinto al id del usuario me muestra todos los grupos que no creo el usuario pero me muestra los que esta unido que no quiero que me muestre eso. Osea nose como hacer la consulta. Tengo que decir algo asi como: buscar en la tablar grupos donde el id sea diferente y en la tabla de unir_grupos donde nose como seguir.
Alguna sugerencia, tal vez lo estoy planteando mal.

Hola, no me queda muy clara la consulta pero igual te dejo algo haber si te sirve, si no comentanos:

Tomando como ejemplo el id_usuario 1, busco en la tabla unir_grupos a los grupos que pertenece dicho usuario. Después con el resultado de esta consulta recupero aquellos grupos que no están en el resultado.

Que bueno!! muchas gracias! eso es lo que estaba buscando, la consulta era mostrar todos los grupos sin que aparezcan los que estoy unido. Asi fue!! Muchas gracias!!