Symfony - Seguridad y Roles

Buenos dias, estoy intentando hacer un servicio restFull con jwt y tengo el siguiente problema para autenticar. Espero que alguien me pueda dar una idea. Estoy queriendo hacer algo similar a Google y no lo puedo terminar de lograr con las librerias de Symfony. El tema es asi, tengo usuarios los cuales tienen roles sobre determinados modulos y a su vez quiero que un usuario le pueda dar permisos a otros usuarios sobre sus modulos. Por lo tanto el Role no estaría asignado al usuario en si, sino que depende a que modulo esta queriendo ingresar y si es owner o compartido.

Por ej. 1 - Usuario A contrata un servicio de Reservas, por lo tanto tendria un ROLE_ADMIN sobre el modulo Reservas.
2 - Usuario B contrata un servicio de Reservas, por lo tanto tambien tiene un ROLE_ADMIN sobre el modulo Reservas.
3 - Ahora supongamos que el Usuario A le permite al usuario B ingresar a su modulo con un ROLE_USER, entonces el Usuario B tendria un Switch Account para ingresar a su cuenta o las que les compartieron, ahi me surge la duda de como asigno el rol si depende a donde esta switcheado tiene roles diferentes.

Espero que se entienda.

Gracias!