Python - crear un diccionario de diccionarios desde un .txt

Buenas a todos tengo un .txt y me gustaría crear un diccionario de diccionarios.
El .txt que tengo es tal que así:

Conjunto 1

datos 1
2 4
2 5
1 4
23 23

datos 2
3 4
3 5
1 1
2 2

datos 3
5 5
2 5
45 45


Conjunto 2

datos 1
2 4
2 5
1 4
23 23

datos 2
3 4
3 5
1 1
2 2

datos 3
5 5
2 5
45 45

Y me gustaria crear un diccionario que sea tal que así:
data{conjunto 1:{datos1:[...],datos 2:[...], datos 3:[...]}, conjunto 2:{datos1:[...],datos 2:[...], datos 3:[...]},.....}

Muchas gracias

Sabéis si es posible realizar un programa asi? por muchas vueltas que le doy no logro sacar el programa ...