Python - Error al intentar reemplazar unos bytes por otros, en un fichero binario.

Hola, ¿alguien con experiencia en manipulación de ficheros?
1º Bloque de código, crea un fichero de texto.
2º Bloque de código, reemplaza las primeras letras del fichero dejando intacto el resto. (TODO CORRECTO)
El input está solo para hacer una pausa.
3º Bloque de código, intenta "reemplazar" igualmente los primeros tres bytes del fichero pero, no lo hace bién. Me graba esos tres bytes pero borrándome el resto del fichero empequeñeciéndolo a esos tres bytes.
¿Hay alguna forma más correcta de reemplazar bytes binarios de un fichero dejando intacto el resto?

#Escribir y crear si no existe con .write()
archivo_texto = open("archivo.txt", "w") # Nombre de archivo y modo de acceso
frase = "Estupendo día para estudiar Pyhon\n el miércoles"
archivo_texto.write(frase) # Lo graba
archivo_texto.close()

#Con esto escribimos reemplazando el texto en la posición determinada por ".seek()"
archivo_texto=open("archivo.txt", "r+")
archivo_texto.seek(0) # Esto lo que hace es posicionar el puntero donde queramos, al ser (0) nos imprime el texto desde el principio
frase="Reemplazamos"
archivo_texto.write(frase)
archivo_texto.close()

a = input("PULSA ENTER PARA CONTINUAR")

archivo_texto=open("archivo.txt", "wb") # En modo binario
archivo_texto.seek(0) # Esto lo que hace es posicionar el puntero donde queramos, al ser (0) nos imprime el texto desde el principio
frase=(b"\x01\x02\x03")
archivo_texto.write(frase)
archivo_texto.close()

ésta línea:
"wb" borra todo el contenido
reemplazalo por:
"r+b"

Problema solucionado. gracias.