JavaScript - Input dinamico

Hola a todos,

Tengo el siguiente script para crear inputs dinamicos, y funciona bien, el problema que tengo es que necesito crear dos inputs y un solo boton de eliminar.

He hecho varias pruebas y lo unico que consigo es crear dos inputs a la vez con dos botones que cada uno elimina un campo. Lo que quiero es dos campos y un solo boton que elimine esos dos campos,

gracias de antemano.

<fieldset id="alternativas"> <legend>Alternativas</legend> <input type="Button" value="Agregar alternativa" onclick="agregar_alternativa()"/> <input type="submit" value="Guardar"/>
<script type="text/javascript">

function agregar_alternativa(){
var fieldset=document.getElementById("alternativas"); var inputs=document.getElementsByName("alternativa"); var br=document.createElement("br"); var newInput=document.createElement("input"); var grp=document.createElement("span"); newInput.name="alternativa"; newInput.size=100; newInput.id="alt"+(inputs.length+1); var btnRemove=document.createElement("input"); btnRemove.type="button"; btnRemove.value="Quitar"; grp.appendChild(br); grp.appendChild(newInput); grp.appendChild(btnRemove); fieldset.appendChild(grp); btnRemove.onclick=function(){var elem=this.parentNode;elem.parentNode.removeChild(elem);};
}
</script>