Java - no perder bytes del port serial

Hola a todos,
Tengo una aplicación en java que lee bytes desde el port serial. Cada byte que lee debe procesarse (el proceso dura màs o menos 150 ms y no es atòmico). Debo procesar paquetes de cuatro bytes, donde si importa el orden. Pero los distintos paquetes no estàn relacionados. Los bytes llegan en cualquier momento y por segundo llegan 50 bytes. ¿Cómo puedo hacer, en java, para què mientras proceso algunos bytes (o paquetes) no pierda los nuevos bytes que me llegan?
Estoy usando la api javax.com para ports seriales
Desde ya muchas gracias
Saludos a todos

Así, a bote pronto, yo haría un thread dedicado en exclusiva a leer del puerto serie y almacenar en un buffer.
Otro thread iría sacando los bytes de este buffer para procesarlos.