Para dar formato al texto tienes una serie de propiedades cuyo nombre empieza por Sel: SelBold, SelBullet, SelColor, SelFontName, SelFontSize, SelItalic, ... y más. Estas propiedades te permiten tanto saber si el texto seleccionado tiene el formato en cuestión como darle dicho formato. Por ejemplo, SelBold devolverá True si el texto seleccionado está en negrita y si quieres que el texto que selecciones esté en negrita entonces tienes que hacer:
RichTextBox.SelBold = True