MySQL - Ordenar Alfabeticamente

Buenas tardes,

Reciban un cordial saludo. Estoy iniciando nuevamente en PHP-MySQL tengo una duda acerca de como realizar un query en una tabla para que me ordene los registros alfabeticamente, tengo entendido que puedo realizarlo mediante un ORDER BY nombres ASC pero quiero que al momento de mostrar estos registros me salgan algo como:
A los registros por la letra A
B los registros por la letra B

Seria mediante un for reach?

Saludos

No indicas el lenguaje que estas utilizando, pero si, seria con un bucle que recorra todo el resultado ordenado con el ORDER BY tal y como comentas.