Open GL - Libreria Matematica c/c++

Conoce alguien una libreria en C o C++ de matematica, que dado como minimo 3 vectores (puntos) en el espacio determine el PLANO mas optimo respecto a la ubicacion de estos puntos, esto lo estoy usando en una app. en opengl.
O quiza alguna una idea de como empezar.
Muchas gracias.