Los Procesos Gaussianos son un método no paramétrico para realizar regresión y clasificación proveniente del área de aprendizaje máquina. El método de los Procesos Gaussianos posee dos grandes limitantes. La primera limitante está relacionada a la complejidad computacional de esta metodología. La segunda limitante nace de su definición, en la cual se asume que la función de covarianza es estacionaria. Esto se traduce en una incorrecta representación en conjuntos de datos no estacionarios o discontinuos. Centrándose en la segunda limitante, es de interés buscar métodos que permitan adaptar la función de covarianza correctamente a conjuntos de datos no estacionarios. Los modelos de regresión localizada nacen con el fin de adaptar la función de covarianza a conjuntos de datos no estacionarios. Estos modelos se basan en establecer un grupo modelos que se adapten solo a zonas específicas del conjunto en los datos y luego combinar estos para obtener la predicción. Un inconveniente común en estos modelos es determinar cuál es el número correcto de predictores locales a utilizar, además estos modelos tienden a generar discontinuidades en los límites de cada modelo. Este trabajo propone y define un nuevo modelo para realizar regresión con conjuntos de datos no estacionarios utilizando el promediado Bayesiano de modelos para Procesos Gaussianos. El modelo propuesto utiliza dos niveles de inferencia. El primer nivel, es utilizado para representar la no-estacionariedad presente en el conjunto de datos, mediante la mezcla de múltiples regresiones locales. El segundo nivel permite evitar especificar de manera manual el número de modelos a utilizar y mejorar el problema de las discontinuidades proveniente de los modelos de regresión localizada. Los resultados de este método son más que satisfactorios y demuestran mejoras considerables en la predicción al ser comparado con otros métodos alternativos ya existentes.