Regresión Lineal: Estimación, Predicción y Propiedades de los Estimadores MCO

Regresión Lineal: Estimación y Predicción de la Variable Dependiente

El análisis de regresión estudia la dependencia de una variable dependiente, Y, respecto a una o más variables explicativas, X_s, con el objetivo de estimar y/o predecir la media o valor promedio poblacional de Y en términos de los valores conocidos o fijos de las X_s.

Función de Regresión Poblacional (FRP)

La FRP es el lugar geométrico de las medias condicionales de la variable dependiente para los valores fijos de las variables explicativas.

• Si es lineal, la función es: E(Y|X) = B₀ + B₁X
• Si es cuadrática, sería: E(Y|X) = B₀ + B₁X + B₂X²

Establece una relación determinista entre el valor promedio de Y y las X.

Error Poblacional

Si se plantea la especificación estocástica de la FRP, se debe agregar un término de error poblacional estocástico, u, que toma valores positivos y negativos desconocidos. El término de error representa la diferencia entre el valor individual de Y y el valor promedio de Y condicional a X.

¿Qué representa el error poblacional?

• Marco conceptual incompleto.
• No disponibilidad de la información.
• Variables medidas con error.

Mínimos Cuadrados Ordinarios (MCO)

MCO es una técnica de estimación de los parámetros poblacionales a partir de errores estimados. La técnica minimiza la sumatoria de errores estimados al cuadrado en función de los parámetros estimados. Esto es, busca los β̂ que minimizan dicha sumatoria.

MCO en una regresión simple

Usando las reglas del cálculo, se diferencia la sumatoria respecto a cada β̂ y se iguala a cero, generando dos ecuaciones normales que contienen dos incógnitas.

Supuestos del Modelo Clásico de Regresión

1. El modelo de regresión es lineal en los parámetros.
2. Los valores de X son fijos en muestreo repetido. X se supone no estocástica.
3. El valor medio de la perturbación u es igual a cero.
4. Homocedasticidad o igual varianza de u.
5. No existe autocorrelación entre las perturbaciones.
6. La covarianza de u y X es cero.
7. El número de observaciones n debe ser mayor al número de parámetros a estimar.
8. Variabilidad en los valores de X.
9. El modelo de regresión está bien especificado, o sea, no hay sesgo de especificación o error en el modelo utilizado en el trabajo.
10. Para modelos de más de una variable explicativa, no hay multicolinealidad perfecta; no hay relaciones perfectamente lineales entre variables explicativas.

Precisión de los Estimadores MCO

Equivale a la desviación estándar de los estimadores (β̂).

Propiedades de los Estimadores MCO

• Linealidad: Función lineal de una variable aleatoria, tal como la variable dependiente Y en el modelo de regresión.
• Insesgadez: Su valor esperado o promedio es igual al verdadero valor.
• Varianza mínima: Dentro de la clase de todos los estimadores lineales e insesgados, es conocido como estimador eficiente.

Teorema de Gauss-Markov

Sirve para comparar las bondades de estimadores bajo técnicas alternativas o bajo la violación de supuestos del modelo clásico.

Bondad del Ajuste de Regresión R²

El coeficiente de determinación, R², mide cuán bien se ajusta la regresión a los datos de la muestra.