Respuesta directa
Validación histórica de pronósticos
Un pronóstico de producción se valida ocultando producción que ya conoces. Define una fecha de corte, reserva todo lo posterior, ajusta el pronóstico usando solo la historia anterior, y luego revela los meses reservados y compara. Esto es backtesting por holdout, y es la única forma de observar que un pronóstico se equivoca antes de que una decisión dependa de él. PronoHorizon evalúa esa comparación con cuatro métricas — WMAPE, sesgo, error acumulado y cobertura P10–P90 — porque un único número de precisión no puede decirte si un pronóstico es ruidoso, sistemáticamente optimista, o ambas cosas.
En resumen
- Método
- Holdout histórico: ocultar un período conocido, pronosticar a ciegas desde la historia restante, revelar los reales.
- Ventana de la demo
- Holdout histórico de 12 meses.
- WMAPE
- Error absoluto ponderado del pronóstico — qué tan grandes son las desviaciones.
- Sesgo
- Error con signo — si las desviaciones se inclinan alto o bajo.
- Error acumulado
- Delta de volumen entre pronóstico y real a lo largo de la ventana.
- Cobertura P10–P90
- Proporción de observaciones reservadas que cayeron dentro de la envolvente de escenarios.
- Resultados publicados
- Ninguno aún. Todo benchmark publicado debe nombrar su dataset público y su ventana de prueba, o no se muestra.
El método de holdout, paso a paso
Toda la disciplina está en lo que al modelo no se le permite ver.
- 1. Elegir un corte
- Escoger una fecha suficientemente atrás como para que le siga una cantidad significativa de producción, y suficientemente reciente como para que el pozo estuviera operando en condiciones comparables a las de hoy.
- 2. Ocultar el período posterior
- Reservar todas las observaciones posteriores al corte. El ajuste no debe usarlas, ni directa ni indirectamente.
- 3. Pronosticar a ciegas
- Ajustar el modelo de declinación solo con la historia restante y proyectar sobre la ventana oculta, produciendo el caso base P50 y los casos P10 y P90 a su alrededor.
- 4. Revelar y evaluar
- Traer de vuelta los reales reservados y compararlos con el pronóstico ciego usando WMAPE, sesgo, error acumulado y cobertura P10–P90.
- 5. Leer las fallas
- Inspeccionar dónde el pronóstico acertó y dónde falló, y decidir si la desviación fue comportamiento de yacimiento que el modelo no podía conocer o un supuesto que debe cambiar.
Las cuatro métricas, y por qué una no basta
Cada métrica responde una pregunta distinta, y cada una es ciega a lo que capturan las demás.
- WMAPE (error absoluto ponderado)
- Mide el tamaño de las desviaciones, ponderando por volumen para que los meses de alta tasa pesen más que los de baja. Dice cuánto te desviaste, pero no en qué dirección.
- Sesgo (error con signo)
- Mide la dirección. Un pronóstico puede tener un WMAPE respetable y estar consistentemente alto — los errores que nunca cambian de signo se acumulan en un portafolio de una forma en que los errores aleatorios no lo hacen.
- Error acumulado
- El delta de volumen entre pronóstico y real a lo largo de la ventana. Es el número que realmente heredan reservas y economía, y un pronóstico puede seguir mal las tasas mensuales y aun así acertar en volumen, o al revés.
- Cobertura P10–P90
- La proporción de observaciones reservadas que cayeron dentro de la envolvente P10–P90. Una cobertura baja significa que el rango de escenarios fue demasiado estrecho para ser útil; una cobertura muy alta puede significar que fue tan ancho que no excluía nada.
Elegir un corte y una ventana
Una prueba de holdout mide el pronóstico que habrías hecho en el corte, así que la elección del corte es parte del resultado. Demasiado reciente y no hay suficiente producción revelada contra la cual evaluar. Demasiado antiguo y estás probando un pozo que operaba bajo otro régimen — otras instalaciones, otra política de choke, otro tiempo fuera de servicio.
La longitud de la ventana tiene el mismo compromiso. Una ventana corta está dominada por ruido mes a mes y eventos operativos; una ventana larga prueba la forma del modelo de declinación pero dice poco sobre la precisión de planificación de corto plazo. La demo pública usa un holdout de 12 meses, suficientemente largo para que la tendencia de declinación se separe del ruido y suficientemente corto para que la base operativa siga siendo comparable.
La práctica honesta es declarar ambos. Un resultado de validación sin su dataset y su ventana no es un resultado.
Lo que el backtesting no puede decirte
Una prueba de holdout mide qué tan bien un modelo empírico de declinación reprodujo un período de historia que no vio. No certifica precisión futura, y no puede anticipar nada sobre lo que la historia no contiene información: una reparación planificada, una ampliación de instalaciones, un cierre, un cambio de estrategia operativa.
Tampoco distingue un mal modelo de un mal dato. Una desviación grande durante meses en que la producción fue asignada tras el reinicio de una instalación, o en que el pozo estuvo fuera por trabajo de compresor, te está hablando del dato, no del ajuste de declinación. Por eso los huecos operativos permanecen marcados en lugar de interpolarse: la desviación tiene que ser interpretable.
Usado correctamente, el backtesting no es un sello de aprobación. Es una forma de averiguar en qué pronósticos tienes derecho a confiar.
Preguntas frecuentes
¿Cómo valido un pronóstico de producción petrolera?
Usa un holdout histórico. Elige una fecha de corte, reserva toda la producción posterior, ajusta el pronóstico usando solo la historia anterior, y luego revela los meses reservados y compara. Evalúa la comparación con WMAPE, sesgo, error acumulado y cobertura P10–P90 para conocer tanto el tamaño como la dirección del error.
¿Qué es el backtesting en pronóstico de producción?
El backtesting consiste en correr un pronóstico contra un período de historia que el modelo no tuvo permitido usar, de modo que el pronóstico pueda contrastarse con lo que realmente ocurrió. En pronóstico upstream es el sustituto práctico de esperar un año para saber si un ajuste de declinación era correcto.
¿Qué es el WMAPE?
El WMAPE es el error porcentual absoluto ponderado de un pronóstico. Agrega las diferencias absolutas entre pronóstico y real, ponderadas por volumen, de modo que los meses de alta tasa influyen más en el puntaje que los de baja. Mide la magnitud del error pero no su dirección.
¿Qué es el sesgo del pronóstico y por qué importa más a escala de portafolio?
El sesgo es el error con signo: si un pronóstico tiende a quedar alto o bajo. Los errores aleatorios se cancelan parcialmente al sumar cientos de pozos, pero el sesgo no — un pequeño optimismo consistente por pozo se convierte en una sobreestimación grande a nivel de portafolio, que es exactamente donde reservas y economía leen el número.
¿De qué longitud debe ser la ventana de holdout?
Suficientemente larga para que la tendencia de declinación se separe del ruido mes a mes, y suficientemente corta para que las condiciones operativas del pozo durante la ventana sean comparables a las actuales. La demo pública usa una ventana de 12 meses. Elijas la que elijas, declárala junto al resultado: una cifra de validación sin su ventana y su dataset no se puede interpretar.