El tuning de ETLs en Oracle Data Integrator (y cualquier otra herramienta de integración de datos) puede ser un reto enorme. Siendo los ETLs unos tipos de procesos que suelen tomar mucho tiempo de nuestras noches y nuestras madrugadas, el tuning se convierte clave para soportar las cortas ventanas que tenemos para ejecutarlos.
Para hacer estas mejoras tenemos múltiples buenas prácticas que podemos considerar: hacer configuraciones de procesos batches, hacer la menor cantidad de transformaciones posibles, tener menos componentes en el flujo, ejecutar los procesos cuando la base de datos tiene menos carga, asegurarnos que el ancho de banda no tenga vecinos ruidosos, etc.
En mi experiencia buscando estos tiempos increíbles para ejecutar ETLs con millones de registros, encontré una recomendación de parte de Product Management en Oracle que cambió mi lista de buenas prácticas a la hora de crear ETLs en Oracle Data Integrator.
Los parámetros a cambiar en nuestras conexiones son los siguientes:
- Batch Update Size
- Array Fetch Size
Mi experiencia de rendimiento cambiando estos parámetros son de 10x de mejora de performance en los ETLs, lo cual nos ha ayudado a posicionar ODI como un producto superior en performance con respecto a otras herramientas del mercado.
¿Cuánto deben subirse estos valores? La respuesta puede ser variable. Hay diferentes razones que nos pueden impactar positivamente si cambiamos este valor x5 o 10x. La recomendación más sencilla es hacer los cambios y ponerlo a prueba.
Al igual como me ayudó a mi, espero que este pequeño cambio les impacte sus ETLs de manera potencial.
No hay comentarios:
Publicar un comentario
Te agradezco tus comentarios. Te esperamos de vuelta.