ETL Pentaho para validación de datos

Los requisitos funcionales son: Construir un ETL Pentaho que permita validar los valores, de cada columna, para una tabla a validar La información de como validar los valores de cada columna están en la tabla de configuración de validaciones Validaciones a implementar valor duplicado (PK) valor válido (el valor del campo esta en lista de valores posibles) validar valor NULL validar blancos antes y después del valor validar ceros a la izquierda en valor validar valores numéricos iguales a cero o negativos Registrar validaciones no cumplidas en tabla de auditoria (que se entregará) los principales campos de tabla de configuración de validaciones son TABLA a validar CAMPO a validar PK (es parte de la llave primaria) Tipo Validación - como se verifica si el valor del dato es considerado válido 0 - sIn validación 2 - validación usando tabla de conversión genérica (se explica más abajo) 5 - debe validarse código con otra tabla via sql (FK) 6 - validación por parámetro ( el valor del campo debe ser igual a parametro) tipo manejo de valor NULL 0 - No manejado 1 - Genera error 2 - asignar valor por defecto y no genera error 3 - asignar valor por defecto y genera error' valor x defecto a asignar si es null tipo manejo valor por defecto si el valor no esta en lista de validación definida 0 - No manejado 1 - asignar valor por defecto'; valor por defecto si valor no esta en lista de validación definida Tipo validación para blancos antes y después del valor 0 - No se manejan 1 - blancos antes/después del valor generan error 2 - blancos antes/después del valor se truncan y no generan error 3 - blancos antes/después del valor se truncan y generan error'; Tipo validación ceros a la izquierda en valor 0 - No se manejan 1 - ceros a la izquierda del valor generan error 2 - ceros a la izquierda del valor se truncan y no generan error 3 - ceros a la izquierda del valor se truncan y generan error'; tipo manejo valor numérico 0 - no validar 1 >= 0 2 > 0 código de error en campo duplicado (PK) código de error si no cumple validación (valor no esta en lista de valores posibles) código de error si no cumple validación NULL código de error si no cumple valid blancos antes y después del valor código de error si no cumple validación ceros a la izquierda código de error tipo manejo valor numérico hay una tabla auxiliar de configuración que indica los valores posibles para un dato dado y tiene los siguientes campos TABLA CAMPO valor posible de entrada valor salida (si hay conversión definida) Los requisitos no funcionales son: ETL Pentaho documentado. Usar Java version 1.6 o posterior. Persistencia MySQL y Oracle . Manejo de excepciones y tolerancia a fallos. Otros requerimientos detallados serán entregados a los postulantes pre-seleccionados. el modelo de datos completo se entregará a postulante seleccionado