CDDMODULOS
MISCELENEOS
Mayo 2012
1. Contexto General2. Definición de Ambiente3. Procedimiento de Ejecución4. Job Principal Borrados de Archivos Dat
Borrado de Archivos Dat5. Job Principal Borrado Histórico
Borrado Histórico6. Job Principal Carga Tablas EPR
Carga Tablas EPR
7. Carga Tabla Estados8. Otras Funcionalidades9. Tablas de Control10. Check List de Diagnostico
Temario
INDICE
MISCELANEOS
1. Borra de Archivos DatProceso que borrar desde el directorio /dsdata/DSCDD/DAT, todos los archivos (Enviados por SABRES) utilizados en el proceso de Carga de CDD, su periodicidad será diaria, es decir, se debe ejecutar manualmente y sólo se ejecutara si el proceso de carga estén correctamente finalizado
2. Borrado HistóricoProceso que borrar a las particiones cargadas en CDD, con el fin de mantener una porción de historia e ir eliminando la más antigua determinada por un parámetro
3. Carga Tablas EPRProceso que carga las Tablas EPR al modelo Oracle, este proceso no tiene validación de integridad sobre los dato es slo un trasvasije desde los Archivos enviados por SABRE hacia el modelo EPR de Oracle.
Contexto General
4
DATA STAGE 7.52 Solución implementada mediante Jobs ETL
BASE DATOSOracle 10g y Teradata 12
Para desarrollar la solución se utilizó:
Contexto General
5
Estructura de Carpeta Unix
/dsapp/DSCDD/CNF Carpeta de archivos de configuración (DSParams, ListadoFeeds.cnf)
/dsapp/DSCDD/SHL Carpeta donde se encuentran las Shell para la ejecución del proyecto
/dsdata/DSCDD/DATCarpeta que tendrá todos los archivos de carga enviados por SABRE
/dsdata/DSCDD/HSHCarpeta donde se generaran los archivos HASH utilizados por elproceso
/dsdata/DSCDD/TMPCarpeta donde se generaran los archivos Temporales utilizados por el sistema
Definición de Ambiente
6
Configuración: Configuración de Parámetros de DSParams
Ejecución Shell:Nombre Shell: Ejecuta_DSCDD.sh / Ejecuta_DSCDD_OnDemand.shParámetros: FECHA = Fecha a procesar formato YYYYMMDD. ( Sólo se ingresa para proceso on-demand.
Proceso batch programado calcula internamente el valor de la fecha de proceso).SERVER = DNS o IP del servidor donde se encuentra el Job.USER = Usuario con permiso de ejecución del Job.PASSWORD = Password del usuario.PROYECTO = Nombre del Proyecto que contiene el Job.JOB = Nombre del Job a ejecutar.MODO = Modo de ejecución <NORMAL|RESET|VALIDATE>PATH_LOG = Path donde se encuentran los logs.PARAMETRO = Parámetro a insertar en el Job.WARN = Numero de Warning permitidos antes del Fatal Error. 0 es Ilimitado.DESTINATARIOS=Direcciones e-mail a quienes se le enviara la información correspondiente.(Para más de un destinatario se separa por coma.)
Procedimiento de Ejecución
7
Procedimiento de Ejecución
Ejemplo de ejecución Programada (Control-M):La ejecución programada ejecutara secuencialmente la carga de Teradata, en primera instancia gatillara la
carga del modelo WRK y en segunda instancia y si termina correctamente, ejecutara para el modelo FDM que será visto en esta presentacion
./Ejecuta_DSCDD.sh 57.228.129.28 dscdd dscdd DSCDD CDD_00_Main_Ejecucion_Teradata NORMAL/dsdata/DSCDD/LOG PS_FECHA_DE_ARCHIVOS_CDD 0 [email protected]
Ejemplo de ejecución On-Demand (Manual):
./Ejecuta_DSCDD_OnDemand.sh 20110214 57.228.129.28 dscdd dscdd DSCDDCDDFDM_00_EJECUTA_ALL NORMAL /dsdata/DSCDD/LOG PS_FECHA_DE_ARCHIVOS_CDD [email protected]
La ejecuciones sólo se diferencian en que para el Proceso OnDemand sedebe ingresar la Fecha de Proceso (20110214) y en la programada se Calcula.
Ejecucion Norma y On-Demand En CDD existen dos Shell, una que gatilla los procesos programados (Ejecuta_DSCDD.sh) y otra que gatilla los proceso On-Demand (Ejecuta_DSCDD_OnDemand.sh)
8
Job Principal Borrados de Archivos Dat
CDDBR_00_Ejecuta_All Sequence principal que gatilla el proceso que Borra los archivos .Dat, utilizados en el proceso de Carga
El proceso comienza enviado un Correo informando el inicio del proceso de Borrado
CDDBR_00_Borra_Archivos_DAT
9
JOB (CDDBR_00_Borra_Archivos_DAT)
Borrado de Archivos Dat
Job encargado de validar si para un periodo determinado, su ejecución termino correctamente, si termino correctamente se borraran todo los archivos del directorio (/dsdata/DSCDD/DAT) de lo contrario, la rutina Data Stage se enviara un mensaje indicando :
Los registro fueron eliminado correctamente' Problemas al Eliminar los archivos desde el directorio ':$PS_PATH_DAT:' por favor verificar' No se pueden Eliminar los archivos por que exsiten tablas con estado distinto de OK, para el periodo: XXXX No se han eliminado los archivos por que no Existe ningún proceso CDD para el Periodo ‘XXXX
10
CDDBR_00_Ejecuta_All
Job Principal Borrado Histórico
El proceso comienza enviando un Correo, informando el inicio del proceso, Valida conectividad a la base de Dato (Oracle), y gatilla el Job de borrado de particiones
CDD_DELHIST_01_Trunca_Rango_Historico
Sequence principal que gatilla el proceso para borrar los datos históricos desde CDD.
11
CDD_DELHIST_02_Trunca_Particiones
Borrado Histórico
Job encargado de truncar cada una de las tablas involucradas en el proceso de carga, dado el loop con la lista de Tabla que se deben truncar, se realiza el llamado a al Job que llamara al Procedimiento almacenado encargado de truncar las tablas
CDD_DELHIST_02_Trunca_Particiones
12
CDD_DELHIST_02_Trunca_Particiones
Comienza con el llamado a una tabla dual rescatando un valor por defecto (Fecha), seguido de la llamada a un Store Procdedure (BorraParticionHist), que con el nombre de la tabla, Fecha de Proceso y la cantidad de días que desea proteger, se realiza el truncado para cada tabla, el control de ejecución del Store Procedure se realizara con las excepciones que este arroje, cualquier excepción será motivo para abortar el proceso.
Borrado Histórico
1313
CDDEPR_00_Ejecuta_All Sequence principal que gatilla el proceso que Carga los archivos EPR enviados por SABRES, al Modelo OracleEPR
El proceso comienza enviado un Correo informando el inicio del proceso, Valida conectividad a la base de Dato (Oracle), valida si vienen informada todas las tablas involucradas en el proceso (.done), y comienza la carga, este módulo no tiene validaciones es sólo un trasvasije de información a las tablas del modelo
CDDEPR_00_Carga_Tablas_EPR
Job Principal Carga Tablas EPR
1414
Sequence CDDEPR_00_Carga_Tablas_EPR
El sequence CDDEPR_00_Carga_Tablas_EPR es el encargado de orquestar de forma “PARALELA” la carga de las tablas EPR (LA_EPR_HEADER, LA_EPR_KEYWORD), comienza con el llamado al Job Control (CDDEPR_01_JobControl) para cada tabla, que validara si las cargas ya fueron realizadas para no cargar nuevamente la información, creara los archivos de control, inicializara el proceso de carga en las tablas de control LAN y CORPORATIVA, llamara a los job de carga según sus parámetros, insertara los registro con errores en la Tabla de Error de CDD y actualizara las tabla de control con el Status de la carga, a medida que termina el proceso de carga, se ejecutara las dependencia, que complementara con información a las tablas de control con el status final del Job
Carga Tablas EPR
1515
CDDFDM_00_GrabaEstado
Job que lee la tabla de control y graba un archivo de texto todos los registros asociado a la carga de TD y que será enviado al final del proceso vía correo electrónico, con el fin de informar al administrador el estado final de la carga.
Carga Tabla Estados
16
Otras Funcionalidades
La administración de Cada proceso tiene la capacidad de:
Reintentos: (Valor Paramétrico, default 3) de ejecuciones de Jobs una vez detectado la caída de alguno de ellos, si después de los reintentos definidos no logra auto recuperarse se da por abortado el Sistema.
Recuperación: Capacidad de Recuperar sólo los proceso abortados, para lo cual, se debe gatillar la misma Shell de Ejecución.
Para cada proceso se registrara las ejecuciones en las tablas de control internas como
corporativa.
Otras Funcionalidades
17
Tabla de Control• Ejemplos de cómo se visualizan los registro procesados en la tablas de control CDD, esta
tabla registra para ambos procesos sea este Proceso para el Modelo Oracle y Teradata
• CTR_CDD
• EJECUTA_PROCESOS
Tablas de Control
18
Tips para correcto funcionamiento del sistema
A continuación se detalla los tips de buenas practicas:
Se debe considerar que para una buena ejecución del proceso se debe encontrar 100% compilado
y sin errores. Se recomienda que mensualmente se realice una compilación completa del sistema.
Dado el gran volumen de archivos de procesamiento de datos a cargar diariamente , se
recomienda contar con al menos un 20% ó 10% de espacio libre en Unix.
Los Administradores de base de datos tanto de ORACLE, deben tener la preocupación de
mantener los tablespaces asignados con espacio suficiente.
Se recomienda realizar mantención semanal a las tablas de oracle con el objetivo de mantener los
índices actualizados.
Check List de Diagnostico
19
PREGUNTAS ¿ ?
Preguntas
Top Related