- Inicio
- Radioastronomia
- VLA CASA
- 1. Descripción General
- 2. Obtener pipeline
- 3. Requisitos del pipeline
- 4. Procesamiento automático para observaciones científícas
- 5. Corriendo el pipeline
- 6. Lo que obtienes: Productos de pipeline
- 7. Restablecer calibración de productos archivados
- 8. Flagueo adicional
- 9. Evitando una antena de referencia específica
- 10. Modificación del pipeline para datos del continuo para non-Stokes I
- 11. Problemas conocidos
- capitulo 4
- VLA CASA
- Fisica
- Algebra Lineal
- Astronomia General
- Noticias
6. Lo que obtienes: Productos de pipeline
La salida del pipeline del VLA incluye datos de productos tales como visibilidades calibradas, un blog y todas las mesas de calibración. Notar que la ejecución automática en el NRAO tambien ejecutará un paso adicional de presentación de datos (hifv_exportdata ''la cual mueve la mayoría de los archivos a un nivel más alto del directorio '../products'. Este paso es omitido en el manual de ejcución y todos los productos permanecen sin el directorio 'root' donde el pipeline fue ejecutado.
Los productos del pipeline más imporantes incluyen (mySDM es un marcador para el nombre SDM-BDF):
- Un MeasurementSet (MS) 'mySDM.ms' con indicadores aplicados visibilidades calibradas en la columna CORRECTED_DATA que puede ser usada para imagenes subsecuenes (directorio raíz).
- Un blog que es accesada a través del pipeline-YYYYMMDDTHHMMSSS/html/index.html, donde YYYYMMDDTHHMMSSS representa la fecha de la ejecución del pipeline (varias ejecuciones multiples resultaran en blogs múltiples). El blog contiene información de los pasos del proceso del pipeline con gráficas de diaginósitico y estadísticas. Un ejemplo se muestra en VLA pipeline CASA guide.
- Imágenes del calibrador para todos los spws (archivos que empiecen con 'oussid*' en el directorio raíz).
- Todas las tablas de calibración y el directorio 'mySDM.ms.flagversions' que contienen varios respaldos de indicadores hechos en varias etapas de la ejecución del pipeline (ver la sección Calibration Tables).
- Los mensajes logger de CASA casapy-YYYYMMDD-HHMMSS.log (en pipeline-YYYYMMDDTHHMMSSS/html/).
- 'casa_pipescript.py' (en pipeline-YYYYMMDDTHHMMSSS/html/), el script con las secuencias heuristícas reales del pipeline ejecutado y los parametros. Este archivo se puede usar para modificar y volver a ejecutar el pipeline (ver la sección The casa_pipescript.py file).
- 'casa_commands.log' (en pipeline-YYYYMMDDTHHMMSSS/html/), contienen los comandos actuales de CASA que fueron genrados por los heuristícos de pipeline (ver la sección The casa_commands.log file).
- La salida de las tareas de CASA listobs están disponibles en 'pipeline-YYYYMMDDTHHMMSSS/html/sessionSession_default/mySDM.ms/listobs.txt' y contienen las características de las observaciones (escaneos, campos fuente, configuración espectral, posición de antenas e información general):
- Como se menciono anteriormente en Automatic Processing for Science Observations, MS calibrados son solmamente guardados en el NRAO por un periodo de 15 días. Después de ese periodo, los productos del pipeline necesitan volver a ser aplicados a los datos sin elabolar, que tienen que ser descargados en el formato SDM-BDF del registro. Para preparse para este procedimiento de restablecimiento, el NRAO agrega la tarea del pipeline hifv_exportdata como último paso. Estas tablas de calibración de los paquetes de las tareas en 'unknown.session_1.caltables.tgz' e indicadores de respaldo en 'mySDM.ms.flagversions.tgz'. Un archivo de texto adicional, 'mySDM.ms.calapply.txt', tambien se producep por hifv_exportdata que usa las tareas de CASA applycal cuando restablece la calibración. El proceso de restablecimiento por sí mismo se efectua por un script llamado 'casa_piperestorescript.py'. Ver la sección Restore calibration from archived products para detalles en el procedimiento de restablecimiento.
VLA pipeline output includes data products such as calibrated visibilities, a weblog, and all calibration tables. Note that the automated execution at NRAO will also run an additional data packaging step (hifv_exportdata' which moves most of the files to an upper level '../products' directory. This step is omitted in the manual execution and all products remain within the 'root' directory where the pipeline was executed.
The most important pipeline products include (mySDM is a placeholder for the SDM-BDF name):
- A MeasurementSet (MS) 'mySDM.ms' with applied flags and calibrated visibilities in the CORRECTED_DATA column that can be used for subsequent imaging (root directory).
- A weblog that is accessible via pipeline-YYYYMMDDTHHMMSSS/html/index.html, where the YYYYMMDDTHHMMSSS stands for the pipeline execution time stamp (multiple pipeline executions will result in multiple weblogs). The weblog contains information on the pipeline processing steps with diagnostic plots and statistics. An example is given in the VLA pipeline CASA guide.
- Calibrator images for all spws (files start with 'oussid*' in the root directory).
- All calibration tables and the 'mySDM.ms.flagversions' directory that contains various flag backups made at various stages of the pipeline run (see section Calibration Tables).
- The casapy-YYYYMMDD-HHMMSS.log CASA logger messages (in pipeline-YYYYMMDDTHHMMSSS/html/).
- 'casa_pipescript.py' (in pipeline-YYYYMMDDTHHMMSSS/html/), the script with the actually executed pipeline heuristic sequence and parameters. This file can be used to modify and re-execute the pipeline (see section The casa_pipescript.py file).
- 'casa_commands.log' (in pipeline-YYYYMMDDTHHMMSSS/html/), which contains the actual CASA commands that were generated by the pipeline heuristics (see section The casa_commands.log file).
- The output from CASA's task listobs is available at 'pipeline-YYYYMMDDTHHMMSSS/html/sessionSession_default/mySDM.ms/listobs.txt' and contains the characteristics of the observations (scans, source fields, spectral setup, antenna positions, and general information).
- As previously mentioned in Automatic Processing for Science Observations, calibrated MSs are only stored at NRAO for a period of 15 days. After that period, the pipeline products need to be re-applied to the raw data that have to be downloaded in the SDM-BDF format from the archive. To prepare for this restoring procedure, NRAO adds the hifv_exportdata pipeline task as a last step. This task packages calibration tables in 'unknown.session_1.caltables.tgz' and flag backups in 'mySDM.ms.flagversions.tgz'. An additional text file, 'mySDM.ms.calapply.txt', is also produced by hifv_exportdata that CASA task applycal uses when restoring the calibration. The restoring process itself is performed by a script called 'casa_piperestorescript.py'. See the section Restore calibration from archived products for details on the restoration procedures.