Q&A

En esta sección, se describen las preguntas necesarias para resolver al momento de definir criterios y convenciones.

1. ¿Cómo debemos setear el basicConfig() del logger?

No será necesario realizar una acción logging al iniciar del DAG. Está bien con hacer log dentro de las acciones. No será necesario definir un filename en la configuración. Los logs quedarán en la consola.

2. ¿Cómo establecer los parámetros de conexión a la base de datos de Universidades?

No será necesario realizar un archivo .env para definir. Es necesario configurar el browser con los datos que ya tenemos de la base de datos. Es necesario definir el nombre entre todos de la conexión (pregunta 5.).

3. ¿Cómo debemos definir el nombre de los tasks?
4. ¿Qué operadores/hooks son más convenientes para cada task?

Para la extracción, se debe usar el PythonOperator y dentro de esa función llamada, instanciar el PostgresHook ya que con él se puede obtener una extracción de la información usando copy_expert. Chequear link. Para la transformación, se usa PythonOperator. Para la carga, se debe usar LocalFilesystemToS3Operator. Se puede obtener información en este link.

5. ¿Qué nombre definimos para la conexión a la base de datos?

Se define el nombre del connection ID: se propone 'db_universidades_postgres'.

6. Para guardar los archivos de transformación ¿se elije la carpeta plugins (ya en la estructura propuesta por Astronomer) o la carpeta libs?

Se deja de forma momentánea el archivo de transformación con pandas dentro del archivo de DAG.