Exportar a SQL Server mediante la biblioteca de Python

Preparar el paquete

1. Cree un nuevo archivo llamado config.share con sus credenciales de recurso compartido delta en formato JSON.

2. Obtener los campos obligatorios.
   Nota: Estos detalles se pueden obtener en la aplicación web Procore Analytics.
   • ShareCredentialsVersion: número de versión (actualmente 1).
   • BearerToken: su token de acceso a recursos compartidos de Delta.
   • Punto final: la URL de punto final de su recurso compartido delta.
3. Descargue y extraiga el paquete.
4. Descomprima el paquete en un directorio de su elección.
5. Copie el archivo de perfil *.share de uso compartido delta en el directorio del paquete para acceder fácilmente.
   

Instalar dependencias

1. Abra un terminal en el directorio de paquetes.
2. Ejecute el siguiente comando para instalar las dependencias:
3. pip install -r requisitos.txt
   

Generar configuración

1. Genere el archivo config.yaml ejecutando python user_exp.py:
   Este script ayuda a generar el archivo config.yaml que contiene las credenciales y la configuración necesarias.
2. Al configurar la fuente de datos, se le pedirá que proporcione:
   • Lista de tablas (separadas por comas).
   • Deje en blanco para sincronizar todas las tablas.
     Ejemplo: `tabla1, tabla2, tabla3`.
   • Ruta a su archivo `config.share` archivo.
3. Por primera vez, proporcionará sus credenciales , como la ubicación de la configuración de origen del recurso compartido delta, las tablas, la base de datos, el host, etc.
   Nota: Posteriormente, puede reutilizar o actualizar la configuración manualmente o ejecutando python user_exp.py nuevamente.

Configurar trabajos cron y ejecución inmediata (opcional)

1. Decida si desea configurar un trabajo cron para la ejecución automática.
2. Proporcione una planificación cron:
   • Formato: * * * * * (minuto, hora, día del mes, mes, día de la semana).
   • Ejemplo de ejecución diaria a las 2:00: 0 2 * * *
   • Para comprobar los registros de planificación, se creará el archivo "procore_scheduling.log" en cuanto se configure la planificación.

También puede verificar la planificación ejecutando el comando en el terminal:

Para Linux y MacO:    

Para editar/eliminar: edite el cron de planificación usando:

• Después de ejecutar el comando anterior, debería ver algo similar a:
• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | while lee la línea; do echo "$(fecha) - $línea"; hecho >> /Users/su_usuario/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import
• También puede ajustar el cron de la planificación o eliminar toda la línea para detener su ejecución según la planificación.

Para Windows:

• Verifique que se haya creado la tarea de planificación:
  ```powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/eliminar - tarea de planificación:
  Abra el Programador de tareas:
  • Pulse Win + R, escriba taskchd.msc, y pulse Intro.
  • Vaya a las tareas planificadas.
  • En el panel izquierdo, expanda la Biblioteca del planificador de tareas.
  • Busque la carpeta donde está guardada su tarea (por ejemplo, la Biblioteca del Programador de tareas o una carpeta personalizada).
• Encuentre su tarea:
  • Busque el nombre de la tarea ProcoreDeltaShareScheduling.
  • Haga clic en él para ver sus detalles en el panel inferior.
• Verifique su planificación:
  • Consulte la pestaña Desencadenadores para ver cuándo está configurada la ejecución de la tarea.
  • Consulte la pestaña Historial para confirmar las ejecuciones recientes.
• Para eliminar una tarea:
  • Eliminar tarea de la GUI.

Pregunta de ejecución inmediata:

• Opción de ejecutar un script para copiar datos inmediatamente después de la configuración.
• Después de generar config.yaml, la CLI está lista para ejecutarse en cualquier momento de forma independiente, ejecutando un script para copiar datos, según su paquete. Vea ejemplos a continuación:
  pitón delta_share_to_azure_panda.py
  O
  python delta_share_to_sql_spark.py
  O
  pythondelta_share_to_azure_dfs_spark.py

Ejecución y mantenimiento

Problemas comunes y soluciones

1. Configuración de trabajo cron:
   • Asegúrese de que los permisos del sistema estén configurados correctamente.
   • Consulte los registros del sistema si el trabajo no se ejecuta.
   •  Verifique que el script delta_share_to_azure_panda.py tenga permisos de ejecución.
2. Archivo de configuración:
   • Asegúrese de que el archivo config.yaml esté en el mismo directorio que el script.
   • Haga una copia de seguridad del archivo antes de realizar cambios.

Soporte

Para obtener ayuda adicional:

1. Revise los registros de scripts para ver los mensajes de error detallados.
2. Vuelva a verificar el archivo config.yaml para ver si hay configuraciones incorrectas.
3. Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
4. Póngase en contacto con el soporte técnico de Procore para los problemas relacionados con el acceso a Delta Share.
5. Revise el registro de tablas con errores: fail_tables.log.

Notas

1. Siempre haga una copia de seguridad de sus archivos de configuración antes de realizar cambios.
2. Pruebe nuevas configuraciones en un entorno que no sea de producción para evitar interrupciones.