Exportar a SQL Server mediante Python (SSIS)
Resumen
La herramienta Procore Analytics Cloud Connect Access es una interfaz de línea de comandos (CLI) que ayuda a configurar y gestionar las transferencias de datos de Procore a MS SQL Server. Consta de dos componentes principales:
- experiencia_usuario.py (Utilidad de configuración)
- delta_share_to_azure_panda.py (Script de sincronización de datos)
Requisitos
- Python y pip instalados en su sistema.
- Acceso a Procore Delta Share.
- credenciales de la cuenta de MS SQL Server.
- Instale las dependencias requeridas: pip install -rrequisites.txt.
Pasos
- Configuración inicial
- Sincronización de datos
- Configuración del recurso compartido delta
- Configuración del servidor MS SQL
- Configuración de SSIS
Configuración inicial
- Ejecute la utilidad de configuración:
python experiencia_usuario.py
Esto le ayudará a configurar lo siguiente:
- Configuración del origen del recurso compartido delta
- Configuración de destino de MS SQL Server
- Preferencias de planificación
Sincronización de datos
Después de la configuración, tiene dos opciones para ejecutar la sincronización de datos:
- Python de ejecución directa
delta_share_to_azure_panda.py
O - Ejecución planificada
Si se configura durante la configuración, el trabajo se ejecutará automáticamente de acuerdo con su planificación cron.
Configuración del recurso compartido delta
- Cree un nuevo archivo llamado config.share con sus credenciales de recurso compartido delta en formato JSON.
{
"shareCredentialsVersion": 1,
"bearerToken": "xxxxxxxxxxxxx",
"endpoint": "https://nvirginia. nube.databricks.c...astores/xxxxxx "
}
- Obtener los campos obligatorios:
Nota: Estos detalles se pueden obtener en la aplicación web Procore Analytics.- ShareCredentialsVersion: número de versión (actualmente 1).
- BearerToken: su token de acceso a recursos compartidos de Delta.
- Punto final: la URL de punto final de su recurso compartido delta.
- Guarde el archivo en una ubicación segura.
- Al configurar la fuente de datos, se le pedirá que proporcione:
- Lista de tablas (separadas por comas).
- Deje en blanco para sincronizar todas las tablas.
- Ejemplo: `tabla1,tabla2, tabla3`.
- Ruta a su archivo `config.share` archivo.
Configuración del servidor MS SQL
Deberá proporcionar los siguientes detalles de MS SQL Server:
- base de datos
- anfitrión
- contraseña
- esquema
- nombre de usuario
Configuración de SSIS
- Usando la línea de comando, vaya a la carpeta introduciendo"cd".<path to the folder>
- Instale los paquetes necesarios utilizando "pip install -rrequisites.txt"o"python -m pip install -rrequisites.txt".
- Abra SSIS y cree un nuevo proyecto.
- Desde el Cuadro de herramientas de SSIS, arrastrar y soltar la actividad "Ejecutar tarea de proceso".
- Haga doble clic en "Ejecutar tarea de proceso" y vaya a la pestaña Proceso.
- En "Ejecutable", introduzca la ruta de python.exe en la carpeta de instalación de python.
- En "WorkingDirectory", introduzca una ruta a la carpeta que contiene el script que desea ejecutar (sin el nombre del archivo de script).
- En "Argumentos", introduzca el nombre del script "delta_share_to_azure_panda.py". desea ejecutar con el.py extensión y guardar.
- Haga clic en el botón "Inicio" en el panel superior:
- Durante la ejecución de la tarea, el resultado de la consola de Python se muestra en la ventana de la consola externa.
- Una vez que la tarea haya finalizado, mostrará una marca de verificación verde: