Introducción a Procore Analytics 2.0

Configuración inicial

• Ejecute la utilidad de configuración:
  python experiencia_usuario.py

Esto le ayudará a configurar lo siguiente:

• Configuración del origen del recurso compartido delta
• Configuración de destino de MS SQL Server
• Preferencias de planificación

Sincronización de datos

Después de la configuración, tiene dos opciones para ejecutar la sincronización de datos:

1. Python de ejecución directa
   delta_share_to_azure_panda.py
   O
2. Ejecución planificada
   Si se configura durante la configuración, el trabajo se ejecutará automáticamente de acuerdo con su planificación cron.

Configuración del recurso compartido delta

1. Cree un nuevo archivo llamado config.share con sus credenciales de recurso compartido delta en formato JSON.

2. Obtener los campos obligatorios:
   Nota: Estos detalles se pueden obtener en la aplicación web Procore Analytics.
   • ShareCredentialsVersion: número de versión (actualmente 1).
   • BearerToken: su token de acceso a recursos compartidos de Delta.
   • Punto final: la URL de punto final de su recurso compartido delta.
   • Guarde el archivo en una ubicación segura.
3. Al configurar la fuente de datos, se le pedirá que proporcione:
   • Lista de tablas (separadas por comas).
   • Deje en blanco para sincronizar todas las tablas.
   • Ejemplo: `tabla1,tabla2,  tabla3`.
   • Ruta a su archivo `config.share` archivo.

Configuración del servidor MS SQL

Deberá proporcionar los siguientes detalles de MS SQL Server:

• base de datos
• anfitrión
• contraseña
• esquema
• nombre de usuario

Configuración de SSIS

1. Usando la línea de comando, vaya a la carpeta introduciendo"cd".<path to the folder>
2. Instale los paquetes necesarios utilizando "pip install -rrequisites.txt"o"python -m pip install -rrequisites.txt".
3. Abra SSIS y cree un nuevo proyecto.
4. Desde el Cuadro de herramientas de SSIS, arrastrar y soltar la actividad "Ejecutar tarea de proceso".
   
   
5. Haga doble clic en "Ejecutar tarea de proceso" y vaya a la pestaña Proceso.
6. En "Ejecutable", introduzca la ruta de python.exe en la carpeta de instalación de python.
7. En "WorkingDirectory", introduzca una ruta a la carpeta que contiene el script que desea ejecutar (sin el nombre del archivo de script).
8. En "Argumentos", introduzca el nombre del script "delta_share_to_azure_panda.py". desea ejecutar con el.py extensión y guardar.
   
   
    
9. Haga clic en el botón "Inicio" en el panel superior:
   
10. Durante la ejecución de la tarea, el resultado de la consola de Python se muestra en la ventana de la consola externa.
11. Una vez que la tarea haya finalizado, mostrará una marca de verificación verde:
    
    

Preparar el paquete

1. Cree un nuevo archivo llamado config.share con sus credenciales de recurso compartido delta en formato JSON.

2. Obtener los campos obligatorios.
   Nota: Estos detalles se pueden obtener en la aplicación web Procore Analytics.
   • ShareCredentialsVersion: número de versión (actualmente 1).
   • BearerToken: su token de acceso a recursos compartidos de Delta.
   • Punto final: la URL de punto final de su recurso compartido delta.
3. Descargue y extraiga el paquete.
4. Descomprima el paquete en un directorio de su elección.
5. Copie el archivo de perfil *.share de uso compartido delta en el directorio del paquete para acceder fácilmente.
   

Instalar dependencias

1. Abra un terminal en el directorio de paquetes.
2. Ejecute el siguiente comando para instalar las dependencias:
3. pip install -r requisitos.txt
   

Generar configuración

1. Genere el archivo config.yaml ejecutando python user_exp.py:
   Este script ayuda a generar el archivo config.yaml que contiene las credenciales y la configuración necesarias.
2. Al configurar la fuente de datos, se le pedirá que proporcione:
   • Lista de tablas (separadas por comas).
   • Deje en blanco para sincronizar todas las tablas.
     Ejemplo: `tabla1, tabla2, tabla3`.
   • Ruta a su archivo `config.share` archivo.
3. Por primera vez, proporcionará sus credenciales , como la ubicación de la configuración de origen del recurso compartido delta, las tablas, la base de datos, el host, etc.
   Nota: Posteriormente, puede reutilizar o actualizar la configuración manualmente o ejecutando python user_exp.py nuevamente.

Configurar trabajos cron y ejecución inmediata (opcional)

1. Decida si desea configurar un trabajo cron para la ejecución automática.
2. Proporcione una planificación cron:
   • Formato: * * * * * (minuto, hora, día del mes, mes, día de la semana).
   • Ejemplo de ejecución diaria a las 2:00: 0 2 * * *
   • Para comprobar los registros de planificación, se creará el archivo "procore_scheduling.log" en cuanto se configure la planificación.

También puede verificar la planificación ejecutando el comando en el terminal:

Para Linux y MacO:    

Para editar/eliminar: edite el cron de planificación usando:

• Después de ejecutar el comando anterior, debería ver algo similar a:
• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | while lee la línea; do echo "$(fecha) - $línea"; hecho >> /Users/su_usuario/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import
• También puede ajustar el cron de la planificación o eliminar toda la línea para detener su ejecución según la planificación.

Para Windows:

• Verifique que se haya creado la tarea de planificación:
  ```powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/eliminar - tarea de planificación:
  Abra el Programador de tareas:
  • Pulse Win + R, escriba taskchd.msc, y pulse Intro.
  • Vaya a las tareas planificadas.
  • En el panel izquierdo, expanda la Biblioteca del planificador de tareas.
  • Busque la carpeta donde está guardada su tarea (por ejemplo, la Biblioteca del Programador de tareas o una carpeta personalizada).
• Encuentre su tarea:
  • Busque el nombre de la tarea ProcoreDeltaShareScheduling.
  • Haga clic en él para ver sus detalles en el panel inferior.
• Verifique su planificación:
  • Consulte la pestaña Desencadenadores para ver cuándo está configurada la ejecución de la tarea.
  • Consulte la pestaña Historial para confirmar las ejecuciones recientes.
• Para eliminar una tarea:
  • Eliminar tarea de la GUI.

Pregunta de ejecución inmediata:

• Opción de ejecutar un script para copiar datos inmediatamente después de la configuración.
• Después de generar config.yaml, la CLI está lista para ejecutarse en cualquier momento de forma independiente, ejecutando un script para copiar datos, según su paquete. Vea ejemplos a continuación:
  pitón delta_share_to_azure_panda.py
  O
  python delta_share_to_sql_spark.py
  O
  pythondelta_share_to_azure_dfs_spark.py

Ejecución y mantenimiento

Problemas comunes y soluciones

1. Configuración de trabajo cron:
   • Asegúrese de que los permisos del sistema estén configurados correctamente.
   • Consulte los registros del sistema si el trabajo no se ejecuta.
   •  Verifique que el script delta_share_to_azure_panda.py tenga permisos de ejecución.
2. Archivo de configuración:
   • Asegúrese de que el archivo config.yaml esté en el mismo directorio que el script.
   • Haga una copia de seguridad del archivo antes de realizar cambios.

Soporte

Para obtener ayuda adicional:

1. Revise los registros de scripts para ver los mensajes de error detallados.
2. Vuelva a verificar el archivo config.yaml para ver si hay configuraciones incorrectas.
3. Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
4. Póngase en contacto con el soporte técnico de Procore para los problemas relacionados con el acceso a Delta Share.
5. Revise el registro de tablas con errores: fail_tables.log.

Notas

1. Siempre haga una copia de seguridad de sus archivos de configuración antes de realizar cambios.
2. Pruebe nuevas configuraciones en un entorno que no sea de producción para evitar interrupciones.

Preparar el paquete

1. Cree un nuevo archivo llamado config.share con sus credenciales de recurso compartido delta en formato JSON.

2. Obtener los campos obligatorios.
   Nota: Estos detalles se pueden obtener en la aplicación web Procore Analytics.
   • ShareCredentialsVersion: número de versión (actualmente 1).
   • BearerToken: su token de acceso a recursos compartidos de Delta.
   • Punto final: la URL de punto final de su recurso compartido delta.
3. Descargue y extraiga el paquete.
4. Descomprima el paquete en un directorio de su elección.
5. Copie el archivo de perfil *.share de uso compartido delta en el directorio del paquete para acceder fácilmente.
   

Instalar dependencias

1. Abra un terminal en el directorio de paquetes.
2. Ejecute el siguiente comando para instalar las dependencias:
3. pip install -r requisitos.txt
   

Generar configuración

1. Genere el archivo config.yaml ejecutando python user_exp.py:
   Este script ayuda a generar el archivo config.yaml que contiene las credenciales y la configuración necesarias.
2. Al configurar la fuente de datos, se le pedirá que proporcione:
   • Lista de tablas (separadas por comas).
   • Deje en blanco para sincronizar todas las tablas.
     Ejemplo: `tabla1, tabla2, tabla3`.
   • Ruta a su archivo `config.share` archivo.
3. Por primera vez, proporcionará sus credenciales , como la ubicación de la configuración de origen del recurso compartido delta, las tablas, la base de datos, el host, etc.
   Nota: Posteriormente, puede reutilizar o actualizar la configuración manualmente o ejecutando python user_exp.py nuevamente.

Configurar trabajos cron y ejecución inmediata (opcional)

1. Decida si desea configurar un trabajo cron para la ejecución automática.
2. Proporcione una planificación cron:
   • Formato: * * * * * (minuto, hora, día del mes, mes, día de la semana).
   • Ejemplo de ejecución diaria a las 2:00: 0 2 * * *
   • Para comprobar los registros de planificación, se creará el archivo "procore_scheduling.log" en cuanto se configure la planificación.

También puede verificar la planificación ejecutando el comando en el terminal:

Para Linux y MacO:    

Para editar/eliminar: edite el cron de planificación usando:

• Después de ejecutar el comando anterior, debería ver algo similar a:
• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | while lee la línea; do echo "$(fecha) - $línea"; hecho >> /Users/su_usuario/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import
• También puede ajustar el cron de la planificación o eliminar toda la línea para detener su ejecución según la planificación.

Para Windows:

• Verifique que se haya creado la tarea de planificación:
  ```powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/eliminar - tarea de planificación:
  Abra el Programador de tareas:
  • Pulse Win + R, escriba taskchd.msc, y pulse Intro.
  • Vaya a las tareas planificadas.
  • En el panel izquierdo, expanda la Biblioteca del planificador de tareas.
  • Busque la carpeta donde está guardada su tarea (por ejemplo, la Biblioteca del Programador de tareas o una carpeta personalizada).
• Encuentre su tarea:
  • Busque el nombre de la tarea ProcoreDeltaShareScheduling.
  • Haga clic en él para ver sus detalles en el panel inferior.
• Verifique su planificación:
  • Consulte la pestaña Desencadenadores para ver cuándo está configurada la ejecución de la tarea.
  • Consulte la pestaña Historial para confirmar las ejecuciones recientes.
• Para eliminar una tarea:
  • Eliminar tarea de la GUI.

Pregunta de ejecución inmediata:

• Opción de ejecutar un script para copiar datos inmediatamente después de la configuración.
• Después de generar config.yaml, la CLI está lista para ejecutarse en cualquier momento de forma independiente, ejecutando un script para copiar datos, según su paquete. Vea ejemplos a continuación:
  pitón delta_share_to_azure_panda.py
  O
  python delta_share_to_sql_spark.py
  O
  pythondelta_share_to_azure_dfs_spark.py

Ejecución y mantenimiento

Problemas comunes y soluciones

1. Configuración del trabajo de cron:
   • Asegúrese de que los permisos del sistema estén configurados correctamente.
   • Consulte los registros del sistema si el trabajo no se ejecuta.
   •  Verifique que el script delta_share_to_azure_panda.py tenga permisos de ejecución.
2. Archivo de configuración:
   • Asegúrese de que el archivo config.yaml esté en el mismo directorio que el script.
   • Haga una copia de seguridad del archivo antes de realizar cambios.

Soporte

Para obtener ayuda adicional:

1. Revise los registros de scripts para ver los mensajes de error detallados.
2. Vuelva a verificar el archivo config.yaml para ver si hay configuraciones incorrectas.
3. Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
4. Póngase en contacto con el soporte técnico de Procore para los problemas relacionados con el acceso a Delta Share.
5. Revise el registro de tablas con errores: fail_tables.log.

Notas

1. Siempre haga una copia de seguridad de sus archivos de configuración antes de realizar cambios.
2. Pruebe nuevas configuraciones en un entorno que no sea de producción para evitar interrupciones.

Cambiar a la experiencia de la factoría de datos

1. Vaya a Microsoft Fabric Workspace.
   
    
2. Seleccione Nuevo y, a continuación,elija Dataflow Gen2.
   

Configurar el flujo de datos

1. Vaya al editor de flujos de datos.
2. Haga clic en Obtener datos y seleccione Más.
3. En Nuevo origen, seleccione Otros de colaboración delta como origen de datos.
   
4. Introduzca los siguientes detalles:
   • URL: del archivo de configuración de uso compartido delta.
   • Token de portador: se encuentra en el archivo config.share.
     
5. Haga clic en Siguiente y seleccione las tablas deseadas.
6. Haga clic en Crear para completar la configuración.

Realizar transformaciones de datos

Después de configurar el flujo de datos, ahora puede aplicar transformaciones a los datos delta compartidos. Elija su opción de datos compartidos delta de la lista siguiente:

• Añadir destino de datos
• Crear/Abrir refugio del lago

Añadir destino de datos

1. Vaya a Factoría de datos.
2. Haga clic en Añadir destino de datos.
3. Seleccione Lakehouse como destino y haga clic en Siguiente.
4. Elija su objetivo de destino y confírmelo haciendo clic en Siguiente.

Crear: abrir la casita del lago

1. Cree/abra su lago y haga clic en Obtener datos.
2. Seleccione Nuevo Dataflow Gen2.
3. Haga clic en Obtener datos, luego en Más y busque Uso compartido delta.
4. Introduzca el token de portador de URL del archivo config.share y luego seleccione Siguiente.
5. Elija los datos o las tablas que desea descargar y haga clic en Siguiente.
6. Después de estas manipulaciones, debería tener todos los datos seleccionados en Fabric Lakehouse.

Validación y seguimiento

Pruebe sus flujos y canalizaciones de datos para garantizar una ejecución sin problemas. Utilice herramientas de supervisión dentro de los datos.
Factory para realizar un seguimiento del progreso y los registros de cada actividad.

Configurar configuración

1. Crear config.yaml y defina la configuración en la siguiente estructura
   configuración_fuente:
       config_path: ruta/a/su/archivo-de-credenciales-para-compartir-delta.share.
   tablas: # Opcional - Dejar en blanco para procesar todas las tablas
       - nombre_tabla1
       - nombre_tabla2
   configuración_destino:
       lakehouse_path: ruta/a/su/fabric/lakehouse/Tables/ # Ruta a Fabric Lakehouse

Configurar la casa del lago

1. Abra su área de trabajo de Microsoft Fabric.
2. Vaya a Lakehouse y haga clic en Abrir libreta y luego en Nueva libreta.
3. Si no conoce el valor en config.yaml#lakehouse_path, puede copiarlo desde la pantalla.
4. Haga clic en los puntos suspensivos en Archivos y seleccione Copiar ruta ABFS: clipboard_e390331535300f7f89fd0a91c9a3adebe.png" src="./clipboard_e390331535300f7f89fd0a91c9a3adebe.png" />
   
   
   

3. Copie el código de ds_to_lakehouse.py y péguelo en la ventana del cuaderno (Pyspark Python):

El siguiente paso es cargar su propio config.yaml y config.share en la carpeta Resources de Lakehouse. Puede crear su propio directorio o utilizar un directorio integrado (ya creado para recursos por Lakehouse):

El siguiente ejemplo muestra un directorio integrado estándar para un archivo config.yaml.
Nota: asegúrese de cargar ambos archivos en el mismo nivel y para la propiedad config_path:

4. Verifique el código del bloc de notas, líneas 170-175.
El siguiente ejemplo muestra los cambios de línea necesarios:

ruta_config = "./env/config.yaml"

a 

ruta_config = "./incorporado/config.yaml "

Dado que los archivos están en una carpeta integrada y no en un sobre personalizado, asegúrese de supervisar su propia estructura de archivos. Puede cargarlos en diferentes carpetas, pero en tales casos, actualice el código del cuaderno para encontrar el archivo config.yaml correctamente.
 

5. Haga clic en Ejecutar celda:

Validación

• Una vez que se complete el trabajo, verifique que los datos se hayan copiado correctamente en la casa del lago.
• Verifique las tablas especificadas y asegúrese de que los datos coincidan con las tablas delta compartidas.
• Espere hasta que termine el trabajo; debería copiar todos los datos.

Preparar el paquete

1. Descargue el paquete requerido (adls_azure_function o sql_server_azure_function).
2. Extraiga los archivos del paquete en un directorio local.
3. Coloque el archivo de uso compartido delta:
   • Copie el archivo de perfil *.share de uso compartido delta en el directorio extraído.

 Instalar dependencias

1. Abra un terminal en el directorio de paquetes.
2. Ejecute el siguiente comando para instalar las dependencias de Python necesarias:
   • pip install -r requisitos.txt

Generar configuración

1. Generar config.yaml archivo ejecutando:
   • python experiencia_usuario.py
2. El script le pedirá que introduzca credenciales como:
   • Tablas
   • Nombre de la base de datos
   • anfitrión
   • credenciales adicionales...
3. La configuración se puede reutilizar o actualizar manualmente o volviendo a ejecutar python user_exp.py.

 Configuración de la CLI de Azure

1. Inicie sesión en Azure.
2. Ejecute el siguiente comando para iniciar sesión:
   inicio de sesión az
3. Verificar cuenta de Azure:
   • Mostrar cuenta az
   • Si la az no está disponible, instale la CLI de Azure siguiendo las instrucciones que se encuentran aquí: Microsoft Learn.

Instalar las Herramientas esenciales de Azure Functions

ir a

Preparar la función de Azure

1. Utilizar el
   Azure Portal guide
   para crear lo siguiente:
   • Una aplicación de funciones
   • Un grupo de recursos
   • Plan de consumo
   • Cuenta de almacenamiento
2. Establecer planificación de cron personalizada (opcional).
   • Abra function_app.py en un editor.
   • Busque la línea: @app.timer_trigger(schedule="0 0 */8 * * *",
3. Reemplace la planificación por su expresión de cron personalizada y guarde el archivo.

Despliegue

1. Abra un terminal en el directorio del paquete (adls_azure_function).
2. Ejecute el siguiente comando de implementación:
   • func azure functionapp Publish <Nombre de la <FunctionAppName> aplicación de función> --build remoto --python --clean
3. Reemplace <FunctionAppName> por el nombre de la aplicación de funciones de Azure en su suscripción de Azure.

Validación

• Asegúrese de que la implementación se realice correctamente comprobando en Azure Portal el estado de su aplicación de funciones.
• Supervise los registros para verificar que la función se ejecuta como se esperaba.

Acceder al flujo de datos de 2.ª generación

1. Inicie sesión en su cuenta de Microsoft Fabric.
2. Vaya al área de trabajo.
3. Seleccione "Flujo de datos Gen2" entre las opciones disponibles.

Configurar fuente de datos

1. Haga clic en "Datos de otra fuente" para comenzar la configuración.
2. Desde la pantalla Obtener datos, haga lo siguiente:
   • Busque la barra de búsqueda con la etiqueta "Elegir fuente de datos".
   • Escriba "uso compartido delta" en el campo de búsqueda.
   • Seleccione Colaboración delta en los resultados.
     
     

Configurar conexión delta compartida

1. Introduzca sus credenciales de Delta Share cuando se le solicite.
   • Asegúrese de que todos los campos obligatorios se completen con precisión.
   • Valide la conexión si es posible.
2. Haga clic en "Siguiente" para continuar.
3. Revise la lista de tablas disponibles:
   • Se mostrarán todas las mesas a las que tenga acceso.
   • Seleccione las tablas deseadas para la transferencia.
     

Configurar destino de datos

1. Haga clic en "Añadir destino de datos".
2. Seleccione "Almacén SQL" como destino.
   
3. Introduzca las credenciales de SQL:
   • Detalles del servidor.
   • Información de autenticación.
   • especificaciones de la base de datos.
   • Verifique la configuración de la conexión.

Finalizar e implementar

1. Revise todas las configuraciones.
2. Haga clic en "Publicar" para implementar el flujo de datos.
3. Espere el mensaje de confirmación.

Verificación

1. Acceda a su almacén de SQL.
2. Verifique que los datos estén disponibles y correctamente estructurados.
3. Ejecute consultas de prueba para garantizar la integridad de los datos.

Resolución de problemas

Problemas comunes y soluciones:

• Errores de conexión: verifique las credenciales y la conectividad de red.
• Faltan tablas: verifique los permisos del recurso compartido delta.
• Problemas de rendimiento: revise la asignación de recursos y la configuración de optimización.

Configuración inicial

Ejecute la utilidad de configuración utilizando python user_exp.py.

Sincronización de datos

Después de la configuración, tiene dos opciones para ejecutar la sincronización de datos: 

• Ejecución directa:
  • pitón ds_to_snowflake.py
• Ejecución planificada
  • Si se configura durante la configuración, el trabajo se ejecutará automáticamente de acuerdo con su planificación de Cron.
  • Para comprobar los registros de planificación, se creará el archivo `procore_scheduling.log` en cuanto se configure la planificación.
  • Además, puede verificar la planificación ejecutando el comando en el terminal:

Para Linux y macOS:

• Para editar/eliminar: edite el cron de planificación usando:

  ```golpe
  
  EDITOR=nano crontab -e
  
  ```

• Después de ejecutar el comando anterior, debería ver algo similar a:

  2 * * * *
  /Users/su_usuario/copo de nieve/venv/bin/python
  
   /Users/su_usuario/copo de nieve/sql_server_python/connection_config.py
  2>&1 | while lee la línea; do echo "$(fecha) - $línea"; hecho>>
  
   /Users/su_usuario/snowflake/sql_server_python/procore_scheduling.log # procore-data-import 

   
• También puede ajustar el cron de la planificación o eliminar toda la línea para detener su ejecución según la planificación.

Para Windows:

• Verifique que se haya creado la tarea de planificación: 

  ```
      PowerShell 
  
      schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v 
  
  ``` 

• Editar/eliminar una tarea de planificación, abra el Planificador de tareas.
• Pulse Win + R, escriba tareaschd.msc, y pulse Intro. 
• Vaya a las tareas planificadas. 
• En el panel izquierdo, expanda la Biblioteca del planificador de tareas. 
• Busque la carpeta donde está guardada su tarea:
  Ejemplo: Biblioteca del Planificador de tareas o una carpeta personalizada.
• Encuentre su tarea.
• Busque el nombre de la tarea: ProcoreDeltaShareScheduling. 
• Haga clic en él para ver los detalles en el panel inferior. 
• Verifique su planificación: 
  • Consulte la pestaña Desencadenadores para ver cuándo está configurada la ejecución de la tarea. 
  • Consulte la pestaña Historial para confirmar las ejecuciones recientes. 
• Para eliminar una tarea: 
  • Eliminar tarea de la GUI.

Configuración del recurso compartido delta

• Creación del archivo config.share 
• Antes de ejecutar la utilidad de configuración, debe crear un archivo config.share con sus credenciales de Delta Share. El archivo debe estar en formato JSON: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxx", 
  "endpoint": "https://nvirginia. nube.databricks.c...astores/xxxxxx "
  
  } 

   

• Campos obligatorios: 
  • ShareCredentialsVersion: número de versión (actualmente 1). 
  • BearerToken: su token de acceso a recursos compartidos de Delta.
  • Punto final: la URL de punto final de su recurso compartido delta.
  • Estos detalles se pueden obtener en la interfaz de usuario web de Procore.
• Pasos para crear config.share: 
  • Cree un nuevo archivo denominado config.share.
  • Copie la plantilla JSON anterior. 
  • Reemplace los valores del marcador de posición por sus credenciales reales. 
  • Guarde el archivo en una ubicación segura. 
  • Deberá proporcionar la ruta de acceso a este archivo durante la configuración. Al configurar la fuente de datos, se le pedirá que proporcione:
    • Lista de tablas (separadas por comas).
    • Deje en blanco para sincronizar todas las tablas.
    • Ejemplo: tabla1, tabla2, tabla3.
• Ruta de acceso al archivo config.share.

Configuración de copo de nieve

Deberá proporcionar los siguientes detalles de Snowflake:

• Autenticación (elija una): 
  • Autenticación de usuario 
    • Nombre de usuario 
    • Contraseña (introducida de forma segura) 
• Autenticación de par de claves
  • Nombre de usuario 
  • Ruta del archivo de clave privada
  • Contraseña del archivo de clave privada 
• Detalles de conexión: 
  • Identificador de cuenta 
  • Nombre de almacén 
  • Nombre de la base de datos 
  • Nombre de esquema 
  • Número de subprocesos simultáneos 

Opciones de planificación

La herramienta ofrece la posibilidad de planificar la sincronización automática de datos.

• Configuración de trabajo cron 
  • Elegir si configurar un proyecto diario 
  • En caso afirmativo, proporcione una planificación cron 
  • Formato: * * * * * (minuto hora día del mes mes día de la semana)
  • Ejemplo de diario a las 2:00: 0 2 * * * 
• Ejecución inmediata 
  • Opción para ejecutar ds_to_snowflake.py inmediatamente después de la configuración  
• Estructura de archivos

  desarmar 
  ├── requisitos.txt                    N.º de dependencias 
  ├── experiencia_usuario.py                                # Utilidad de configuración
  ├── ds_to_snowflake.py                # Script de sincronización de datos
  ├── config.yaml                                  # Configuración generada
  ├── compartir configuración                               # Archivo de configuración de recurso compartido delta
  ├── procore_scheduling.log       N.º registro de ejecuciones de planificación 

  
  Ejemplo de uso 
  • Paso 1: Instalar las dependencias 
    $ pip install -r requisitos.txt
  • Paso 2: Ejecutar la utilidad de configuración 
    $ python experiencia_usuario.py 
  • Acceso a Procore Analytics Cloud Connect 
    • Esta CLI lo ayudará a elegir la tienda de origen y de destino para acceder a los datos de Procore o escribirlos en Snowflake. 
    • Pulse Intro para continuar.
    • Introduzca la lista de tablas (separadas por comas). Déjelo en blanco para todas las tablas: proyectos, usuarios, tareas.
    • Introduzca la ruta a config.share: /ruta/a/config.share.
    • Introduzca el nombre de usuario: snowflake_user.
    • ¿Qué tipo de autenticación desea utilizar? (usuario/par de llaves): Intro.
    • 1 para el usuario,
    • 2 por par de claves:
    • 1 
    • Introduzca la contraseña: ******** 
    • Introduzca la cuenta: mi_cuenta 
    • Introduzca el almacén: mi_almacén 
    • Introduzca el nombre de la base de datos: procore_db
    • Introduzca el nombre del esquema: procore_schema 
    • Introduzca el número de subprocesos: 4 
    • ¿Desea configurar esto como un trabajo diario en cron? (Sí/No): Sí 
    • Introduzca la planificación en formato cron (p. ej., * * * * * ): 0 2 * * * 
    • ¿Desea ejecutar el trabajo ahora? (Sí/No): Sí 
  • Paso 3: Ejecución manual (si es necesario)
    $ python ds_to_snowflake.py 
• Reutilización de configuración
  La herramienta guarda su configuración en el archivo config.yaml y ofrece reutilizar la configuración almacenada anteriormente: 
  • La configuración de origen se puede reutilizar.
  • La configuración de destino (copo de nieve) se puede reutilizar. 
  • Puede optar por actualizar cualquiera de las configuraciones de forma independiente.

Mejores prácticas 

• Autenticación
  • Utilice la autenticación de par de claves cuando sea posible.
  • Rote regularmente las credenciales. 
  • Utilice los permisos mínimos necesarios.
• Rendimiento 
  • Ajuste el número de subprocesos según las capacidades de su sistema. 
  • Comience con un subconjunto más pequeño de tablas para realizar pruebas.

Resolución de problemas 

• Problemas comunes y soluciones: 
  • Tipo de autenticación no válido 
    • Asegúrese de seleccionar "1" (usuario) o "2" (par de claves) cuando se le solicite.
• Configuración de trabajo cron  
  • Verifique que tiene los permisos del sistema adecuados.
  • Consulte los registros del sistema si el trabajo no se ejecuta.
  • Asegúrese de que ds_to_snowflake.py tenga los permisos correctos. 
  • Verifique la configuración del trabajo cron consultando los registros del sistema:
    Consulte el archivo `procore_scheduling.log` .
• Archivo de configuración
  • Ubicado en el mismo directorio que el script,
  • Llamado config.yaml.
  • Haga una copia de seguridad antes de realizar cambios.
• Soporte
  • Verifique el resultado del registro del script. 
  • Revise su archivo config.yaml . 
  • Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
  • Póngase en contacto con el soporte técnico de Procore si tiene problemas de acceso a recursos compartidos delta.

Nota: Recuerde siempre hacer una copia de seguridad de su configuración antes de realizar cambios y probar nuevas configuraciones primero en un entorno que no sea de producción.
 

Configuración inicial

Ejecute la utilidad de configuración utilizando python user_exp.py.

Esto le ayudará a configurar lo siguiente:

• Configuración del recurso compartido delta
• Configuración de destino de S3
• Preferencias de planificación 

Configuración del recurso compartido delta

• Creación del archivo config.share 
• Antes de ejecutar la utilidad de configuración, debe crear un archivo config.share con sus credenciales de Delta Share. El archivo debe estar en formato JSON: 

  { 

  "shareCredentialsVersion": 1, 
  "bearerToken": "xxxxxxxxxxxxx", 
  "endpoint": "xxxxxx"
  
  } 

• Campos obligatorios: 
  • ShareCredentialsVersion: número de versión (actualmente 1). 
  • BearerToken: su token de acceso a recursos compartidos de Delta.
  • Punto final: la URL de punto final de su recurso compartido delta.
  • Estos detalles se pueden obtener en la interfaz de usuario web de Procore.
• Pasos para crear config.share: 
  • Cree un nuevo archivo denominado config.share.
  • Copie la plantilla JSON anterior. 
  • Reemplace los valores del marcador de posición por sus credenciales reales. 
  • Guarde el archivo en una ubicación segura. 
  • Deberá proporcionar la ruta de acceso a este archivo durante la configuración. Al configurar la fuente de datos, se le pedirá que proporcione:
    • Lista de tablas (separadas por comas).
    • Deje en blanco para sincronizar todas las tablas.
    • Ejemplo: tabla1, tabla2, tabla3.
• Ruta de acceso al archivo config.share.

Configuración de S3

Deberá proporcionar los siguientes detalles de S3:

• Autenticación:
  • Clave de acceso
  • Clave secreta
  • Nombre del depósito sin s3://
  • clave - directorio 

Opciones de planificación

La herramienta ofrece la posibilidad de planificar la sincronización automática de datos.

• Configuración de trabajo cron 
  • Elija si desea configurar un proyecto diario. 
  • En caso afirmativo, proporcione una planificación cron. 
  • Formato: * * * * * (minuto hora día del mes mes día de la semana).
  • Ejemplo de diario a las 2:00: 0 2 * * * 
  • Para comprobar los registros de planificación, se creará el archivo "procore_scheduling.log" en cuanto se configure la planificación.

También puede verificar la planificación ejecutando el comando en el terminal

Para Linux y MacO:    

Para editar/eliminar: edite el cron de planificación usando:

• Después de ejecutar el comando anterior, debería ver algo similar a:
• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | while lee la línea; do echo "$(fecha) - $línea"; hecho >> /Users/su_usuario/copo de nieve/sql_server_python/procore_scheduling.log # procore-data-import
• También puede ajustar el cron de la planificación o eliminar toda la línea para detener su ejecución según la planificación.

Para Windows:

• Verifique que se haya creado la tarea de planificación:
  ```powershell
  schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  ```
• Para editar/eliminar - tarea de planificación:
  Abra el Programador de tareas:
  • Pulse Win + R, escriba taskchd.msc, y pulse Intro.
  • Vaya a las tareas planificadas.
  • En el panel izquierdo, expanda la Biblioteca del planificador de tareas.
  • Busque la carpeta donde está guardada su tarea (por ejemplo, la Biblioteca del Programador de tareas o una carpeta personalizada).
• Encuentre su tarea:
  • Busque el nombre de la tarea ProcoreDeltaShareScheduling.
  • Haga clic en él para ver sus detalles en el panel inferior.
• Verifique su planificación:
  • Consulte la pestaña Desencadenadores para ver cuándo está configurada la ejecución de la tarea.
  • Consulte la pestaña Historial para confirmar las ejecuciones recientes.
• Para eliminar una tarea:
  • Eliminar tarea de la GUI.

• Ejecución inmediata 
  • Opción para ejecutar delta_share_to_s3_.py Estructura de archivos

• desarmar 
  
  ├── requisitos.txt                    N.º de dependencias 
  ├── experiencia_usuario.py                                # Utilidad de configuración
  ├── delta_share_to_s3.py            # Script de sincronización de datos
  ├── config.yaml                                  # Configuración generada
  ├── compartir configuración                               # Archivo de configuración de recurso compartido delta
  ├── procore_scheduling.log       N.º registro de ejecuciones de planificación 

  
  Ejemplo de uso 
  • Paso 1: Instalar las dependencias 
    $ pip install -r requisitos.txt
  • Paso 2: Ejecutar la utilidad de configuración 
    $ python experiencia_usuario.py 
  • Acceso a Procore Analytics Cloud Connect 
    • Esta CLI lo ayudará a elegir su tienda de origen y destino para acceder a/escribir datos de Procore en S3. 
    • Pulse Intro para continuar.
    • Introduzca la lista de tablas (separadas por comas). Déjelo en blanco para todas las tablas: proyectos, usuarios, tareas.
    • Introduzca la ruta a config.share: /ruta/a/config.share.
    • Introduzca la clave de acceso: tecla s3.
    • Introduzca secreto: secreto.
    • Introduzca el segmento: nombre del segmento.
    • ¿Desea configurar esto como un trabajo diario en cron? (Sí/No): Sí 
    • Introduzca la planificación en formato cron (p. ej., * * * * * ): 0 2 * * * 
    • ¿Desea ejecutar el trabajo ahora? (Sí/No): Sí 
  • Paso 3: Ejecución manual (si es necesario)
    $ python delta_share_to_s3.py 
• Reutilización de configuración
  La herramienta guarda su configuración en el archivo config.yaml y ofrece reutilizar la configuración almacenada anteriormente: 
  • La configuración de origen se puede reutilizar.
  • La configuración de destino (S3) se puede reutilizar. 
  • Puede optar por actualizar cualquiera de las configuraciones de forma independiente.

Resolución de problemas 

Problemas comunes y soluciones: 

• Configuración de trabajo cron  
  • Asegúrese de que los permisos del sistema estén configurados correctamente.
  • Consulte los registros del sistema si el trabajo no se ejecuta.
  • Verifique el script (delta_share_to_s3.py) permisos de ejecución.
• Archivo de configuración
  • Confirme que el archivo config.yaml esté en el mismo directorio que el script.
  • Haga una copia de seguridad antes de realizar cambios.
• Soporte
  • Revise los registros de scripts para ver los mensajes de error detallados.
  • Revise el archivo config.yaml para detectar errores de configuración.
  • Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.
  • Póngase en contacto con el soporte técnico de Procore si tiene problemas de acceso a recursos compartidos delta.
  • Verifique la configuración del trabajo cron consultando los registros del sistema: consulte el archivo "procore_scheduling_log".

Notas:

1. Recuerde siempre hacer una copia de seguridad de su configuración antes de realizar cambios.
2. Pruebe primero las nuevas configuraciones en un entorno que no sea de producción.

Conector de Python

El conector de Python de uso compartido delta es una biblioteca de Python que implementa el protocolo de uso compartido delta para leer tablas de un servidor de uso compartido delta. Puede cargar tablas compartidas como un DataFrame de pandas o como un DataFrame de Apache Spark si se ejecuta en PySpark con Apache Spark Connector instalado.

Conector de Apache Spark

Apache Spark Connector implementa el protocolo de uso compartido delta para leer tablas compartidas desde un servidor de uso compartido delta. Se puede utilizar en SQL, Python, Java, Scala y R.

Configuración de Apache Spark

Puede configurar Apache Spark para cargar el conector de uso compartido delta en los dos siguientes
maneras:

• Ejecutar de forma interactiva: inicie el shell de Spark (Scala o Python) con el conector de uso compartido delta y ejecute los fragmentos de código de forma interactiva en el shell.
• Ejecutar como proyecto: configure un proyecto Maven o SBT (Scala o Java) con el conector de uso compartido delta, copie los fragmentos de código en un archivo fuente y ejecute el proyecto.

Si usa Databricks Runtime, puede omitir esta sección y seguir la documentación de las bibliotecas de Databricks para instalar el conector en los clústeres.

Configurar un shell interactivo

Para utilizar el conector de uso compartido delta de forma interactiva dentro del shell de Scala/Python de Spark, puede iniciar los shells de la siguiente manera.

Estructura de PySpark

desarmar
pyspark --packages io.delta:delta-sharing-spark_2.12:3.1.0

Concha de escala

desarmar
bin/spark-shell --paquetes
io.delta:delta-sharing-spark_2.12:3.1.0

Configurar un proyecto independiente

Si desea compilar un proyecto Java/Scala utilizando el conector de uso compartido delta del repositorio central de Maven, puede utilizar las siguientes coordenadas de Maven.