Conecte sus datos de Procore mediante la descarga de modelos de análisis (Beta)

Descargar archivo de credenciales

1. Cree un archivo llamado 'config.share.
2. Añade los siguientes campos:
   {
   "shareCredentialsVersion": 1,
           "bearerToken": "",
           "endpoint": "",
           "expirationTime": ""
   }
3. Añada los valores bearerToken, endpoint, shareCredentialsVersion y expirationTime recibidos de Procore al archivo config.share.

Ejecutar script user_exp.py

Puede utilizar los siguientes scripts para crear un archivo config.yaml con las configuraciones necesarias.  

• Para Azure Storage:
  cron_job: #true/false
  run_as: #pyspark/python
  source_config:
      config_path: #path to the config.share file
      tables:
      - '' # nombre de tabla si desea descargar una tabla específica. Déjelo vacío si desea descargar todas las tablas
  source_type: delta_share
  target_config:
      auth_type: service_principal
      client_id: #client_id
      secret_id: #secret_id
      storage_account: # storage-account name
      storage_path: #<container>@<storage-account>.dfs.core.windows.net/<directory>
        id_inquilino: # id_inquilino
  tipo_objetivo: almacenamiento_azul

• Para MSSQL DB:
  cron_job: #true/false
  run_as: #pyspark/python
  source_config:
      config_path: #path to the config.share file
      tables:
          - '' # nombre de tabla si desea descargar una tabla específica. Déjelo vacío si desea descargar todas las tablas
  source_type: delta_share
  target_config:   database:
      #target database
      host: #target hostname:port
      password: #password
      schema: #target schema (default to procore_analytics)
      username: #username
  target_type: sql_server

Ejecutar como PySpark

Si su entorno ya está configurado con Spark, elija la opción 'pyspark' cuando se solicite o una vez que se genere el 'config.yaml', puede ejecutar los siguientes comandos para descargar los informes al directorio de datos.

• Para escribir en ADLS Gen2 Storage:
  spark-submit --packages io.delta:delta-sharing-spark_2.12:3.1.0,org.apache.hadoop:hadoop-azure:3.4.0,com.microsoft.azure:azure-storage:8.6.6,org.apache.hadoop:hadoop-common:3.4.0 --exclude-packages com.sun.xml.bind:jaxb-impl delta_share_to_sql_spark.py
• Para escribir en MSSQL DB:
  spark-submit --packages io.delta:delta-sharing-spark_2.12:3.1.0 --jars <Ubicación de mssql-jdbc jar> delta_share_to_sql_spark.py

Ejecutar como Python

1. Desde la línea de comandos, vaya a la carpeta introduciendo el comando "cd <path to the folder>".
2. Instale los paquetes requeridos utilizando "pip install -r requirements.txt" o “python -m pip install -r requirements.txt”.
3. Abra SSIS y cree un nuevo proyecto.
4. Desde la caja de herramientas de SSIS arrastrar y soltar Ejecutar tarea de proceso.
5. Haga doble clic en Ejecutar tarea de proceso.
6. Vaya a la pestaña Proceso.
7. Junto a Ejecutable, introduzca la ruta a python.exe en la carpeta de instalación de Python.
8. En WorkingDirectory, introduzca la ruta a la carpeta que contiene el script que desea ejecutar (sin el nombre del archivo de script).
9. En Arguments, escriba el nombre del script delta_share_to_azure_panda.py que desea ejecutar con .py y haga clic en Guardar.
10. Haga clic en Iniciar en el menú superior de la cinta.
11. Durante la ejecución de la tarea, la salida de la consola de Python se muestra en la ventana de la consola externa.
12. Una vez realizada la tarea, se mostrará una marca de verificación.

Elija su propio método

Delta Sharing es un protocolo abierto para compartir datos de forma segura. Puede encontrar el repositorio público de GitHub para Delta Sharing en https://github.com/delta-io/delta-sharing. El repositorio incluye ejemplos y documentación para acceder a datos compartidos utilizando varios lenguajes como Python y Spark Connector (SQL, Python, Scala, Java, R).