Conectarse a BigQuery

Objetivo

La herramienta Analytics Cloud Connect Access es un cuaderno que ayuda a configurar y gestionar las transferencias de datos de Procore a BigQuery con Analytics 2.0.

Requisitos

SKU de Analytics 2.0
Acceso a Google Cloud Platform (GCP)
Permisos necesarios tanto en Delta Share como en BigQuery
Descargue el paquete comprimido desde la herramienta Analytics de nivel de empresa (a través de Analytics > Primeros pasos > Opciones de conexión > BigQuery).

Configurar configuración

Configuración del recurso compartido delta

Cree un archivo denominado config.share con sus credenciales de recurso compartido delta en formato JSON.
Obtener los campos obligatorios.
Nota: Estos detalles se pueden obtener en la aplicación web Analytics.
- bearerToken: su token de acceso a recursos compartidos de Delta.
- endpoint: la URL de extremo de su recurso compartido delta.
- shareCredentialsVersion: número de versión (actualmente 1).

Ejemplo de archivo config.share

{
"shareCredentialsVersion": 1,
"bearerToken": "",
"punto final": ""
}

CONFIGURACIÓN DE BIGQUERY

Descargue el archivo bigquery.zip desde la aplicación web Analytics.
Nota: Puede descargar el paquete comprimido desde la herramienta Analytics de nivel de empresa (a través de Analytics > Primeros pasos > Opciones de conexión > BigQuery).
Extraiga el paquete en un directorio de su elección.
Abra el archivo config.yaml y modifique los siguientes parámetros:
- source_config.config_path: ruta de acceso al archivo de configuración del recurso compartido delta.
- source_config.tables: lista opcional de tablas específicas para procesar. Déjelo vacío para procesar todas las tablas.
- target_config.project_id: ID del proyecto de GCP para BigQuery.
- target_config.dataset: nombre del conjunto de datos de BigQuery.
- target_config.threads: número de procesos de tabla simultáneos.

Ejemplo de archivo config.yaml

source_config:
config_path: "<path_to_delta_share_config>"
tables: # Opcional: lista de tablas específicas a procesar
- "tabla1"
- "tabla2"

configuración_destino:
project_id: ""<your-gcp-project-id><bigquery-dataset-name>
conjunto de datos: ""
target_type: bigquery

Cargar archivo de configuración

Cargue los archivos config.yaml y config.share en el depósito de gs.
1. Almacenamiento en la nube de Google (GCS)
  - Utilice el formato: gs://bucket-name/path/to/config.yaml.

Ejecutar la aplicación de BigQuery

Cree un cuaderno de Python e instale los siguientes paquetes:
- %pip instala el uso compartido delta
- pip install pandas-gbq -U
Copie el código de delta_share_to_bq.py, péguelo en su cuaderno, actualice la ruta de configuración (config.yaml), y ejecútelo.

Supervisión y registro

La aplicación proporciona un registro detallado con:

Estado de procesamiento de cada tabla.
Mensajes de error y excepciones.
Información de procesamiento concurrente.

Prácticas recomendadas

Optimización del rendimiento
- Ajuste el número de subprocesos en función de los recursos del sistema.
- Supervise el uso de la memoria con tablas grandes.
- Considere los tamaños de las tablas al configurar procesos concurrentes.
Gestión de errores
- Supervisar los registros de la aplicación.
- Configure las alertas adecuadas.
- Mantener configuraciones de copia de seguridad.

Resolución de problemas

Problemas comunes y soluciones:

Errores de conexión
- Verifique la conectividad de la red.
- Comprobar la validez de las credenciales.
- Confirme los permisos de la cuenta de servicio.
Errores de procesamiento
- Verificar la existencia de la tabla.
- Verifique los permisos de acceso a la tabla.
- Valide los ajustes de configuración.
Problemas de rendimiento
- Reducir subprocesos simultáneos.
- Supervisar los recursos del sistema.

Soporte

Para obtener ayuda adicional:

Revise los registros de la aplicación para obtener detalles del error.
Verifique los ajustes de configuración.
Asegúrese de que se cumplan todos los requisitos.
Póngase en contacto con el administrador del sistema si tiene problemas relacionados con los permisos.