Note

Ce plugin fait partie de la collection google.cloud (version 1.0.2).

Pour l'installer, utilisez : ansible-galaxy collection install google.cloud.

Pour l'utiliser dans un playbook, spécifiez : google.cloud.gcp_bigquery_table.

  • Synopsis
  • Exigences
  • Paramètres
  • Exemples
  • Valeurs de retour

Synopsis

  • Une table qui appartient à un ensemble de données .

Exigences

Les exigences ci-dessous sont nécessaires sur l'hôte qui exécute ce module.

  • python >= 2.6
  • requests >= 2.18.4
  • google-auth >= 1.3.0

Paramètres

Paramètre Choix/par défaut Commentaires
auth_kindchaîne de caractères / obligatoire
    Choix :

  • application
  • compte machine
  • serviceaccount
Le type de justificatif d'identité utilisé.
mise en grappeliste / elements=chaîne Un ou plusieurs champs sur lesquels les données doivent être regroupées. Seuls les champs de niveau supérieur, non répétés et de type simple sont pris en charge. Lorsque vous regroupez une table en utilisant plusieurs colonnes, l'ordre des colonnes que vous spécifiez est important. L'ordre des colonnes spécifiées détermine l'ordre de tri des données.
ensemble de donnéeschaîne de caractères Nom de l'ensemble de données.
descriptionchaîne de caractères Une description conviviale de l'ensemble de données.
cryptage_configurationdictionnaire Configuration personnalisée du cryptage.
kms_key_namechaîne de caractères Décrit la clé de chiffrement Cloud KMS qui sera utilisée pour protéger la table BigQuery de destination. Le compte de service BigQuery associé à votre projet doit avoir accès à cette clé de chiffrement.
env_typechaîne de caractères Spécifie dans quel environnement Ansible vous exécutez ce module.Cela ne devrait pas être défini à moins que vous ne sachiez ce que vous faites.Cela ne modifie que la chaîne de l'agent utilisateur pour toute demande d'API.
expiration_timenombre entier Le moment où cette table expire, en millisecondes depuis l'époque. Si elle n'est pas présente, la table persistera indéfiniment.
configuration_données_externesdictionnaire Décrit le format des données, l'emplacement et d'autres propriétés d'une table stockée en dehors de BigQuery. En définissant ces propriétés, la source de données peut ensuite être interrogée comme s'il s'agissait d'une table BigQuery standard.
autodétectionbooléen
    Choix :

  • pas de
  • oui
Essayer de détecter automatiquement les options de schéma et de format. Toute option spécifiée explicitement sera honorée.
bigtable_optionsdictionnaire Options supplémentaires si sourceFormat est défini sur BIGTABLE.
familles_de_colonnesliste / elements=dictionnaire Liste des familles de colonnes à exposer dans le schéma de la table ainsi que leurs types.
colonnesliste / elements=dictionnaire Listes de colonnes qui doivent être exposées en tant que champs individuels, par opposition à une liste de paires (nom de la colonne, valeur).
encodagechaîne de caractères L'encodage des valeurs lorsque le type n'est pas STRING.Parmi les choix valables, citons : "TEXT", "BINARY"
nom_du_champchaîne de caractères Si le qualificatif n'est pas un identifiant de champ BigQuery valide, un identifiant valide doit être fourni comme nom de champ de la colonne et est utilisé comme nom de champ dans les requêtes.
only_read_latestboolean
    Choix :

  • pas de
  • oui
Si cette option est définie, seule la dernière version de la valeur dans cette colonne est exposée .
qualifier_stringchaîne de caractères / obligatoire Qualificatif de la colonne.
typechaîne de caractères Le type pour convertir la valeur dans les cellules de cette colonne.Quelques choix valides incluent : "BYTES", "STRING", "INTEGER", "FLOAT", "BOOLEAN".
Encodagechaîne de caractères L'encodage des valeurs lorsque le type n'est pas STRING.Parmi les choix valables, citons : "TEXT", "BINARY"
family_idchaîne de caractères Identifiant de la famille de la colonne.
seulement_lire_le plus récentbooléen
    Choix :

  • pas de
  • oui
Si cette option est définie, seule la dernière version de la valeur est exposée pour toutes les colonnes de cette famille de colonnes .
typechaîne de caractères Le type pour convertir la valeur dans les cellules de cette famille de colonnes.Certains choix valides comprennent : "BYTES", "STRING", "INTEGER", "FLOAT", "BOOLEAN".
ignore_unspecified_column_familiesbooléen
    Choix :

  • pas de
  • oui
Si field est true, alors les familles de colonnes qui ne sont pas spécifiées dans la liste columnFamilies ne sont pas exposées dans le schéma de la table .
read_rowkey_as_stringbooléen
    Choix :

  • pas de
  • oui
Si field est true, alors les familles de colonnes rowkey seront lues et converties en chaîne de caractères.
compressionchaîne de caractères Le type de compression de la source de données, parmi les choix valides figurent : "GZIP", "NONE".
csv_optionsdictionnaire Propriétés supplémentaires à définir si sourceFormat est défini sur CSV.
allow_jagged_rowsbooléen
    Choix :

  • pas de
  • oui
Indique si BigQuery doit accepter les lignes auxquelles il manque des colonnes optionnelles de queue .
allow_quoted_newlinesbooléen
    Choix :

  • pas de
  • oui
Indique si BigQuery doit autoriser les sections de données citées qui contiennent des caractères de nouvelle ligne dans un fichier CSV .
encodagechaîne de caractères L'encodage des caractères des données.Parmi les choix valables, citons : "UTF-8", "ISO-8859-1".
délimiteur de champchaîne de caractères Le séparateur des champs dans un fichier CSV.
quotechaîne de caractères La valeur qui est utilisée pour citer les sections de données dans un fichier CSV.
saut_de_lignesnombre entier Le nombre de lignes en haut d'un fichier CSV que BigQuery sautera lors de la lecture des données.
google_sheets_optionsdictionnaire Options supplémentaires si sourceFormat est défini sur GOOGLE_SHEETS.
skip_leading_rowsnombre entier Le nombre de lignes en haut d'une Google Sheet que BigQuery sautera lors de la lecture des données.
ignore_valeurs_inconnuesbooléen
    Choix :

  • pas de
  • oui
Indique si BigQuery doit autoriser des valeurs supplémentaires qui ne sont pas représentées dans le schéma de la table .
max_bad_recordsnombre entier Le nombre maximum de mauvais enregistrements que BigQuery peut ignorer lors de la lecture des données .
schémadictionnaire Le schéma pour les données. Le schéma est requis pour les formats CSV et JSON.
champsliste / elements=dictionnaire Décrit les champs d'une table.
descriptionchaîne de caractères La description du champ.
champsliste / elements=chaîne Décrit les champs de schéma imbriqués si la propriété type est définie sur RECORD .
modechaîne de caractères Mode du champ.Certains choix valables comprennent : "NULLABLE", "REQUIRED", "REPEATED".
nomchaîne de caractères Nom du champ.
typechaîne de caractères Type de données du champ.Parmi les choix valables, citons : "STRING", "BYTES", "INTEGER", "FLOAT", "TIMESTAMP", "DATE", "TIME", "DATETIME", "RECORD".
format_sourcechaîne de caractères Le format des données.Certains choix valides incluent : "CSV", "GOOGLE_SHEETS", "NEWLINE_DELIMITED_JSON", "AVRO", "DATASTORE_BACKUP", "BIGTABLE", "ORC".
source_urisliste / elements=chaîne Les URI entièrement qualifiés qui pointent vers vos données dans Google Cloud.Pour les URI de stockage Google Cloud : Chaque URI peut contenir un caractère générique '*' et il doit venir après le nom du 'bucket'. Les limites de taille liées aux travaux de chargement s'appliquent aux sources de données externes. Pour les URI de Google Cloud Bigtable : Un seul URI peut être spécifié et il doit s'agir d'une URL HTTPS entièrement spécifiée et valide pour une table Google Cloud Bigtable. Pour les sauvegardes de Google Cloud Datastore, un seul URI peut être spécifié. En outre, le caractère générique '*' n'est pas autorisé.
nom_amicalchaîne de caractères Un nom descriptif pour cette table.
étiquettesdictionnaire Les étiquettes associées à cet ensemble de données. Vous pouvez les utiliser pour organiser et regrouper vos ensembles de données .
nomchaîne de caractères Nom de la table.
num_rowsnombre entier Le nombre de lignes de données dans cette table, à l'exclusion de toute donnée dans le tampon de streaming.
projetchaîne de caractères Le projet de la plateforme Google Cloud à utiliser.
schémadictionnaire Décrit le schéma de cette table.
champsliste / elements=dictionnaire Décrit les champs d'une table.
descriptionchaîne de caractères La description du champ. La longueur maximale est de 1 024 caractères.
champsliste / elements=chaîne Décrit les champs de schéma imbriqués si la propriété type est définie sur RECORD.
modechaîne de caractères Le mode du champ.Certains choix valides comprennent : "NULLABLE", "REQUIRED", "REPEATED".
nomchaîne de caractères Le nom du champ.
typechaîne de caractères Le type de données du champ.Parmi les choix valables, citons : "STRING", "BYTES", "INTEGER", "FLOAT", "TIMESTAMP", "DATE", "TIME", "DATETIME", "RECORD".
scopesliste / elements=chaîne Tableau des scopes à utiliser
service_account_contentsjsonarg Le contenu d'un fichier JSON de compte de service, soit dans un dictionnaire, soit sous la forme d'une chaîne JSON qui le représente.
service_account_emailchaîne de caractères Une adresse e-mail facultative de compte de service si machineaccount est sélectionné et que l'utilisateur ne souhaite pas utiliser l'e-mail par défaut.
fichier_compte_servicechemin d'accès Le chemin d'un fichier JSON de compte de service si serviceaccount est sélectionné comme type.
étatchaîne de caractères
    Choix :

  • présent
  • absent
Si l'objet donné doit exister dans les BPC
référence_tabledictionnaire Référence décrivant l'identifiant de cette table.
dataset_idchaîne de caractères L'ID de l'ensemble de données contenant cette table.
projet_idchaîne de caractères L'identifiant du projet contenant cette table.
table_idchaîne de caractères L'identifiant de la table.
temps_partitionnementdictionnaire Si spécifié, configure le partitionnement temporel pour cette table.
expiration_msnombre entier Nombre de millisecondes pendant lequel conserver le stockage d'une partition.
champchaîne de caractères Si elle n'est pas définie, la table est partitionnée par une pseudo-colonne, référencée via '_PARTITIONTIME' de type TIMESTAMP, ou '_PARTITIONDATE' de type DATE. Si le champ est spécifié, la table est partitionnée par ce champ. Le champ doit être un champ TIMESTAMP ou DATE de niveau supérieur. Son mode doit être NULLABLE ou REQUIRED.
typechaîne de caractères Le seul type supporté est DAY, qui générera une partition par jour.Voici quelques choix valides : "DAY"
vuedictionnaire La définition de la vue.
utiliser_legacy_sqlbooléen
    Choix :

  • pas de
  • oui
Spécifie s'il faut utiliser le SQL hérité de BigQuery pour cette vue .
ressources_fonctionnelles_définies_par l'utilisateurliste / elements=dictionnaire Décrit les ressources de fonctions définies par l'utilisateur utilisées dans la requête.
inline_codechaîne de caractères Une ressource en ligne qui contient le code d'une fonction définie par l'utilisateur (UDF). Fournir une ressource de code en ligne est équivalent à fournir une URI pour un fichier contenant le même code.
resource_urichaîne de caractères Une ressource de code à charger à partir d'une URI de Google Cloud Storage (gs://bucket/path).

Exemples

-name: create a dataset
  google.cloud.gcp_bigquery_dataset:name: example_dataset
    dataset_reference:dataset_id: example_dataset
    project:"{{ gcp_project }}"auth_kind:"{{ gcp_cred_kind }}"service_account_file:"{{ gcp_cred_file }}"state: present
  register: dataset

-name: create a table
  google.cloud.gcp_bigquery_table:name: example_table
    dataset: example_dataset
    table_reference:dataset_id: example_dataset
      project_id: test_project
      table_id: example_table
    project: test_project
    auth_kind: serviceaccount
    service_account_file:"/tmp/auth.pem"state: present

Valeurs de retour

Les valeurs de retour courantes sont documentées ici, les champs suivants sont uniques à ce module :

Clé Renvoyé Description
clusteringliste / elements=chaîne succès Un ou plusieurs champs sur lesquels les données doivent être regroupées. Seuls les champs de niveau supérieur, non répétés et de type simple sont pris en charge. Lorsque vous regroupez une table en utilisant plusieurs colonnes, l'ordre des colonnes que vous spécifiez est important. L'ordre des colonnes spécifiées détermine l'ordre de tri des données.
creationTimenombre entier succès L'heure à laquelle cet ensemble de données a été créé, en millisecondes depuis l'époque.
ensemble de donnéeschaîne de caractères succès Nom de l'ensemble de données.
descriptionchaîne de caractères succès Une description conviviale de l'ensemble de données.
encryptionConfigurationcomplexe succès Configuration personnalisée du cryptage.
kmsKeyNamechaîne de caractères succès Décrit la clé de chiffrement Cloud KMS qui sera utilisée pour protéger la table BigQuery de destination. Le compte de service BigQuery associé à votre projet doit avoir accès à cette clé de chiffrement.
expirationTimenombre entier succès Le moment où cette table expire, en millisecondes depuis l'époque. Si elle n'est pas présente, la table persistera indéfiniment.
Configuration des données externescomplexe succès Décrit le format des données, l'emplacement et d'autres propriétés d'une table stockée en dehors de BigQuery. En définissant ces propriétés, la source de données peut ensuite être interrogée comme s'il s'agissait d'une table BigQuery standard.
autodétectionbooléen succès Essayer de détecter automatiquement les options de schéma et de format. Toute option spécifiée explicitement sera honorée.
bigtableOptionscomplexe succès Options supplémentaires si le format de la source est défini sur BIGTABLE.
columnFamiliescomplexe succès Liste des familles de colonnes à exposer dans le schéma de la table ainsi que leurs types.
colonnescomplexe succès Listes de colonnes qui doivent être exposées en tant que champs individuels, par opposition à une liste de paires (nom de la colonne, valeur).
encodagechaîne de caractères succès L'encodage des valeurs lorsque le type n'est pas STRING.
fieldNamechaîne de caractères succès Si le qualificatif n'est pas un identifiant de champ BigQuery valide, un identifiant valide doit être fourni comme nom de champ de la colonne et est utilisé comme nom de champ dans les requêtes.
onlyReadLatestbooléen succès Si cette option est définie, seule la dernière version de la valeur dans cette colonne est exposée .
qualifierStringchaîne de caractères succès Qualificatif de la colonne.
typechaîne de caractères succès Le type pour convertir la valeur dans les cellules de cette colonne.
encodagechaîne de caractères succès L'encodage des valeurs lorsque le type n'est pas STRING.
familyIdchaîne de caractères succès Identifiant de la famille de colonnes.
onlyReadLatestbooléen succès Si cette option est définie, seule la dernière version de la valeur est exposée pour toutes les colonnes de cette famille de colonnes .
typechaîne de caractères succès Le type pour convertir la valeur dans les cellules de cette famille de colonnes.
ignoreUnspecifiedColumnFamiliesbooléen succès Si le champ est vrai, alors les familles de colonnes qui ne sont pas spécifiées dans la liste columnFamilies ne sont pas exposées dans le schéma de la table .
readRowkeyAsStringbooléen succès Si field est true, alors les familles de colonnes rowkey seront lues et converties en chaîne de caractères.
compressionchaîne de caractères succès Le type de compression de la source de données.
csvOptionscomplexe succès Propriétés supplémentaires à définir si sourceFormat est défini sur CSV.
allowJaggedRowsbooléen succès Indique si BigQuery doit accepter les lignes auxquelles il manque des colonnes optionnelles de queue .
allowQuotedNewlinesbooléen succès Indique si BigQuery doit autoriser les sections de données citées qui contiennent des caractères de nouvelle ligne dans un fichier CSV .
encodagechaîne de caractères succès Le codage des caractères des données.
fieldDelimiterchaîne de caractères succès Le séparateur des champs dans un fichier CSV.
quotechaîne de caractères succès La valeur qui est utilisée pour citer les sections de données dans un fichier CSV.
skipLeadingRowsnombre entier succès Le nombre de lignes en haut d'un fichier CSV que BigQuery sautera lors de la lecture des données.
googleSheetsOptionscomplexe succès Options supplémentaires si sourceFormat est défini sur GOOGLE_SHEETS.
skipLeadingRowsnombre entier succès Le nombre de lignes en haut d'une Google Sheet que BigQuery sautera lors de la lecture des données.
ignoreUnknownValuesbooléen succès Indique si BigQuery doit autoriser des valeurs supplémentaires qui ne sont pas représentées dans le schéma de la table .
maxBadRecordsnombre entier succès Le nombre maximal de mauvais enregistrements que BigQuery peut ignorer lors de la lecture des données .
schémacomplexe succès Le schéma pour les données. Le schéma est requis pour les formats CSV et JSON.
champscomplexe succès Décrit les champs d'une table.
descriptionchaîne de caractères succès La description du champ.
champsliste / elements=chaîne succès Décrit les champs de schéma imbriqués si la propriété type est définie sur RECORD .
modechaîne de caractères succès Mode du champ.
nomchaîne de caractères succès Nom du champ.
typechaîne de caractères succès Type de données du champ.
sourceFormatchaîne de caractères succès Le format des données.
sourceUrisliste / elements=string succès Les URI entièrement qualifiés qui pointent vers vos données dans Google Cloud.Pour les URI de stockage Google Cloud : Chaque URI peut contenir un caractère générique '*' et il doit venir après le nom du 'bucket'. Les limites de taille liées aux travaux de chargement s'appliquent aux sources de données externes. Pour les URI de Google Cloud Bigtable : Un seul URI peut être spécifié et il doit s'agir d'une URL HTTPS entièrement spécifiée et valide pour une table Google Cloud Bigtable. Pour les sauvegardes de Google Cloud Datastore, un seul URI peut être spécifié. En outre, le caractère générique '*' n'est pas autorisé.
friendlyNamechaîne de caractères succès Un nom descriptif pour cette table.
idchaîne de caractères succès Un identifiant opaque identifiant de manière unique la table.
étiquettesdictionnaire succès Les étiquettes associées à cet ensemble de données. Vous pouvez les utiliser pour organiser et regrouper vos ensembles de données .
lastModifiedTimenombre entier succès L'heure à laquelle cette table a été modifiée pour la dernière fois, en millisecondes depuis l'époque.
localisationchaîne de caractères succès L'emplacement géographique où réside la table. Cette valeur est héritée de l'ensemble de données.
nomchaîne de caractères succès Nom de la table.
numBytesentier succès La taille de cette table en octets, à l'exclusion de toute donnée dans le tampon de streaming.
numLongTermBytesnombre entier succès Le nombre d'octets dans la table qui sont considérés comme "stockage à long terme".
numRowsnombre entier succès Le nombre de lignes de données dans cette table, à l'exclusion de toute donnée dans le tampon de streaming.
requirePartitionFilterbooléen succès S'il a la valeur true, les requêtes sur cette table nécessitent qu'un filtre de partition pouvant être utilisé pour l'élimination des partitions soit spécifié.
schémacomplexe succès Décrit le schéma de cette table.
champscomplexe succès Décrit les champs d'une table.
descriptionchaîne de caractères succès La description du champ. La longueur maximale est de 1 024 caractères.
champsliste / elements=chaîne succès Décrit les champs de schéma imbriqués si la propriété type est définie sur RECORD.
modechaîne de caractères succès Le mode du champ.
nomchaîne de caractères succès Le nom du champ.
typechaîne de caractères succès Le type de données du champ.
streamingBuffercomplexe succès Contient des informations concernant le tampon de streaming de cette table, s'il y en a un. Ce champ sera absent si la table n'est pas en cours de streaming ou s'il n'y a pas de données dans le tampon de streaming.
estimatedBytesnombre entier succès Une estimation de la limite inférieure du nombre d'octets actuellement dans le tampon de streaming.
estimatedRowsnombre entier succès Une estimation de la borne inférieure du nombre de lignes actuellement dans le tampon de streaming.
oldestEntryTimenombre entier succès Contient l'horodatage de la plus ancienne entrée du tampon de diffusion, en millisecondes depuis l'époque, si le tampon de diffusion est disponible.
tableReferencecomplexe succès Référence décrivant l'identifiant de cette table.
datasetIdchaîne de caractères succès L'identifiant de l'ensemble de données contenant cette table.
projectIdchaîne de caractères succès L'identifiant du projet contenant cette table.
tableIdchaîne de caractères succès L'identifiant de la table.
tempsPartitionnementcomplexe succès Si spécifié, configure le partitionnement basé sur le temps pour cette table.
expirationMsnombre entier succès Nombre de millisecondes pendant lequel conserver le stockage d'une partition.
champchaîne de caractères succès Si elle n'est pas définie, la table est partitionnée par une pseudo-colonne, référencée via soit '_PARTITIONTIME' de type TIMESTAMP, soit '_PARTITIONDATE' de type DATE. Si le champ est spécifié, la table est partitionnée par ce champ. Le champ doit être un champ TIMESTAMP ou DATE de niveau supérieur. Son mode doit être NULLABLE ou REQUIRED.
typechaîne de caractères succès Le seul type pris en charge est DAY, qui générera une partition par jour.
typechaîne de caractères succès Décrit le type de table.
vuecomplexe succès La définition de la vue.
useLegacySqlboolean succès Spécifie s'il faut utiliser le SQL hérité de BigQuery pour cette vue .
userDefinedFunctionResourcescomplexe succès Décrit les ressources des fonctions définies par l'utilisateur utilisées dans la requête.
inlineCodechaîne de caractères succès Une ressource en ligne qui contient le code d'une fonction définie par l'utilisateur (UDF). Fournir une ressource de code en ligne est équivalent à fournir une URI pour un fichier contenant le même code.
resourceUrichaîne de caractères succès Une ressource de code à charger à partir d'une URI de Google Cloud Storage (gs://bucket/path).

Auteurs

  • Google Inc. (@googlecloudplatform)