Déployer un service Dataproc Metastore

Rôles requis

Pour obtenir les autorisations nécessaires pour créer un métastore Dataproc et un cluster Dataproc, demandez à votre administrateur de vous accorder les rôles IAM suivants:

• Pour accorder un accès complet à toutes les ressources Dataproc Metastore, y compris pour définir des autorisations IAM : (roles/metastore.admin) sur le compte utilisateur ou le compte de service
• Pour accorder un contrôle total sur les ressources Dataproc Metastore : Éditeur Dataproc Metastore (roles/metastore.editor) sur le compte utilisateur ou le compte de service
• Pour créer un cluster Dataproc : (roles/dataproc.worker) sur le compte de service

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer un métastore Dataproc et un cluster Dataproc. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un service Dataproc Metastore

Les instructions suivantes vous expliquent comment créer un service Dataproc Metastore de base à l'aide des paramètres par défaut fournis.

 gcloud metastore services create example-service \
     --location=us-central1 \
     --instance-size=MEDIUM

Créer un cluster Dataproc et se connecter à Dataproc Metastore

Ensuite, créez un cluster Dataproc et connectez-vous à votre métastore à partir du cluster. Ensuite, votre cluster utilise le service de métastore en tant que HMS. Le cluster que vous créez ici utilise les paramètres par défaut fournis.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/us-central1/services/example-service \
    --region=us-central1

Se connecter à Apache Hive avec un cluster Dataproc

Les étapes suivantes vous expliquent comment exécuter des exemples de commandes dans Apache Hive pour créer une base de données et une table.

Ouvrez ensuite une session SSH sur le cluster Dataproc et lancez une session Hive.

1. Dans la console Google Cloud, accédez à la page Instances de VM.
2. Dans la liste des instances de machine virtuelle, cliquez sur SSH à côté de example-cluster.

Une fenêtre de navigateur s'ouvre dans votre répertoire d'accueil sur le nœud avec une sortie semblable à celle-ci:

Connected, host fingerprint: ssh-rsa ...
Linux cluster-1-m 3.16.0-0.bpo.4-amd64 ...
...
example-cluster@cluster-1-m:~$

Pour démarrer Hive et créer une base de données et une table, exécutez les commandes suivantes dans la session SSH:

1. Démarrez Hive.

   hive
   

2. Créez une base de données nommée myDatabase.

   create database myDatabase;
   

3. Affichez la base de données que vous avez créée.

   show databases;
   

4. Utilisez la base de données que vous avez créée.

   use myDatabase;
   

5. Créez une table appelée myTable.

   create table myTable(id int,name string);
   

6. Répertoriez les tables sous myDatabase.

   show tables;
   

7. Décrivez le schéma de la table que vous avez créée.

   desc MyTable;
   

L'exécution de ces commandes affiche un résultat semblable à celui-ci:

$hive

hive> show databases;
OK
default
hive> create database myDatabase;
OK
hive> use myDatabase;
OK
hive> create table myTable(id int,name string);
OK
hive> show tables;
OK
myTable
hive> desc myTable;
OK
id                      int
name                    string