Importations composites parallèles

Console

La console Google Cloud n'effectue pas d'importations composites parallèles.

Ligne de commande

Vous pouvez configurer comment et quand gcloud storage cp effectue des importations composites parallèles en modifiant les propriétés suivantes :

• storage/parallel_composite_upload_enabled : propriété permettant d'activer les importations composites parallèles. Si la valeur est False, désactivez les importations composites parallèles. Si la valeur est True ou None, effectuez des importations composites parallèles pour les objets qui répondent aux critères définis dans les autres propriétés. Le paramètre par défaut est None.

• storage/parallel_composite_upload_compatibility_check : propriété permettant d'activer ou de désactiver les contrôles de sécurité. Si la valeur est True, gcloud storage n'effectue des importations composites parallèles que lorsque toutes les conditions suivantes sont remplies :

  • La classe de stockage de l'objet importé est STANDARD.
  • Le bucket de destination ne dispose pas de règle de conservation.
  • La préservation à titre conservatoire des objets par défaut n'est pas activée sur le bucket de destination.

  Notez que pour vérifier ces conditions, gcloud CLI récupère les métadonnées du bucket de destination dans le cadre de la commande d'importation.

  Si la valeur est False, gcloud storage n'effectue aucun contrôle. Le paramètre par défaut est True.

• storage/parallel_composite_upload_threshold : taille totale minimale des fichiers pour effectuer une importation composite parallèle. Le paramètre par défaut est de 150 Mio.

• storage/parallel_composite_upload_component_size : taille maximale de chaque objet temporaire. Cette propriété est ignorée si la taille totale du fichier est si importante que plus de 32 morceaux de cette taille seraient nécessaires.

• storage/parallel_composite_upload_component_prefix : préfixe utilisé lors de l'attribution de noms aux objets temporaires. Cette propriété peut être définie soit en tant que chemin absolu, soit en tant que chemin spécifique à l'objet final. Pour en savoir plus, consultez la description de la propriété. Le préfixe par défaut est le chemin absolu /gcloud/tmp/parallel_composite_uploads/see_gcloud_storage_cp_help_for_details.

Vous pouvez modifier ces propriétés en créant une Configuration nommée et en appliquant la configuration soit pour chaque commande à l'aide de l'option --configuration à l'échelle du projet, soit pour toutes les commandes gcloud CLI à l'aide de la commande gcloud config set.

Aucun espace disque local supplémentaire n'est requis lorsque vous utilisez gcloud pour effectuer des importations composites parallèles. Si une importation composite parallèle échoue avant la composition, exécutez à nouveau la commande gcloud CLI afin de tirer parti des importations avec reprise pour les objets temporaires qui ont échoué. Tous les objets temporaires importés avec succès avant l'échec ne sont pas réimportés lorsque vous reprenez l'importation.

Les objets temporaires sont nommés selon le modèle suivant :

TEMPORARY_PREFIX/RANDOM_VALUE_HEX_DIGEST_COMPONENT_ID

Où :

• TEMPORARY_PREFIX est contrôlé par la propriété storage/parallel_composite_upload_component_prefix.
• RANDOM_VALUE est une valeur numérique aléatoire.
• HEX_DIGEST est un hachage dérivé du nom de la ressource source.
• COMPONENT_ID est le numéro séquentiel du composant.

Généralement, les objets temporaires sont supprimés à la fin d'une importation composite parallèle. Toutefois, pour éviter de laisser des objets temporaires, vous devez vérifier l'état de sortie à partir de la commande gcloud CLI et supprimer manuellement tous les objets temporaires qui ont été importés dans le cadre d'une importation annulée.

Bibliothèques clientes

import com.google.cloud.storage.transfermanager.ParallelUploadConfig;
import com.google.cloud.storage.transfermanager.TransferManager;
import com.google.cloud.storage.transfermanager.TransferManagerConfig;
import com.google.cloud.storage.transfermanager.UploadResult;
import java.io.IOException;
import java.nio.file.Path;
import java.util.List;

class AllowParallelCompositeUpload {

  public static void parallelCompositeUploadAllowed(String bucketName, List<Path> files)
      throws IOException {
    TransferManager transferManager =
        TransferManagerConfig.newBuilder()
            .setAllowParallelCompositeUpload(true)
            .build()
            .getService();
    ParallelUploadConfig parallelUploadConfig =
        ParallelUploadConfig.newBuilder().setBucketName(bucketName).build();
    List<UploadResult> results =
        transferManager.uploadFiles(files, parallelUploadConfig).getUploadResults();
    for (UploadResult result : results) {
      System.out.println(
          "Upload for "
              + result.getInput().getName()
              + " completed with status "
              + result.getStatus());
    }
  }
}

API REST

L'API JSON et l'API XML permettent toutes deux d'importer des fragments d'objets en parallèle et de les recombiner en un seul objet grâce à l'opération compose.

Tenez compte des éléments suivants lorsque vous concevez du code pour des importations composites parallèles :

• Lorsque vous utilisez l'opération compose, les objets sources ne sont pas affectés par le processus de composition.

  En d'autres termes, si ces objets sont censés être temporaires, vous devez les supprimer explicitement une fois la composition terminée. Dans le cas contraire, les objets sources restent dans votre bucket et sont facturés en conséquence.

• Afin d'empêcher les modifications d'objets sources entre les requêtes d'importation et de composition, vous devez fournir un numéro de génération attendu pour chaque source.