Firestore 내보내기에서 데이터로드

콘솔

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트를 펼친 후 데이터 세트를 선택합니다.
3. 데이터 세트 정보 섹션에서 add_box 테이블 만들기를 클릭합니다.
4. 테이블 만들기 패널에서 다음 세부정보를 지정합니다.
1. 소스 섹션의 다음 항목으로 테이블 만들기 목록에서 Google Cloud Storage를 선택합니다. 그런 후 다음 작업을 수행합니다.
   1. Cloud Storage 버킷에서 파일을 선택하거나 Cloud Storage URI를 입력합니다. Google Cloud 콘솔에서는 URI를 여러 개 포함할 수 없지만 와일드 카드는 지원됩니다. Cloud Storage 버킷은 생성, 추가 또는 덮어쓰려는 테이블이 포함된 데이터 세트와 동일한 위치에 있어야 합니다.
      Firestore 내보내기 파일의 URI는 KIND_COLLECTION_ID.export_metadata로 끝나야 합니다. 예를 들어 default_namespace_kind_Book.export_metadata에서 Book은 컬렉션 ID이고 default_namespace_kind_Book은 Firestore에서 생성된 파일 이름입니다. URI가 KIND_COLLECTION_ID.export_metadata로 끝나지 않으면 다음과 같은 오류 메시지가 표시됩니다. 유효한 백업 메타데이터를 포함하지 않습니다 (error code: invalid).
   2. 파일 형식으로 Cloud Datastore 백업을 선택합니다. Firestore와 Datastore는 내보내기 형식을 공유합니다.
2. 대상 섹션에서 다음 세부정보를 지정합니다.
   1. 데이터 세트에서 테이블을 만들 데이터 세트를 선택합니다.
   2. 테이블 필드에 만들려는 테이블의 이름을 입력합니다.
   3. 테이블 유형 필드가 기본 테이블로 설정되어 있는지 확인합니다.
3. 스키마 섹션은 그대로 놔둡니다. 스키마는 Firestore 내보내기에 대해 유추됩니다.
4. 선택사항: 파티션 및 클러스터 설정을 지정합니다. 자세한 내용은 파티션을 나눈 테이블 만들기 및 클러스터링된 테이블 만들기 및 사용을 참조하세요.
5. 고급 옵션을 클릭하고 다음을 수행합니다.
   • 쓰기 환경설정에서 비어 있으면 쓰기를 선택한 상태로 둡니다. 이 옵션은 새 테이블을 만들어 데이터를 로드합니다.
   • 테이블 스키마에 없는 행의 값을 무시하려면 알 수 없는 값을 선택합니다.
   • Cloud Key Management Service 키를 사용하려면 암호화에서 고객 관리 키를 클릭합니다. Google 관리 키 설정을 그대로 두면 BigQuery는 저장 데이터를 암호화합니다.
6. 테이블 만들기를 클릭합니다.

bq

source_format이 DATASTORE_BACKUP으로 설정된 bq load 명령어를 사용합니다. --location 플래그를 지정하고 값을 사용자 위치로 설정합니다. 기존 테이블을 덮어쓰는 경우 --replace 플래그를 추가합니다.

특정 필드만 로드하려면 --projection_fields 플래그를 사용합니다.

bq --location=LOCATION load \
--source_format=FORMAT \
DATASET.TABLE \
PATH_TO_SOURCE

다음을 바꿉니다.

• LOCATION: 사용자 위치입니다. --location 플래그는 선택사항입니다.
• FORMAT: DATASTORE_BACKUP. Datastore 백업은 Firestore에 올바른 옵션입니다. Firestore와 Datastore는 내보내기 형식을 공유합니다.
• DATASET: 데이터를 로드할 테이블이 포함된 데이터 세트입니다.
• TABLE: 데이터를 로드할 대상 테이블입니다. 테이블이 없으면 생성됩니다.
• PATH_TO_SOURCE: Cloud Storage URI입니다.

예를 들어 다음 명령어는 Firestore 내보내기 파일 gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata를 book_data라는 테이블로 로드합니다. mybucket과 mydataset는 US 멀티 리전 위치에서 생성되었습니다.

bq --location=US load \
--source_format=DATASTORE_BACKUP \
mydataset.book_data \
gs://mybucket/20180228T1256/default_namespace/kind_Book/default_namespace_kind_Book.export_metadata

API

API를 사용하여 Firestore 내보내기 데이터를 로드하려면 다음 속성을 설정합니다.

1. Cloud Storage의 소스 데이터를 가리키는 load 작업 구성을 만듭니다.

2. 작업 리소스의 jobReference 섹션에 있는 location 속성에 사용자 위치를 지정합니다.

3. sourceUris는 로드 작업 구성에서 gs://BUCKET/OBJECT 형식으로 정규화되어야 합니다. 파일(객체) 이름은 KIND_NAME.export_metadata로 끝나야 합니다. Firestore 내보내기에는 URI가 하나만 허용되며 와일드 카드를 사용할 수 없습니다.

4. 로드 작업 구성에서 sourceFormat 속성을 DATASTORE_BACKUP으로 설정하여 데이터 형식을 지정합니다. Datastore 백업은 Firestore에 올바른 옵션입니다. Firestore와 Datastore는 내보내기 형식을 공유합니다.

5. 특정 필드만 로드하려면 projectionFields 속성을 설정합니다.

6. 기존 테이블을 덮어쓰려면 writeDisposition 속성을 WRITE_TRUNCATE로 설정하여 쓰기 처리를 지정합니다.

Python

# TODO(developer): Set table_id to the ID of the table to create.
table_id = "your-project.your_dataset.your_table_name"

# TODO(developer): Set uri to the path of the kind export metadata
uri = (
    "gs://cloud-samples-data/bigquery/us-states"
    "/2021-07-02T16:04:48_70344/all_namespaces/kind_us-states"
    "/all_namespaces_kind_us-states.export_metadata"
)

# TODO(developer): Set projection_fields to a list of document properties
#                  to import. Leave unset or set to `None` for all fields.
projection_fields = ["name", "post_abbr"]

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

job_config = bigquery.LoadJobConfig(
    source_format=bigquery.SourceFormat.DATASTORE_BACKUP,
    projection_fields=projection_fields,
)

load_job = client.load_table_from_uri(
    uri, table_id, job_config=job_config
)  # Make an API request.

load_job.result()  # Waits for the job to complete.

destination_table = client.get_table(table_id)
print("Loaded {} rows.".format(destination_table.num_rows))