GSP617

Ringkasan

Cloud Logging berfungsi sebagai repositori pusat untuk log dari berbagai layanan Google Cloud, termasuk BigQuery, dan ideal untuk penyimpanan log jangka pendek hingga menengah. Banyak industri yang perlu menyimpan log dalam waktu lebih lama. Untuk menyimpan log bagi proses analisis historis yang lebih panjang atau audit yang kompleks, Anda dapat menyiapkan sink guna mengekspor log tertentu ke BigQuery.

Dalam lab ini, Anda akan melihat log BigQuery di dalam Cloud Logging, menyiapkan sink untuk mengekspornya ke BigQuery, lalu menggunakan SQL untuk menganalisis log.

Penyiapan dan persyaratan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan info berikut:

   • Tombol Open Google Cloud console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Cloud console (atau klik kanan dan pilih Open Link in Incognito Window jika Anda menjalankan browser Chrome).

   Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Sign in.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username di bawah dan tempel ke dialog Sign in.

   {{{user_0.username | "Username"}}}

   Anda juga dapat menemukan Username di panel Lab Details.

4. Klik Next.

5. Salin Password di bawah dan tempel ke dialog Welcome.

   {{{user_0.password | "Password"}}}

   Anda juga dapat menemukan Password di panel Lab Details.

6. Klik Next.

   Penting: Anda harus menggunakan kredensial yang diberikan lab. Jangan menggunakan kredensial akun Google Cloud Anda. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

7. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan mendaftar uji coba gratis.

Setelah beberapa saat, Konsol Google Cloud akan terbuka di tab ini.

Catatan: Untuk melihat menu dengan daftar produk dan layanan Google Cloud, klik Navigation menu di kiri atas.

Mengaktifkan Cloud Shell

Cloud Shell adalah mesin virtual yang dilengkapi dengan berbagai alat pengembangan. Mesin virtual ini menawarkan direktori beranda persisten berkapasitas 5 GB dan berjalan di Google Cloud. Cloud Shell menyediakan akses command-line untuk resource Google Cloud Anda.

1. Klik Activate Cloud Shell di bagian atas konsol Google Cloud.

Setelah terhubung, Anda sudah diautentikasi, dan project ditetapkan ke PROJECT_ID Anda. Output berisi baris yang mendeklarasikan PROJECT_ID untuk sesi ini:

Project Cloud Platform Anda dalam sesi ini disetel ke YOUR_PROJECT_ID

gcloud adalah alat command line untuk Google Cloud. Alat ini sudah terinstal di Cloud Shell dan mendukung pelengkapan command line.

2. (Opsional) Anda dapat menampilkan daftar nama akun yang aktif dengan perintah ini:

gcloud auth list

3. Klik Authorize.

4. Output Anda sekarang akan terlihat seperti ini:

Output:

ACTIVE: * ACCOUNT: [email protected] Untuk menyetel akun aktif, jalankan: $ gcloud config set account `ACCOUNT`

5. (Opsional) Anda dapat menampilkan daftar project ID dengan perintah ini:

gcloud config list project

Output:

[core] project = <project_ID>

Contoh output:

[core] project = qwiklabs-gcp-44776a13dea667a6 Catatan: Untuk mendapatkan dokumentasi gcloud yang lengkap di Google Cloud, baca panduan ringkasan gcloud CLI.

Tugas 1. Membuka BigQuery

Membuka konsol BigQuery

1. Di Google Cloud Console, pilih Navigation menu > BigQuery.

Kotak pesan Welcome to BigQuery in the Cloud Console akan terbuka. Kotak pesan ini menyediakan link ke panduan memulai dan catatan rilis.

2. Klik Done.

Konsol BigQuery terbuka.

Tugas 2. Membuat set data

1. Di bagian Explorer, klik tiga titik di samping project yang diawali dengan qwiklabs-gcp-.

2. Klik Create dataset.

3. Tetapkan Dataset ID ke bq_logs.

4. Klik CREATE DATASET.

Klik Check my progress untuk memverifikasi tujuan. Membuat Set Data

Tugas 3. Menjalankan kueri

Pertama, jalankan kueri sederhana yang menghasilkan log. Nantinya, Anda akan menggunakan log ini untuk menyiapkan ekspor log dari Cloud Logging untuk dilihat di BigQuery.

1. Salin dan tempel kueri berikut ke dalam editor Kueri BigQuery:

SELECT current_date

2. Klik RUN.

Tugas 4. Menyiapkan ekspor log dari Cloud Logging

1. Di konsol Cloud, pilih Navigation menu > View All Products > Logging > Logs Explorer.

Catatan: Jika diminta, Klik LEAVE untuk Pekerjaan yang belum disimpan.

2. Di All resources, pilih BigQuery, lalu klik Apply.

3. Selanjutnya, klik tombol Run query di kanan atas.

Beberapa entri log dari kueri akan muncul.

Cari entri yang berisi kata "jobcompleted".

4. Klik panah di sebelah kiri untuk memperluas entri.

Selanjutnya, klik tombol Expand nested fields di sebelah kanan.

Langkah ini akan menampilkan entri log JSON yang lengkap. Scroll ke bawah dan lihat kolom lainnya.

5. Scroll kembali ke header entri, klik tombol Similar entries, lalu pilih Show similar entries.

Langkah ini akan menyiapkan penelusuran dengan istilah yang benar. Anda mungkin perlu mengaktifkan tombol Show Query untuk melihatnya.

Membuat sink

Setelah Anda memiliki log yang diperlukan, saatnya untuk menyiapkan sink.

1. Klik Create sink dari drop-down More actions.

2. Isi kolom sebagai berikut:

• Nama sink: JobComplete lalu klik NEXT.
• Pilih layanan sink: BigQuery dataset
• Pilih set data BigQuery (Tujuan): bq_logs (Set data yang disiapkan sebelumnya)
• Biarkan opsi lainnya dalam setelan default.

3. Klik CREATE SINK.

Entri log berikutnya dari BigQuery kini akan diekspor ke tabel dalam set data bq_logs.

Klik Check my progress untuk memverifikasi tujuan. Membuat Sink

Tugas 5. Menjalankan kueri contoh

Untuk mengisi tabel baru dengan beberapa log, jalankan beberapa kueri contoh.

• Buka Cloud Shell, lalu tambahkan setiap perintah BigQuery berikut ke Cloud Shell:

bq query --location=us --use_legacy_sql=false --use_cache=false \ 'SELECT fullName, AVG(CL.numberOfYears) avgyears FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL GROUP BY fullname' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod` where station_number = 947680 and year = 2010 group by month order by month' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights from `bigquery-samples.airline_ontime_data.airline_id_codes` ac, `qwiklabs-resources.qlairline_ontime_data.flights` fl where ac.code = fl.airline_code and regexp_contains(ac.airline , r"Alaska") group by 1 order by 2 desc LIMIT 10'

Anda akan melihat hasil dari tiap kueri yang ditampilkan.

Klik Check my progress untuk memverifikasi tujuan. Menjalankan kueri contoh

Tugas 6. Melihat log di BigQuery

1. Buka lagi BigQuery (Navigation menu > BigQuery).

2. Perluas resource yang diawali dengan nama qwiklabs-gcp-, lalu perluas set data bq_logs Anda.

Namanya bisa berbeda-beda, tetapi Anda seharusnya melihat tabel bertuliskan "cloudaudit_googleapis_com_data_access".

Catatan: Anda mungkin harus menjalankan ulang kueri contoh agar tabel ditampilkan.

3. Klik pada nama tabel, lalu periksa skema tabel dan perhatikan bahwa skema tabel ini memiliki jumlah kolom yang sangat banyak.

Jika Anda mengklik Preview dan ingin tahu mengapa log untuk kueri yang baru saja dijalankan tidak ditampilkan, hal ini karena log dialirkan ke dalam tabel. Artinya, data baru dapat dikueri, tetapi tidak akan muncul di bagian Preview untuk sementara waktu.

Agar tabel dapat lebih bermanfaat, buat VIEW, yang akan mengambil subset kolom dan juga melakukan beberapa perhitungan guna mendapatkan metrik untuk waktu kueri.

4. Klik Compose New Query. Pada EDITOR kueri BigQuery, jalankan SQL berikut setelah mengganti dengan nama project Anda (Project ID dapat disalin dengan mudah dari panel Lab Details di sebelah kiri halaman lab):

CREATE OR REPLACE VIEW bq_logs.v_querylogs AS SELECT resource.labels.project_id, protopayload_auditlog.authenticationInfo.principalEmail, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs, ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount, severity FROM `<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*` ORDER BY startTime

Klik Check my progress untuk memverifikasi tujuan. Melihat log di BigQuery

5. Sekarang buat kueri VIEW. Buat kueri baru, dan jalankan perintah berikut:

SELECT * FROM bq_logs.v_querylogs

6. Scroll hasil dari kueri yang dijalankan.

Selamat!

Anda berhasil mengekspor log BigQuery dari Cloud Logging ke tabel BigQuery, lalu menganalisisnya dengan SQL.

Langkah berikutnya/Pelajari lebih lanjut

• Baca dokumentasi Cloud Logging.
• Baca dokumentasi BigQuery.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 31 Mei 2024

Lab Terakhir Diuji pada 31 Mei 2024

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.