GSP617

總覽

Cloud Logging 可做為多項 Google Cloud 服務 (包括 BigQuery) 記錄檔的中央存放區，也很適合當做短期至中期的記錄檔儲存空間。許多產業都需要長期保留記錄檔。如要保留記錄檔，用於長期歷來資料分析或複雜的稽核作業，您可以設定接收器，將特定記錄檔匯出至 BigQuery。

在這個研究室中，您將透過 Cloud Logging 查看 BigQuery 記錄檔、設定接收器，將記錄檔匯出至 BigQuery，並運用 SQL 分析記錄檔。

設定和需求

點選「Start Lab」按鈕前的須知事項

請詳閱以下操作說明。研究室活動會計時，而且中途無法暫停。點選「Start Lab」 後就會開始計時，讓您瞭解有多少時間可以使用 Google Cloud 資源。

您將在真正的雲端環境中完成實作研究室活動，而不是在模擬或示範環境。為達此目的，我們會提供新的暫時憑證，讓您用來在研究室活動期間登入及存取 Google Cloud。

如要完成這個研究室活動，請先確認：

• 您可以使用標準的網際網路瀏覽器 (Chrome 瀏覽器為佳)。

注意：請使用無痕模式或私密瀏覽視窗執行此研究室。這可以防止個人帳戶和學生帳戶之間的衝突，避免個人帳戶產生額外費用。

• 是時候完成研究室活動了！別忘了，活動一開始將無法暫停。

注意：如果您擁有個人 Google Cloud 帳戶或專案，請勿用於本研究室，以免產生額外費用。

如何開始研究室及登入 Google Cloud 控制台

1. 按一下「Start Lab」(開始研究室) 按鈕。如果研究室會產生費用，畫面中會出現選擇付款方式的彈出式視窗。左側的「Lab Details」窗格會顯示下列項目：

   • 「Open Google Cloud console」按鈕
   • 剩餘時間
   • 必須在這個研究室中使用的暫時憑證
   • 完成這個實驗室所需的其他資訊 (如有)

2. 點選「Open Google Cloud console」；如果使用 Chrome 瀏覽器，也能按一下滑鼠右鍵，然後選取「在無痕式視窗中開啟連結」。

   接著，實驗室會啟動相關資源並開啟另一個分頁，當中顯示「登入」頁面。

   提示：您可以在不同的視窗中並排開啟分頁。

   注意：如果頁面中顯示「選擇帳戶」對話方塊，請點選「使用其他帳戶」。

3. 如有必要，請將下方的 Username 貼到「登入」對話方塊。

   {{{user_0.username | "Username"}}}

   您也可以在「Lab Details」窗格找到 Username。

4. 點選「下一步」。

5. 複製下方的 Password，並貼到「歡迎使用」對話方塊。

   {{{user_0.password | "Password"}}}

   您也可以在「Lab Details」窗格找到 Password。

6. 點選「下一步」。

   重要事項：請務必使用實驗室提供的憑證，而非自己的 Google Cloud 帳戶憑證。 注意：如果使用自己的 Google Cloud 帳戶來進行這個實驗室，可能會產生額外費用。

7. 按過後續的所有頁面：

   • 接受條款及細則。
   • 由於這是臨時帳戶，請勿新增救援選項或雙重驗證機制。
   • 請勿申請免費試用。

Google Cloud 控制台稍後會在這個分頁開啟。

注意：如要查看列出 Google Cloud 產品和服務的選單，請點選左上角的「導覽選單」。

啟動 Cloud Shell

Cloud Shell 是搭載多項開發工具的虛擬機器，提供永久的 5 GB 主目錄，而且在 Google Cloud 中運作。Cloud Shell 提供指令列存取權，方便您使用 Google Cloud 資源。

1. 點按 Google Cloud 控制台上方的「啟用 Cloud Shell」圖示 。

連線完成即代表已通過驗證，且專案已設為您的 PROJECT_ID。輸出內容中有一行宣告本工作階段 PROJECT_ID 的文字：

您在本工作階段中的 Cloud Platform 專案會設為「YOUR_PROJECT_ID」

gcloud 是 Google Cloud 的指令列工具，已預先安裝於 Cloud Shell，並支援 Tab 鍵自動完成功能。

2. (選用) 您可以執行下列指令來列出使用中的帳戶：

gcloud auth list

3. 點按「授權」。

4. 輸出畫面應如下所示：

輸出內容：

ACTIVE: * ACCOUNT: [email protected] To set the active account, run: $ gcloud config set account `ACCOUNT`

5. (選用) 您可以使用下列指令來列出專案 ID：

gcloud config list project

輸出內容：

[core] project = <project_ID>

輸出內容範例：

[core] project = qwiklabs-gcp-44776a13dea667a6 附註：如需有關 gcloud 的完整說明，請前往 Google Cloud 並參閱「gcloud CLI overview guide」(gcloud CLI 總覽指南)。

工作 1：開啟 BigQuery

開啟 BigQuery 控制台

1. 在 Google Cloud 控制台中，依序選取「導覽選單」>「BigQuery」。

接著，畫面中會顯示「歡迎使用 Cloud 控制台中的 BigQuery」訊息方塊，當中會列出快速入門導覽課程指南的連結和版本資訊。

2. 點選「完成」。

BigQuery 控制台會隨即開啟。

工作 2：建立資料集

1. 在「Explorer」專區中，找出名稱開頭為 qwiklabs-gcp- 的專案，點選旁邊的三點圖示。

2. 點選「建立資料集」。

3. 將「資料集 ID」設為 bq_logs。

4. 點選「建立資料集」。

點選「Check my progress」，確認目標已達成。 建立資料集

工作 3：執行查詢

首先，請執行簡單的查詢來產生記錄檔。您稍後會設定這個記錄檔，並匯出至 BigQuery。

1. 複製下列查詢，貼到 BigQuery 查詢編輯器：

SELECT current_date

2. 點選「執行」。

工作 4：設定從 Cloud Logging 匯出的記錄檔

1. 前往 Cloud 控制台，依序選取「導覽選單」圖示 >「查看所有產品」>「記錄」>「記錄檔探索工具」。

注意：如果出現「尚未儲存工作」的提示訊息，請點選「離開」。

2. 在「所有資源」中選取「BigQuery」，然後點選「套用」。

3. 接著點選右上方的「執行查詢」按鈕。

畫面上應會顯示一些查詢產生的記錄項目。

尋找含有「jobcompleted」字樣的項目。

4. 點選左側的箭頭，展開項目內容。

點選右側的「展開巢狀欄位」按鈕。

畫面上會顯示完整的 JSON 記錄項目。請向下捲動，查看不同欄位。

5. 向上捲動，回到項目的標頭處，點選「類似項目」並選擇「顯示相符的項目」。

這項操作會使用正確的字詞設定查詢內容。如果沒有看到，請切換「顯示查詢」按鈕。

建立接收器

您現在已取得所需的記錄檔，接著要設定接收器。

1. 在「更多動作」下拉式選單中，點選「建立接收器」。

2. 按照下方指示填入欄位：

• 在「接收器名稱」中填入 JobComplete，然後點選「下一步」。
• 選取「BigQuery 資料集」做為接收器服務。
• 選取「bq_logs」(您先前設定的資料集) 做為 BigQuery 資料集 (目的地)。
• 其餘選項保留預設設定。

3. 點選「建立接收器」。

BigQuery 之後產生的任何記錄項目，都會匯出至 bq_logs 資料集裡的資料表。

點選「Check my progress」，確認目標已達成。 建立接收器

工作 5：執行範例查詢

如要在新資料表中填入一些記錄檔，請執行一些範例查詢。

• 前往「Cloud Shell」，將下列 BigQuery 指令新增至 Cloud Shell：

bq query --location=us --use_legacy_sql=false --use_cache=false \ 'SELECT fullName, AVG(CL.numberOfYears) avgyears FROM `qwiklabs-resources.qlbqsamples.persons_living`, UNNEST(citiesLived) as CL GROUP BY fullname' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select month, avg(mean_temp) as avgtemp from `qwiklabs-resources.qlweather_geo.gsod` where station_number = 947680 and year = 2010 group by month order by month' bq query --location=us --use_legacy_sql=false --use_cache=false \ 'select CONCAT(departure_airport, "-", arrival_airport) as route, count(*) as numberflights from `bigquery-samples.airline_ontime_data.airline_id_codes` ac, `qwiklabs-resources.qlairline_ontime_data.flights` fl where ac.code = fl.airline_code and regexp_contains(ac.airline , r"Alaska") group by 1 order by 2 desc LIMIT 10'

畫面上應會顯示各查詢傳回的結果。

點選「Check my progress」，確認目標已達成。 執行範例查詢

工作 6：在 BigQuery 查看記錄檔

1. 依序選取「導覽選單」>「BigQuery」，前往 BigQuery。

2. 依序展開名稱開頭為 qwiklabs-gcp- 的來源 > bq_logs 資料集。

畫面上應會顯示「cloudaudit_googleapis_com_data_access」資料表 (實際名稱可能有出入)。

注意：如果未顯示資料表，您可能須重新執行範例查詢。

3. 點選資料表名稱並檢查結構定義，您會看到大量欄位。

如果點選「預覽」，卻沒有看到近期查詢的記錄檔，這是因為記錄檔串流至資料表。也就是說，您可以查詢新資料，但相關記錄檔暫時不會顯示在「預覽」中。

為了讓資料表更易於使用，請建立「檢視表」。檢視表會顯示欄位的部分內容，並執行一些計算作業，得出查詢時間的指標。

4. 點選「編寫新查詢」。在 BigQuery 查詢編輯器中，將 換成您的專案名稱，然後執行下列 SQL 指令。您可以在研究室頁面左側的「Lab Details」面板中，輕鬆複製專案 ID：

CREATE OR REPLACE VIEW bq_logs.v_querylogs AS SELECT resource.labels.project_id, protopayload_auditlog.authenticationInfo.principalEmail, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.query, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobConfiguration.query.statementType, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatus.error.message, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, TIMESTAMP_DIFF(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.endTime, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.startTime, MILLISECOND)/1000 AS run_seconds, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalProcessedBytes, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalSlotMs, ARRAY(SELECT as STRUCT datasetid, tableId FROM UNNEST(protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.referencedTables)) as tables_ref, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.totalTablesProcessed, protopayload_auditlog.servicedata_v1_bigquery.jobCompletedEvent.job.jobStatistics.queryOutputRowCount, severity FROM `<YOUR-PROJECT-ID>.bq_logs.cloudaudit_googleapis_com_data_access_*` ORDER BY startTime

點選「Check my progress」，確認目標已達成。 在 BigQuery 查看記錄檔

5. 現在要對檢視表執行查詢。請編寫新查詢，然後執行下列指令：

SELECT * FROM bq_logs.v_querylogs

6. 捲動至執行完成的查詢結果。

恭喜！

您已成功將 BigQuery 記錄檔從 Cloud Logging 匯出至 BigQuery 資料表，並透過 SQL 分析。

後續步驟/瞭解詳情

• 詳閱 Cloud Logging 說明文件。
• 詳閱 BigQuery 說明文件。

Google Cloud 教育訓練與認證

協助您瞭解如何充分運用 Google Cloud 的技術。我們的課程會介紹專業技能和最佳做法，讓您可以快速掌握要領並持續進修。我們提供從基本到進階等級的訓練課程，並有隨選、線上和虛擬課程等選項，方便您抽空參加。認證可協助您驗證及證明自己在 Google Cloud 技術方面的技能和專業知識。

使用手冊上次更新日期：2024 年 5 月 31 日

研究室上次測試日期：2024 年 5 月 31 日

Copyright 2024 Google LLC 保留所有權利。Google 和 Google 標誌是 Google LLC 的商標，其他公司和產品名稱則有可能是其關聯公司的商標。