BigQuery：BigQuery數(shù)據(jù)導(dǎo)入與導(dǎo)出技術(shù)

BigQuery：BigQuery數(shù)據(jù)導(dǎo)入與導(dǎo)出技術(shù)1BigQuery簡介1.1BigQuery的核心概念BigQuery是GoogleCloud提供的一種全托管、低延遲、高擴展性的數(shù)據(jù)倉庫服務(wù)。它允許用戶存儲、管理和分析大規(guī)模的數(shù)據(jù)集，而無需擔(dān)心底層的基礎(chǔ)設(shè)施。BigQuery的核心概念包括：數(shù)據(jù)表（Table）：數(shù)據(jù)在BigQuery中以表的形式存儲。每個表都屬于一個特定的數(shù)據(jù)庫（Dataset），并且可以包含數(shù)PB的數(shù)據(jù)。數(shù)據(jù)庫（Dataset）：在BigQuery中，數(shù)據(jù)被組織成數(shù)據(jù)庫。一個數(shù)據(jù)庫可以包含多個表，以及與這些表相關(guān)的元數(shù)據(jù)。項目（Project）：項目是BigQuery中的最高級別組織單元。每個項目可以包含多個數(shù)據(jù)庫。分區(qū)表（PartitionedTable）：BigQuery支持分區(qū)表，可以按照時間戳或字符串字段將數(shù)據(jù)自動分區(qū)，以提高查詢性能。聚簇列（Clustering）：通過指定一個或多個列作為聚簇列，BigQuery可以物理地組織數(shù)據(jù)，使得查詢這些列時的性能得到提升。1.2BigQuery的工作原理BigQuery使用了一種稱為Dremel的查詢處理引擎，它能夠快速處理大規(guī)模的數(shù)據(jù)。Dremel的核心特性包括：列式存儲：BigQuery將數(shù)據(jù)存儲為列式格式，這意味著每一列的數(shù)據(jù)都存儲在一起。這種存儲方式在處理分析查詢時非常高效，因為它可以只讀取需要的列，而不需要讀取整個行。多級索引：BigQuery使用多級索引結(jié)構(gòu)來加速查詢。索引可以幫助BigQuery快速定位到數(shù)據(jù)的特定部分，從而減少需要掃描的數(shù)據(jù)量。并行處理：BigQuery可以在數(shù)千臺服務(wù)器上并行處理查詢，這意味著它可以非常快速地處理大規(guī)模的數(shù)據(jù)集。1.2.1示例：創(chuàng)建和查詢BigQuery表#導(dǎo)入BigQuery客戶端庫

fromgoogle.cloudimportbigquery

#初始化BigQuery客戶端

client=bigquery.Client()

#定義數(shù)據(jù)庫和表的名稱

dataset_id='my_dataset'

table_id='my_table'

#創(chuàng)建數(shù)據(jù)庫

dataset=bigquery.Dataset(dataset_id)

dataset=client.create_dataset(dataset,exists_ok=True)

#定義表的模式

schema=[

bigquery.SchemaField("name","STRING"),

bigquery.SchemaField("age","INTEGER"),

bigquery.SchemaField("email","STRING"),

]

#創(chuàng)建表

table=bigquery.Table(table_id,schema=schema)

table=client.create_table(table,exists_ok=True)

#插入數(shù)據(jù)

rows_to_insert=[

("Alice",30,"alice@"),

("Bob",25,"bob@"),

]

errors=client.insert_rows(table,rows_to_insert)

iferrors==[]:

print("Newrowshavebeenadded.")

else:

print("Encounterederrorswhileinsertingrows:{}".format(errors))

#查詢數(shù)據(jù)

query="""

SELECTname,age

FROM`my_dataset.my_table`

WHEREage>25

"""

query_job=client.query(query)

results=query_job.result()

forrowinresults:

print("Name:{},Age:{}".format(,row.age))在這個例子中，我們首先導(dǎo)入了BigQuery的客戶端庫，并初始化了一個BigQuery客戶端。然后，我們創(chuàng)建了一個數(shù)據(jù)庫和一個表，并定義了表的模式。接著，我們插入了一些數(shù)據(jù)到表中，并執(zhí)行了一個查詢，選擇年齡大于25的所有人的名字和年齡。這個例子展示了如何使用Python與BigQuery進行交互，包括創(chuàng)建數(shù)據(jù)庫和表、插入數(shù)據(jù)和執(zhí)行查詢。2BigQuery數(shù)據(jù)導(dǎo)入技術(shù)2.1使用GoogleCloudStorage導(dǎo)入數(shù)據(jù)在BigQuery中，從GoogleCloudStorage導(dǎo)入數(shù)據(jù)是一種常見的數(shù)據(jù)加載方式。這種方式允許你將數(shù)據(jù)文件存儲在CloudStorage中，然后使用BigQuery的LOAD命令將數(shù)據(jù)加載到BigQuery表中。支持的文件格式包括CSV、JSON、Avro和Parquet。2.1.1示例：從CloudStorage導(dǎo)入CSV數(shù)據(jù)假設(shè)你有一個CSV文件存儲在CloudStorage的my-bucket桶中，文件名為sales_data.csv，并且你想要將這些數(shù)據(jù)加載到BigQuery的my_dataset.sales_table表中。--BigQuerySQL語句示例

--從GoogleCloudStorage導(dǎo)入CSV數(shù)據(jù)到BigQuery表

LOADDATAINFILE'gs://my-bucket/sales_data.csv'

INTOTABLE`my_dataset.sales_table`

FIELDSTERMINATEDBY','

LINESTERMINATEDBY'\n'

IGNORE1ROWS;--忽略第一行，通常為標(biāo)題行注意：在實際操作中，你將使用BigQuery的UI或gcloud命令行工具來執(zhí)行數(shù)據(jù)導(dǎo)入，而不是直接使用SQL語句。以下是一個使用gcloud命令行工具的示例：#gcloudCLI命令示例

gcloudbigqueryload\

--source_format=CSV\

--skip_leading_rows=1\

my_dataset.sales_table\

gs://my-bucket/sales_data.csv2.1.2示例：從CloudStorage導(dǎo)入JSON數(shù)據(jù)如果你的數(shù)據(jù)以JSON格式存儲在CloudStorage中，可以使用以下命令將其加載到BigQuery表中：#gcloudCLI命令示例

gcloudbigqueryload\

--source_format=NEWLINE_DELIMITED_JSON\

my_dataset.json_table\

gs://my-bucket/sales_data.json2.2從其他GoogleCloud服務(wù)導(dǎo)入數(shù)據(jù)BigQuery可以無縫地從其他GoogleCloud服務(wù)導(dǎo)入數(shù)據(jù)，如Dataflow、Dataproc和CloudDataLossPrevention。2.2.1示例：使用Dataflow導(dǎo)入數(shù)據(jù)GoogleCloudDataflow是一個用于批處理和流處理數(shù)據(jù)的強大服務(wù)。你可以使用Dataflow來轉(zhuǎn)換和加載數(shù)據(jù)到BigQuery。#Python代碼示例

fromgoogle.cloudimportdataflow

options={

'project':'my-project-id',

'runner':'DataflowRunner',

'temp_location':'gs://my-bucket/temp',

}

p=dataflow.Pipeline(options=options)

#讀取數(shù)據(jù)

lines=p|'ReadfromGCS'>>dataflow.io.ReadFromText('gs://my-bucket/data.txt')

#轉(zhuǎn)換數(shù)據(jù)

converted_data=lines|'ConverttoBigQueryRow'>>dataflow.Map(lambdax:{'column1':x.split(',')[0],'column2':x.split(',')[1]})

#寫入BigQuery

converted_data|'WritetoBigQuery'>>dataflow.io.WriteToBigQuery(

'my_dataset.my_table',

schema='column1:STRING,column2:STRING',

create_disposition=dataflow.io.BigQueryDisposition.CREATE_IF_NEEDED,

write_disposition=dataflow.io.BigQueryDisposition.WRITE_APPEND

)

result=p.run()

result.wait_until_finish()2.3直接從本地文件系統(tǒng)導(dǎo)入數(shù)據(jù)雖然直接從本地文件系統(tǒng)導(dǎo)入數(shù)據(jù)到BigQuery不是最推薦的方式，但在某些情況下，如測試或小規(guī)模數(shù)據(jù)加載，這仍然是一個可行的選項。2.3.1示例：從本地文件導(dǎo)入CSV數(shù)據(jù)使用gcloud命令行工具，你可以直接從本地文件系統(tǒng)導(dǎo)入數(shù)據(jù)到BigQuery。#gcloudCLI命令示例

gcloudbigqueryload\

--source_format=CSV\

--skip_leading_rows=1\

my_dataset.sales_table\

/path/to/sales_data.csv2.3.2示例：從本地文件導(dǎo)入JSON數(shù)據(jù)對于JSON數(shù)據(jù)，導(dǎo)入過程類似：#gcloudCLI命令示例

gcloudbigqueryload\

--source_format=NEWLINE_DELIMITED_JSON\

my_dataset.json_table\

/path/to/sales_data.json以上示例展示了如何使用不同的方法和工具將數(shù)據(jù)導(dǎo)入BigQuery。通過選擇合適的導(dǎo)入方式，你可以有效地管理和分析大規(guī)模數(shù)據(jù)集。3BigQuery數(shù)據(jù)導(dǎo)出技術(shù)3.1導(dǎo)出數(shù)據(jù)到GoogleCloudStorage3.1.1原理BigQuery支持將查詢結(jié)果或表數(shù)據(jù)導(dǎo)出到GoogleCloudStorage(GCS)中，這一過程可以批量進行，適用于大規(guī)模數(shù)據(jù)的傳輸。導(dǎo)出到GCS的數(shù)據(jù)可以是CSV、JSON或Avro格式，這為后續(xù)的數(shù)據(jù)處理和分析提供了靈活性。3.1.2內(nèi)容使用BigQueryUI導(dǎo)出數(shù)據(jù)打開BigQueryUI：登錄到GoogleCloudConsole，選擇BigQuery服務(wù)。選擇數(shù)據(jù)表：在左側(cè)菜單中選擇要導(dǎo)出的數(shù)據(jù)表。執(zhí)行查詢：如果需要，可以在查詢編輯器中執(zhí)行SQL查詢來篩選數(shù)據(jù)。導(dǎo)出數(shù)據(jù)：在查詢結(jié)果頁面，點擊“導(dǎo)出”按鈕，選擇導(dǎo)出格式和GCS存儲桶。使用BigQueryCLI導(dǎo)出數(shù)據(jù)#導(dǎo)出數(shù)據(jù)到GCS的示例

bqextract--destination_format=CSVyour_project_id:your_dataset_id.your_table_idgs://your_bucket_name/your_file.csvyour_project_id:你的GoogleCloud項目ID。your_dataset_id:包含數(shù)據(jù)表的數(shù)據(jù)集ID。your_table_id:要導(dǎo)出的數(shù)據(jù)表ID。gs://your_bucket_name/your_file.csv:GCS存儲桶的路徑和文件名。使用BigQueryAPI導(dǎo)出數(shù)據(jù)使用BigQueryAPI進行數(shù)據(jù)導(dǎo)出，可以集成到自動化流程中，實現(xiàn)更高級的數(shù)據(jù)處理需求。fromgoogle.cloudimportbigquery

#創(chuàng)建BigQuery客戶端

client=bigquery.Client()

#指定數(shù)據(jù)表和GCS存儲桶

table_id="your_project_id.your_dataset_id.your_table_id"

destination_uri="gs://your_bucket_name/your_file.csv"

#構(gòu)建導(dǎo)出配置

job_config=bigquery.job.ExtractJobConfig()

job_config.destination_format=bigquery.DestinationFormat.CSV

#執(zhí)行導(dǎo)出任務(wù)

extract_job=client.extract_table(

table_id,destination_uri,job_config=job_config

)

#等待導(dǎo)出任務(wù)完成

extract_job.result()3.1.3注意事項導(dǎo)出數(shù)據(jù)時，確保GCS存儲桶的權(quán)限設(shè)置正確，BigQuery服務(wù)賬戶應(yīng)有相應(yīng)的寫入權(quán)限。大量數(shù)據(jù)導(dǎo)出可能需要較長時間，應(yīng)考慮使用異步操作。3.2導(dǎo)出數(shù)據(jù)到其他GoogleCloud服務(wù)3.2.1原理BigQuery可以直接將數(shù)據(jù)導(dǎo)出到其他GoogleCloud服務(wù)，如Dataflow、Dataproc等，以進行更復(fù)雜的數(shù)據(jù)處理和分析。這一過程通常通過GCS作為中間存儲，再由目標(biāo)服務(wù)讀取數(shù)據(jù)進行處理。3.2.2內(nèi)容使用Dataflow導(dǎo)出并處理數(shù)據(jù)importapache_beamasbeam

fromapache_beam.options.pipeline_optionsimportPipelineOptions

#設(shè)置Dataflow管道選項

options=PipelineOptions()

#創(chuàng)建管道

withbeam.Pipeline(options=options)asp:

#從BigQuery讀取數(shù)據(jù)

query="SELECT*FROMyour_project_id.your_dataset_id.your_table_id"

data=p|'ReadfromBigQuery'>>beam.io.ReadFromBigQuery(query=query)

#數(shù)據(jù)處理步驟

processed_data=data|'ProcessData'>>beam.Map(lambdax:x)

#將處理后的數(shù)據(jù)寫入GCS

processed_data|'WritetoGCS'>>beam.io.WriteToText('gs://your_bucket_name/your_file_prefix')使用Dataproc導(dǎo)出并處理數(shù)據(jù)Dataproc可以運行Spark或Hadoop作業(yè)，從BigQuery導(dǎo)出數(shù)據(jù)并進行處理。#使用Spark從BigQuery讀取數(shù)據(jù)并寫入GCS

gclouddataprocjobssubmitspark--cluster=your_dataproc_cluster\

--region=your_region\

--properties=spark.sql.hive.metastore.glueCatalog.enabled=true\

--jars=gs://spark-lib/bigquery/spark-bigquery-latest.jar\

--class=com.google.cloud.spark.bigquery.BigQueryExample\

--\

--input=your_project_id:your_dataset_id.your_table_id\

--output=gs://your_bucket_name/your_file_prefix3.2.3注意事項在使用Dataflow或Dataproc時，確保服務(wù)賬戶有訪問BigQuery和GCS的權(quán)限。考慮數(shù)據(jù)處理的效率和成本，選擇合適的處理框架和集群配置。3.3導(dǎo)出數(shù)據(jù)到本地文件系統(tǒng)3.3.1原理BigQuery支持將數(shù)據(jù)導(dǎo)出到本地文件系統(tǒng)，這一過程通常通過導(dǎo)出到GCS，再從GCS下載到本地完成。直接從BigQuery導(dǎo)出到本地可能受限于網(wǎng)絡(luò)帶寬和數(shù)據(jù)大小。3.3.2內(nèi)容使用BigQueryCLI下載數(shù)據(jù)首先，使用BigQueryCLI將數(shù)據(jù)導(dǎo)出到GCS，然后使用gsutil命令將數(shù)據(jù)從GCS下載到本地。#導(dǎo)出數(shù)據(jù)到GCS

bqextract--destination_format=CSVyour_project_id:your_dataset_id.your_table_idgs://your_bucket_name/your_file.csv

#從GCS下載數(shù)據(jù)到本地

gsutilcpgs://your_bucket_name/your_file.csv/local/path/to/your_file.csv使用BigQueryAPI下載數(shù)據(jù)使用BigQueryAPI將數(shù)據(jù)導(dǎo)出到GCS，再使用GCSAPI或gsutil命令將數(shù)據(jù)下載到本地。fromgoogle.cloudimportstorage

#創(chuàng)建GCS客戶端

client=storage.Client()

#指定GCS存儲桶和文件

bucket_name="your_bucket_name"

blob_name="your_file.csv"

#獲取存儲桶和Blob對象

bucket=client.get_bucket(bucket_name)

blob=bucket.blob(blob_name)

#下載Blob到本地文件

blob.download_to_filename("/local/path/to/your_file.csv")3.3.3注意事項下載大量數(shù)據(jù)到本地時，確保有足夠的磁盤空間?？紤]網(wǎng)絡(luò)帶寬，避免在高峰時段進行大規(guī)模數(shù)據(jù)下載。通過以上方法，你可以靈活地將BigQuery中的數(shù)據(jù)導(dǎo)出到GCS、其他GoogleCloud服務(wù)或本地文件系統(tǒng)，以滿足不同的數(shù)據(jù)處理和分析需求。4優(yōu)化BigQuery數(shù)據(jù)導(dǎo)入與導(dǎo)出流程4.1數(shù)據(jù)格式與壓縮在BigQuery中，數(shù)據(jù)的格式和壓縮方式對導(dǎo)入導(dǎo)出的效率有著直接的影響。選擇正確的數(shù)據(jù)格式和壓縮方式，可以顯著減少數(shù)據(jù)傳輸?shù)臅r間和成本。4.1.1數(shù)據(jù)格式BigQuery支持多種數(shù)據(jù)格式，包括CSV、JSON、Avro、Parquet和ORC。其中，Parquet和ORC是列式存儲格式，非常適合大數(shù)據(jù)分析，因為它們允許BigQuery跳過不相關(guān)的列，從而加快查詢速度。示例：使用Parquet格式導(dǎo)入數(shù)據(jù)假設(shè)我們有一個Parquet文件，存儲在GoogleCloudStorage中，我們想要將其導(dǎo)入到BigQuery中。首先，我們需要創(chuàng)建一個BigQuery表，然后使用LOADDATA命令來導(dǎo)入數(shù)據(jù)。--創(chuàng)建BigQuery表

CREATETABLEmydataset.mytable(

idINT64,

nameSTRING,

ageINT64,

addressSTRING

);

--從GoogleCloudStorage導(dǎo)入Parquet數(shù)據(jù)

LOADDATAINFILE'gs://mybucket/mydata.parquet'

INTOmydataset.mytable

OPTIONS(

format='PARQUET',

autodetect=true

);4.1.2壓縮方式BigQuery支持GZIP、DEFLATE和SNAPPY等壓縮方式。使用壓縮可以減少數(shù)據(jù)傳輸?shù)拇笮?，從而降低存儲和傳輸成本。示例：使用GZIP壓縮導(dǎo)出數(shù)據(jù)如果我們想要從BigQuery導(dǎo)出數(shù)據(jù)，并使用GZIP壓縮，可以使用EXPORTDATA命令。--導(dǎo)出BigQuery數(shù)據(jù)到GoogleCloudStorage，并使用GZIP壓縮

EXPORTDATAOPTIONS(

uri='gs://mybucket/mydata.csv.gz',

format='CSV',

compression='GZIP'

)

AS

SELECT*FROMmydataset.mytable;4.2使用分區(qū)表和聚簇BigQuery的分區(qū)表和聚簇功能可以進一步優(yōu)化數(shù)據(jù)的存儲和查詢效率，從而間接提高導(dǎo)入導(dǎo)出的性能。4.2.1分區(qū)表分區(qū)表允許你根據(jù)特定的列（如日期或時間戳）將數(shù)據(jù)自動分割成多個分區(qū)。這在處理大量數(shù)據(jù)時非常有用，因為你可以只查詢特定日期范圍的數(shù)據(jù)，而不需要掃描整個表。示例：創(chuàng)建分區(qū)表--創(chuàng)建一個按日期分區(qū)的表

CREATETABLEmydataset.mytable(

idINT64,

nameSTRING,

ageINT64,

addressSTRING,

timestampTIMESTAMP

)

PARTITIONBY

DATE(timestamp);4.2.2聚簇聚簇是BigQuery中的一種數(shù)據(jù)組織方式，它根據(jù)特定的列對數(shù)據(jù)進行物理排序。這可以減少查詢時需要掃描的數(shù)據(jù)量，從而提高查詢性能。示例：創(chuàng)建聚簇表--創(chuàng)建一個按name列聚簇的表

CREATETABLEmydataset.mytable(

idINT64,

nameSTRING,

ageINT64,

addressSTRING

)

CLUSTERBY

name;4.3批量導(dǎo)入與導(dǎo)出批量導(dǎo)入和導(dǎo)出數(shù)據(jù)可以顯著提高效率，特別是在處理大量數(shù)據(jù)時。BigQuery提供了多種工具和方法來支持批量操作。4.3.1批量導(dǎo)入BigQuery支持通過GoogleCloudStorage進行批量數(shù)據(jù)導(dǎo)入。你可以上傳多個文件，然后使用LOADDATA命令一次性導(dǎo)入所有文件。示例：批量導(dǎo)入數(shù)據(jù)假設(shè)我們有多個CSV文件存儲在GoogleCloudStorage中，我們可以使用以下命令批量導(dǎo)入數(shù)據(jù)。--批量導(dǎo)入CSV數(shù)據(jù)

LOADDATAINFILE'gs://mybucket/*.csv'

INTOmydataset.mytable

OPTIONS(

format='CSV',

autodetect=true

);4.3.2批量導(dǎo)出批量導(dǎo)出數(shù)據(jù)通常用于數(shù)據(jù)備份或數(shù)據(jù)遷移。你可以使用EXPORTDATA命令，結(jié)合GoogleCloudStorage的批量操作，一次性導(dǎo)出大量數(shù)據(jù)。示例：批量導(dǎo)出數(shù)據(jù)如果我們想要批量導(dǎo)出數(shù)據(jù)到GoogleCloudStorage，可以使用以下命令。--批量導(dǎo)出數(shù)據(jù)

EXPORTDATAOPTIONS(

uri='gs://mybucket/mydata_*.csv',

format='CSV',

overwrite=true

)

AS

SELECT*FROMmydataset.mytable;在這個例子中，mydata_*.csv表示導(dǎo)出的數(shù)據(jù)將被分割成多個CSV文件，文件名以mydata_開頭。通過以上的方法，我們可以有效地優(yōu)化BigQuery的數(shù)據(jù)導(dǎo)入和導(dǎo)出流程，提高數(shù)據(jù)處理的效率和性能。5錯誤處理與最佳實踐5.1常見導(dǎo)入導(dǎo)出錯誤在使用BigQuery進行數(shù)據(jù)導(dǎo)入與導(dǎo)出時，可能會遇到各種錯誤。了解這些錯誤的原因和如何避免它們是確保數(shù)據(jù)操作順利進行的關(guān)鍵。以下是一些常見的錯誤類型：數(shù)據(jù)格式不匹配：導(dǎo)入數(shù)據(jù)時，如果數(shù)據(jù)的格式與BigQuery表的模式不匹配，將導(dǎo)致導(dǎo)入失敗。例如，如果BigQuery表的某一列被定義為INTEGER類型，而導(dǎo)入的數(shù)據(jù)中該列包含非整數(shù)值，如字符串或浮點數(shù)，將引發(fā)錯誤。權(quán)限問題：在導(dǎo)入或?qū)С鰯?shù)據(jù)時，如果用戶沒有足夠的權(quán)限，BigQuery將拒絕操作。例如，用戶可能沒有寫入特定表的權(quán)限，或者沒有讀取存儲在GoogleCloudStorage中的數(shù)據(jù)的權(quán)限。數(shù)據(jù)大小限制：BigQuery對導(dǎo)入和導(dǎo)出的數(shù)據(jù)大小有特定的限制。如果數(shù)據(jù)文件超過了這些限制，導(dǎo)入或?qū)С霾僮鲗⑹　＞W(wǎng)絡(luò)問題：在從外部源導(dǎo)入數(shù)據(jù)或?qū)С鰯?shù)據(jù)到外部目的地時，網(wǎng)絡(luò)連接問題可能導(dǎo)致操作失敗或超時。5.1.1示例：數(shù)據(jù)格式不匹配錯誤假設(shè)我們有一個BigQuery表my_table，其模式如下：-id:INTEGER

-name:STRING

-age:INTEGER我們嘗試從一個CSV文件導(dǎo)入數(shù)據(jù)，但CSV文件中的age列包含了一些非整數(shù)值，如N/A或NULL。#使用bq命令行工具導(dǎo)入數(shù)據(jù)

bqload--source_format=CSVmy_dataset.my_tablegs://my_bucket/data.csv導(dǎo)入操作將失敗，并返回錯誤信息，指示age列的數(shù)據(jù)格式與表模式不匹配。5.2解決錯誤的策略面對BigQuery導(dǎo)入導(dǎo)出中的錯誤，采取正確的策略至關(guān)重要。以下是一些解決常見錯誤的策略：檢查數(shù)據(jù)格式：在導(dǎo)入數(shù)據(jù)前，確保數(shù)據(jù)格式與BigQuery表的模式完全匹配。使用數(shù)據(jù)預(yù)處理工具或編程語言（如Python）來清洗和轉(zhuǎn)換數(shù)據(jù)格式。驗證權(quán)限：確保執(zhí)行導(dǎo)入導(dǎo)出操作的用戶或服務(wù)賬戶具有足夠的權(quán)限。使用GoogleCloudConsole或gcloud命令行工具檢查和修改權(quán)限。分批處理數(shù)據(jù)：如果數(shù)據(jù)大小超過了BigQue