데이터 변환

Google Cloud Data Agent Kit를 사용하면 데이터 정리, 특성 엔지니어링, 심층 분석에 노트북을 사용할 수 있습니다.선택할 수 있는 노트북에는 세 가지 유형이 있습니다.

  • BigQuery DataFrames 노트북. 이러한 노트북은 익숙한 Pandas 및 scikit-learn API를 사용하여 BigQuery에서 대규모 데이터 세트를 처리할 수 있는 Python 노트북입니다. Python 외에도 BigQuery용 GoogleSQL로 코드를 작성할 수 있습니다.

  • 로컬 커널이 있는 관리형 Apache Spark 노트북. 이러한 노트북은 Spark Connect 라이브러리를 사용하여 Managed Service for Apache Spark에서 작업을 만들고 실행할 수 있는 Python 노트북입니다.

  • 원격 커널이 있는 관리형 Apache Spark 노트북. 이러한 노트북을 사용하면 Managed Service for Apache Spark에서 완전히 실행되는 원격 커널에서 노트북을 실행할 수 있습니다. 코드의 어떤 부분도 컴퓨터에서 로컬로 실행되지 않습니다. PySpark 외에도 %%sparksql 셀 매직을 사용하여 Spark SQL로 코드를 작성할 수 있습니다.

시작하기 전에

BigQuery 노트북의 경우 노트북을 실행하는 동일한 Python 가상 환경에 bigframes 라이브러리를 설치해야 합니다. 새 노트북을 만들면 초기화 셀에 주석 처리된 다음 줄이 포함됩니다.

#%pip install --upgrade bigframes

  1. 선택사항: Python 가상 환경에 bigframes 라이브러리가 설치되어 있지 않으면 주석 처리를 삭제합니다.

  2. 선택사항: 노트북에서 SQL 코드를 작성하려는 경우 bigquery-magics를 설치합니다.

pip install --upgrade bigquery-magics

필요한 역할

BigQuery 노트북을 실행하는 데 필요한 권한을 얻으려면 관리자에게 확장 프로그램에서 선택한 프로젝트에 대한 BigQuery Studio 사용자 (roles/bigquery.studioUser)를 부여해 달라고 요청하세요.

Managed Service for Apache Spark 노트북에 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요. 커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

데이터 변환

BigLake 또는 BigQuery 테이블의 데이터의 경우 확장 프로그램은 시작하는 데 도움이 되는 노트북 템플릿을 제공합니다.

BigQuery 또는 BigLake 테이블로 이동하려면 다음 단계를 따르세요.

  1. Ctrl/Cmd-Shift-P를 눌러 명령어 팔레트를 엽니다.
  2. 카탈로그 탐색기를 펼치고 BigQuery 또는 BigLake를 찾습니다.
  3. 표 ID를 마우스 오른쪽 버튼으로 클릭합니다.

  4. 부동 메뉴에서 Spark DataFrame에 로드 또는 BigQuery DataFrame에 로드 를 선택합니다. 새 편집기에 표에 대한 정보가 표시됩니다.

    범용 검색을 사용하여 표를 찾을 수도 있습니다. 표 ID를 클릭하여 새 편집기를 열고 데이터 탭을 클릭한 다음 Spark DataFrame에 로드 또는 BigQuery DataFrame에 로드 를 선택합니다.

노트북 초기화

표를 로드하면 선택한 DataFrame 유형으로 표를 로드하는 데 필요한 코드가 포함된 편집기 탭에 새 Jupyter 노트북이 열립니다.

  1. Python 가상 환경에 필요한 라이브러리가 설치되어 있지 않으면 pip install 줄의 주석 처리를 삭제합니다.

  2. 커널 선택 을 클릭하고 Python 커널을 선택합니다.

    원격 커널이 있는 관리형 Spark 노트북의 경우 원격 Spark 커널을 선택해야 합니다.

  3. 셀 하단의 ▷ 모두 실행 을 클릭하거나 Shift+Enter를 눌러 셀을 실행합니다.

  4. 누락된 소프트웨어를 설치하라는 메시지가 표시되면 설치 를 클릭합니다.

셀은 선택한 표의 데이터가 포함된 DataFrame을 만듭니다.

DataFrame에 데이터 변환 적용

노트북에 셀을 추가하고 데이터를 변환하는 코드를 작성합니다. BigQuery DataFrames의 경우 BigQuery DataFrames에서 제공하는 Pandas 호환 API를 사용하여 DataFrame을 변환할 수 있습니다.

또는 BigQuery DataFrames는 Jupyter 노트북에서 SQL을 사용하여 DataFrame을 변환하는 데 사용할 수 있는 매직 명령어를 제공합니다. SQL을 사용하여 데이터를 변환하려면 다음 단계를 완료하세요.

  1. 셀을 만들고 실행하여 Jupyter 매직을 활성화합니다.

    %load_ext bigframes

  2. %%bqsql 매직을 사용하여 SQL 셀을 만듭니다.

결과 저장

DataFrame 유형에서 제공하는 여러 출력 메서드 중 하나를 사용하여 변환된 데이터를 BigQuery 또는 Cloud Storage에 저장합니다. BigQuery DataFrames의 출력 메서드에는 다음이 포함됩니다.

소량의 데이터의 경우 추가 로컬 조작 및 시각화를 위해 Arrow 또는 Pandas로 내보낼 수 있습니다.

정리

계정 Google Cloud 에 요금이 청구되지 않도록 하려면 생성했지만 더 이상 필요하지 않은 리소스를 삭제하세요.

다음 단계