GCP4 [GCP]Google Cloud Storage에 엑셀이랑 이미지와 같은 파일들 저장하기(+How to save file to Google Cloud Storage using python code) Google Cloud Storage Google Cloud Platform중 파일 저장 및 데이터 저장(Bigquery)과 연동이 가능한, Google Cloud Storage는 단순하게 생각하면 그냥 네이버 마이박스나, 구글 드라이브와 같은 저장 공간이다. GCS의 장단점 장점 단점 높은 확장성 복잡한 가격 정책 우수한 데이터 접근성 학습 곡선(배우기 어려움) 다양한 데이터 관리 및 보안 기능 인터넷 의존도 비용 효율성 데이터 이전 비용 다중 리전 데이터 복제 제한된 지원 Google Cloud Storage의 기능 간단한 데이터 백업 부터, Storage안에는 모든 파일과 이미지를 저장할 수 있고, 같은 GCP에 속해있는 Bigquery와 연동하여 데이터베이스 구축이 가능하다. 또한 저장된 이미지는.. 2024. 1. 3. [GCP]Bigquery 기존 데이터 업데이트/수정하기(Python) Python 라이브러리 중 데이터분석쪽에서 가장 유명한 pandas에서 제공하는 to_gbq를 사용하면 GCP(Google Cloud Platform)의 Bigquery와 통신이 가능하다. DB를 Dataframe형태로 불러올 수도 있고,반대로 dataframe을 Bigquery로 업로드 할수도 있다. 제공하는 to_gbq는 크게 append / replace / fail이 있으며 이를 활용하여, 사용자가 실수로 잘못된 데이터를 입력하였을때 기존 데이터와 비교하여 특정 부분만 업데이트하는 방식을 사용할 것이다. 엑셀 -> Bigquery(업로드) append / replace from datetime import datetime from google.cloud import storage import os.. 2022. 9. 5. [Tableau Server]GCP Bigquery와 Tablaeu Server 연결이 안될 경우 해결방법 시스템을 구축하는 도중에 Tableau Server와 GCP의 Bgiquery가 연동이 되지 않는 문제가 발생했다, 아마 보안문제 인것 같은데, Tableau 홈페이지에선 그냥 버전 업을 하면된다라고만 나온다, 좀더 자세히 검색을 해보니 OAuth2의 문제일 수도 있다고 하여 조치를 하니 해결 되었다, 만일 본인이 할 수 있는 만큼 했는데도 해결이 되지 않는다면, 아래 방법으로 시험해보길 바란다. 먼저 GCP에서 API의 OAuth 사용자 인증을 실행해야 한다. 이제 Bigquery와 Tableau Server의 연결을 위한 API를 설정해야한다. GCP -> API 및 서비스 -> 검색 -> BigQuery Connection API BigQuery API 를 사용 설정합니다. 위의 OAuth 클라이언.. 2022. 9. 5. [GCP]Bigquery로 Dataframe전달할때 GenericGBQException 에러해결하기 Python을 사용하여 Excel파일을 Dataframe 형태로 불러온 후 전처리를 진행하였다, 완료된 Dataframe 파일을 DB형식으로 Bigquery로 저장하려고 하는데 아래와 같은 에러가 발생하였다. GenericGBQException : Reason: 400 POST https://bigquery.googleapis.com/bigquery/v2/projects/프로젝트명/datasets/데이터셋명/tables?prettyPrint=false: Invalid field name "컬럼명". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 300 ch.. 2022. 8. 10. 이전 1 다음
