본문 바로가기

전체 글829

[Tableau Server]GCP Bigquery와 Tablaeu Server 연결이 안될 경우 해결방법 시스템을 구축하는 도중에 Tableau Server와 GCP의 Bgiquery가 연동이 되지 않는 문제가 발생했다, 아마 보안문제 인것 같은데, Tableau 홈페이지에선 그냥 버전 업을 하면된다라고만 나온다, 좀더 자세히 검색을 해보니 OAuth2의 문제일 수도 있다고 하여 조치를 하니 해결 되었다, 만일 본인이 할 수 있는 만큼 했는데도 해결이 되지 않는다면, 아래 방법으로 시험해보길 바란다. 먼저 GCP에서 API의 OAuth 사용자 인증을 실행해야 한다. 이제 Bigquery와 Tableau Server의 연결을 위한 API를 설정해야한다. GCP -> API 및 서비스 -> 검색 -> BigQuery Connection API BigQuery API 를 사용 설정합니다. 위의 OAuth 클라이언.. 2022. 9. 5.
[Tableau(태블로)]TSC(Tableau Server Client)로 Tableau Server 관리하기 Python의 라이브러리중 Tableau Server Client라는 라이브러리가 있다, TSC라는 줄임말로 주로 사용하는데, 해당 라이브러리를 사용하여 Tableau Server의 거의 모든 기능들을 코드로 작성가능하다. csv 형태의 데이터 원본을 서버로 업로드하거나 hypter로 변경된 데이터 원본을 전송하거나, 유저 관리도 가능하다. 또한 해당 코드를 사용하고 Django로 간단한 사이트를 만들어 유저 관리도 가능하다. 구현하는데 시간이 걸리겠지만 구현만 된다면 사용자가 원하는 형태로 Tableau Server사용이 가능하다고 본다. 이번엔 TSC에서 제공하는들중 유저목록을 리스트 형태로뽑는 방법을 기재할것이다. ---TSC로 Tableau Server의 유저 목록 뽑아오기--- import ta.. 2022. 8. 31.
[Tableau(태블로)]라벨 가로로 표시하기 간혹가다 바 그래프나 선 그래프로 태블로를 표시할때 라벨이 가로로 누워서 표현되는 경우가 있다. 물론 레이블 회전을 사용하여 가로쓰기로 변경이 가능하지만 대시보드의 최대 크기가 부족할 경우 라벨이 잘리는 경우가 있다. 이것 또한 서식 > 맞춤 > 줄 바꾼 -> 설정으로 변경하면 아래처럼 표시되지만, 글씨가 애매하게 잘려서 보기 괴롭다. 이럴때는 차라리 아래 예시처럼 1줄로 표시를 해주고 싶다. 방법은 약간의 노력과 시간이 필요한 방법인데 엑셀이나 코딩을 활용하면 편하게 가능하다. 방법은 간단하다. IF문을 사용하여 한칸씩 밀려써주기만 하면된다. IF [하위 범주]='가전 제품' THEN "가 전 제 품" ELSEIF [하위 범주]="레이블" THEN "레 이 블" ELSEIF [하위 범주]='미술용품' .. 2022. 8. 30.
[GCP]Google Cloud SQL Python으로 쿼리문 실행하기 -2(Python으로 쿼리문 실행하기) 1부에서는 GCP -> SQL의 전반적인 설정을 설명하였다, 2부 에서는 실제로 Python 코드를 사용하여 이렇게 생성된 SQL과 연동을 할것이다. 다른좋은 방법들도 많고 간단한 방법들도 많지만 역시 공식 방법이 가장 효과적이다. 설치되지 않은 라이브러리는 !pip install을 사용하여 설치바란다. import os from google.cloud.sql.connector import Connector import sqlalchemy import pymysql.cursors os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="생성한 키 Json 파일.json" connector = Connector() def getconn() -> pymysql.connections... 2022. 8. 26.
[GCP]Google Cloud SQL Python으로 쿼리문 실행하기 -1(GCP SQL 설정하기) 어쩌다 보니 Python을 사용하여 Google Cloud SQL에 데이터프레임 형태의 엑셀 파일의 데이터를 적재하고, 이를 나중에 Mysql을 사용하여 조회할 수 있게 만드는 프로그램을 개발해야되게 되었다. 동작 과정은 아래와 같다. 1) 엑셀(.csv / .xlsx)을 Dataframe형태로 조회한다. 2) 테이블 이름을 입력하고 Google Cloud SQL에 동일한 테이블명이 있다면, Append하고 없다면 새롭게 테이블을 생성하고 데이터를 입력하도록 만들었다. 3) 저장 버튼을 누르면 Google Cloud SQL의 DataBase에 데이터를 적재한다. 뭐가 됬든간에 쿼리문을 작성할 수 있다면 해결될 문제이다, 그리고 해당하는 쿼리문을 for문과 함수를 사용하여, 여러줄의 데이터를 한꺼번에 적재.. 2022. 8. 26.
pyinstaller 용량 줄이기(순정 Python) Pyqt5를 사용하여 어떠한 프로그램을 만들었다, 사용자 편의성을 위하여 코드에서 실행하는것이 아닌 .exe를 사용하여 간단하게 실행가능하게 하고 싶다면 pyinstaller를 사용하면된다. 문제는 pyinstaller를 사용하여 생성된 .exe파일의 크기가 엄청나게 클수도있다는 점이다, 이는 코드에서 사용된 패키지들을 같이 동봉하면서 발생하는 문제이며, pyinstaller -F -w --exclude numpy, --exclude pandas 파이썬파일명.py 와 같이 pyinstaller로 .exe를 생성할때 패키지를 제거할수도 있지만, 사용자의 PC에 해당 패키지가 미리 설치되어 있어야하는 단점이 있다. 여러가지 검색한 결과 순정 Python을 사용하면 용량이 크게 준다고 하여 그대로 진행해보았다.. 2022. 8. 17.
[GCP]Bigquery로 Dataframe전달할때 GenericGBQException 에러해결하기 Python을 사용하여 Excel파일을 Dataframe 형태로 불러온 후 전처리를 진행하였다, 완료된 Dataframe 파일을 DB형식으로 Bigquery로 저장하려고 하는데 아래와 같은 에러가 발생하였다. GenericGBQException : Reason: 400 POST https://bigquery.googleapis.com/bigquery/v2/projects/프로젝트명/datasets/데이터셋명/tables?prettyPrint=false: Invalid field name "컬럼명". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 300 ch.. 2022. 8. 10.
[Tableau Server]서버 대시보드 Performance보기 Tableau Desktop에는 성능 기록이란게 있다, 이 성능 기록을 시작한뒤 원하는 작업을 진행하고나서 성능 기록을 종료하면 시작 ~ 종료까지 모든 작업들에 대한 Performance체크가 가능하다. 그런데 Tableau Server에 이미 게시가 완료된 대시보드들의 성능은 어떻게 확인할 수 있을까? 방법은 간단하다 1) 보고 싶은 대시보드의 성능을 확인하고 싶은 View를 연다. 2) 로딩이 완료된 후 Explorer의(크롬,Firefox등) 주소창을 누르면 맨 마지막에 ~~~~~?:iid=숫자 가 적혀 있을것이다. 3) ?와 iid=숫자 사이에 아래 문구를 입력한다. :record_performance=yes& 4)그럼 아래와 같은 URL이 입력될 것이다. ?:record_performance=y.. 2022. 8. 10.
[GCP]Bigquery로 데이터 전송하기(Dataframe / Python / pandas_gbq) Google Cloud Platfrom에는 여러가지 기능이 있는데, Cloud Storage와 같은 저장소도 있고, SQL도 여러가지 종류를 사용가능하며, Cloud Bigquery와 같이 빅데이터도 저장 및 호출이 가능합니다. 만약 Bigquery로 엑셀 데이터(csv/xlsx)를 전송하고 싶을때 Python을 사용하여 전송해보자 1) 우선 엑셀 파일을 먼저 불러온다. import panas as pd Data_df = pd.read_csv('test.csv',index_col=0) 2) GCP의 Bigquery로 가면 아래와 같이 프로젝트명 > 데이터세트명>데이터 테이블 명으로 구분되어 있다. 3) 1)의 컬럼명/컬럼형에 맞게 테이블을 생성해준다. 4) [IAM 및 관리자] > [서비스 계정]에 가서.. 2022. 8. 10.

티스토리툴바

티스토리툴바