분류 전체보기760 [GCP]Bigquery로 Dataframe전달할때 GenericGBQException 에러해결하기 Python을 사용하여 Excel파일을 Dataframe 형태로 불러온 후 전처리를 진행하였다, 완료된 Dataframe 파일을 DB형식으로 Bigquery로 저장하려고 하는데 아래와 같은 에러가 발생하였다. GenericGBQException : Reason: 400 POST https://bigquery.googleapis.com/bigquery/v2/projects/프로젝트명/datasets/데이터셋명/tables?prettyPrint=false: Invalid field name "컬럼명". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 300 ch.. 2022. 8. 10. [Tableau Server]서버 대시보드 Performance보기 Tableau Desktop에는 성능 기록이란게 있다, 이 성능 기록을 시작한뒤 원하는 작업을 진행하고나서 성능 기록을 종료하면 시작 ~ 종료까지 모든 작업들에 대한 Performance체크가 가능하다. 그런데 Tableau Server에 이미 게시가 완료된 대시보드들의 성능은 어떻게 확인할 수 있을까? 방법은 간단하다 1) 보고 싶은 대시보드의 성능을 확인하고 싶은 View를 연다. 2) 로딩이 완료된 후 Explorer의(크롬,Firefox등) 주소창을 누르면 맨 마지막에 ~~~~~?:iid=숫자 가 적혀 있을것이다. 3) ?와 iid=숫자 사이에 아래 문구를 입력한다. :record_performance=yes& 4)그럼 아래와 같은 URL이 입력될 것이다. ?:record_performance=y.. 2022. 8. 10. [GCP]Bigquery로 데이터 전송하기(Dataframe / Python / pandas_gbq) Google Cloud Platfrom에는 여러가지 기능이 있는데, Cloud Storage와 같은 저장소도 있고, SQL도 여러가지 종류를 사용가능하며, Cloud Bigquery와 같이 빅데이터도 저장 및 호출이 가능합니다. 만약 Bigquery로 엑셀 데이터(csv/xlsx)를 전송하고 싶을때 Python을 사용하여 전송해보자 1) 우선 엑셀 파일을 먼저 불러온다. import panas as pd Data_df = pd.read_csv('test.csv',index_col=0) 2) GCP의 Bigquery로 가면 아래와 같이 프로젝트명 > 데이터세트명>데이터 테이블 명으로 구분되어 있다. 3) 1)의 컬럼명/컬럼형에 맞게 테이블을 생성해준다. 4) [IAM 및 관리자] > [서비스 계정]에 가서.. 2022. 8. 10. [Springboot(스프링부터)]Entity생성과 JPA설정 Article.java의 있는 도메인들을 DB와 연동 가능하게 Entity 화 해주는 방법이다. 추가로 이후 검색이 가능하게 Index를 자동 생성 + JPA Auditing설정을 추가하여 일부러 내가 설정할 필요가 없는것들(ex)생성일시/생성자/수정일시 들을 자동으로 생성하게 해주는 기능도 추가한다. package com.board.boardproject.domain; import lombok.Getter; import lombok.Setter; import lombok.ToString; import javax.persistence.*; import java.time.LocalDateTime; @Getter @ToString @Table(indexes = { @Index(columnList = "tit.. 2022. 7. 26. [python(파이썬)]dataframe 호출시 na 살리기 pandas의 read_csv()를 할때 분명히 Nan이 아닌데도 Nan이 나오는 경우가 있어 검색해보았다. 검색 결과 na / Na라고 적혀있을경우 read_csv에서는 이를 Nan이라고 판단하고 모두 Nan값으로변경해버린다. col_1 col_2 col_3 col_4 col_5 col_6 0 NA 값_1 값_2_1 1 1 NA 값_2 값_2_2 1 2 NA 값_3 값_2_3 1 3 NA 값_4 값_2_4 1 4 NA 값_5 값_2_5 1 5 NA 값_6 값_2_6 10 1 6 NA 값_7 값_2_7 2 1 위 csv파일을 read_csv()로 불러오면 아래처럼 변경되어 버린다.(NA -> Nan) col_1 col_2 col_3 col_4 col_5 col_6 0 Nan 값_1 값_2_1 1 1 Na.. 2022. 7. 22. [python(파이썬)]dataframe 특정 컬럼의 값만 바꾸기(replace specific columns) 간혹 가다 dataframe의 값들중 빈칸인데도 Nan이 아닌 ""로 되어 있는 경우가 있다. 그렇다고 fillna를 써서 모든 Nan값을 빈칸으로 만들고 싶지 않은 경우가 있다. 그럴경우에는 어떻게하는지 기록한다. ex)요런 df(temp_df)가 있다고 가정했을때 col_1 col_2 col_3 col_4 col_5 col_6 0 값_1 값_2_1 Nan 1 1 값_2 값_2_2 Nan 1 2 값_3 값_2_3 Nan 1 3 Nan 값_4 값_2_4 Nan 1 4 Nan 값_5 값_2_5 Nan 1 5 Nan 값_6 값_2_6 1 1 6 Nan 값_7 값_2_7 2 1 import numpy as np temp_dict={"" : np.nan} temp_df=temp_df.replace({"col_2.. 2022. 7. 22. [데이터베이스(mysql)] 기본설정하기 보호되어 있는 글 입니다. 2022. 7. 20. [Spring Boot]Mac에 MySQL 설치하기 만들어질 게시판의 도메인 설계도 완료했고(ERD) 해당 도메인에서 설정해준 요소들(ID/Article ID / Title 등등)도 Class로 생성하였다, 이제 실제 데이터들이 쌓일 데이터 베이스를 구축하려고하는데, 가장 익숙하고 사용하기 편한 Mysql을 사용할것이다. mac에서 어떻게 설치하는지 알아보자 1) 설치할것들 : mysql / mysql workbench 1-1) mysql https://dev.mysql.com/downloads/mysql/ MySQL :: Download MySQL Community Server Select Operating System: Select Operating System… Microsoft Windows Ubuntu Linux Debian Linux SUSE .. 2022. 7. 13. [Springboot]스프링 부트 시작하기 사용환경 : Intellij Ultimate 언어 : 자바 프레임 워크 : Spring Boot JDK : Amazon 1) IntelliJ를 실행한 후 New Project를 실행한다. 2) Generators에서 Spring Initializr를 실행한다 3) JDK는 미리 설치한 JDK(환경 변수까지 설정이 완료된)없을 경우 다운로드를 제공하는데 corretto-17을 사용할 것이다. 4) 나중에 추가할 것이지만 우선 사용할 디펜던시들을 설정해준다. 4-1) Developer Tools - Spring Boot DevTools / Lombok(필수) 4-2) Web - Spring Web 4-3) Ops - Spring Boot Actuator 5) 이후 Create를 하면 자동으로 위에서 지정한 .. 2022. 7. 11. 이전 1 ··· 73 74 75 76 77 78 79 ··· 85 다음
