본문 바로가기

Python176

[Python / Colab / 코랩] 코랩에서 구글 드라이브 연결하기, How to connect google drive in colab example code 코랩이란? 코랩은 구글에서 제공하는 python 편집기이며, 인터넷만 된다면 어디서든 코딩을 할 수 있는 아주 좋은 사이트이다. 최근 AI가 활성화 되면서 PC성능이 낮은 경우 코랩을 사용하여 코딩을 하는 경우가 많아 졌으며, 약간의 사용료를 지불하면 항상 켜져있는 가상 서버로도 활용이 가능하다. [구글 코랩 / colab] AI 로 누구나 빠르게 코딩하기 - AI 코딩 사용법(생성형 AI / ChatGPT) Python 편집기(Jupyter notebook / Colab) Python은 강력한 언어지만, 다른 언어들과 마찬가지로 cmd나 terminal에서 사용하기에는 부적절합니다, JAVA에게는 Eclipse나 InteliJ가 있고, C에게는 VSC(Visual Studio)가 있 mrnoobiest.. 2024. 2. 25.
[Python / 파이썬 / Python 기초] List 한칸씩 옆으로 밀기(for문 or 인덱스) Python List Python의 list는 잠시 또는 세션이 실행되는 동안 데이터를 저장해 놓는 유용한 공간이다, 더하거나 빼는 것도 가능하고, 인덱스나 슬라이스를 사용해서 원하는 부분만 추출할 수 도 있다. 이러한 List는 for문이랑 굉장히 많이 활용하게 되는데 n번째 값만 추출한다던지, 특정 조건을 만족하는 경우에만 다른 리스트에 넣던지 가능하다. 물론 속도 측면에서 for문보다는 인덱스나 슬라이스를 활용하는것이 적절하다. List에서 한칸씩 뒤로 밀기 List_A=[1,2,3,4,5,6,7] 이라고 할때, List_result=[2,3,4,5,6,7,1]로 하려고 한다고 하자. 인덱스 방법을 사용하면 아주 쉽게 구현이 가능하다. List_A=[1,2,3,4,5,6] List_result = .. 2024. 2. 19.
[PostgreSQL / Python / DB] Python Dataframe을 PostgreSQL로 전송,수정,삭제,생성하기(전처리 + 쿼리문) PostgreSQL이란? The PostgreSQL Global Development Group에서 개발된 오픈 소스 ORDBMS며, 1996년도에 발표되어 무료이면서도 강력한 성능을 통해 사랑받는 DB다. MySQL과 사용법이 거의 동일하여 기존 사용자도 많이 옮겨타고 있는 추세이다, 이번엔 Python Dataframe으로 전처리를 하고나서, 해당 데이터를 PostgreSQL에 바로 Python코드를 사용해서 적재하거나 기존 데이터를 수정하는 방법을 사용할 것이다. 설치 pip install psycopg2-binary 위 pip명령어를 사용하여 라이브러리를 다운받으면 된다, 만일 라이브러리 다운로드가 안될경우 아래 명령어를 command창에서 실행해보시길발바니다. python3 -m pip inst.. 2024. 2. 6.
[Python/파이썬/pandas] Pandas read_excel, Select Sheet Name, 시트 선택하기 Pandas Python의 강력한 ML/DL 라이브러리와 함께 데이터 분석을 위해서는 거의 필수적으로 쓰여지는 라이브러리가 바로 Pandas이다. pandas는 특히 엑셀파일(xlsx,csv등)과 굉장히 궁합이 좋은데, 파일을 Dataframe으로 변경하여 전처리를 진행하고 다른 파일로 저장하거나 기존 파일에 덧붙이거나, 아예 다른 데이터 형태로 변경이 가능하고, Tableau Hyper파일로 변환할 수도 있다. Postgresql / MySQL과 같은 DB에도 Dataframe에서 바로 업데이트가 가능하다. 참고로 Pandas는 우리가 아는 동물 판다를 얘기하는게 아니고, 초기 라이브러리 개발시 Panel이라는 데이터 구조를 다루는 툴로 개발을 하였고, Panel Data System을 줄여서 Pand.. 2024. 1. 31.
[Python / 파이썬] 특정 라이브러리에서 사용가능한 메서드들(함수들) 다 찾기 Python 내가 쓸 수 있는 모든 메서드들을 검색하는 법 Jupyter notebook이나 VSC나 코랩같은 곳에서는 특정 클래스(라이브러리)를 선택한 이후 "." 옆에서 탭을 누르면 사용가능한 메서드들이 자동으로 표시된다. 문제는 이러한 자동 표시기능이 가끔 이상하게 동작하는 경우가 많고, __method 와 같이 밑줄로 표시되는 경우에는 목록에 표시되지 않을 수 도 있다. 표시가 안되는 문제 아래 코드 예시는 Powerpoint(.pptx)의 슬라이드를 선택하고, 특정 도형(shape)를 제거하는 코드다. for slide in parsed.slides: if slide.slide_id == 755: for shape in slide.shapes: if shape.shape_type != MSO_S.. 2024. 1. 26.
[Tableau / Python]Tableau Hyper에 포함된 모든 Table Name 출력하기 아래 링크에서 1. Tableau Server에 업로드된 데이터를 다운로드 하는법 2. 다운로드한 tdsx에서 hyper파일로 변환하는 방법 3. 변환한 hyper파일을 Dataframe(Pandas)로 변환하는 방법 4. 변환한 Dataframe을 hyper로 다시 변환하는 방법 5. 완성한 Hyper파일을 Tableau Server로 업로드하는 방법 을 기술하였다. [Tableau(태블로)]Tableau Server에서 데이터 원본 가져오기(Python)(Tableau Server Datasource to hyper to Dataframe) Tableau Server에서 CSV / Dataframe 으로 가져오기 서버에서 데이터 원본을 가져온다음 그걸 Dataframe으로 변경하는 일련의 과정을 Py.. 2024. 1. 22.
[Tableau(태블로)]Tableau Server에서 데이터 원본 가져오기(Python)(Tableau Server Datasource to hyper to Dataframe) Tableau Server에서 CSV / Dataframe 으로 가져오기 서버에서 데이터 원본을 가져온다음 그걸 Dataframe으로 변경하는 일련의 과정을 Python을 사용하여 자동화 하려고한다. 그런데 데이터 원본을 가져오는것 까지는 좋은데 해당 데이터 원본을 다운받을때 파일형식이 hyper가 아닌 tdsx로 받아지는 문제가 발생했다. 약간 더러운 방법이지만 다른 방법을 찾아봐도 잘 모르겠으니 더 좋은 방법이 있다면 언제든 댓글을 달아주길 바랍니다. 1. Python 코드(tableauhyperapi) 1.1) 가져올 데이터원본 ID 구하기(get Datasource ID in Tableau Server) import tableauserverclient as TSC tableau_auth = TSC.. 2024. 1. 22.
[Pandas / Dataframe]특정 컬럼의 특정 문자열을 변경하는 코드 / 변경이 안될때 해결법 Dataframe의 특정 문자 변경 아래와 같은 dataframe 'df'가 있다고 가정할때, "col2" 컬럼의 "test_"를 ""로 변경하려고 한다. df col1 col2 col3 test_col1 test_col2_1 test_col3_1 test_col2 test_col2_2 test_col3_2 test_col3 test_col2_3 test_col3_3 test_col4 test_col2_4 test_col3_4 코드는 아래와 같습니다. Python Replace Code df['col2']=df['col2'].str.replace('test_','') str을 안붙여주면 에러는 안뜨는데 변경이 제대로 안되니 주의할것 끝. 2024. 1. 19.
[GCP]Google Cloud Storage에 엑셀이랑 이미지와 같은 파일들 저장하기(+How to save file to Google Cloud Storage using python code) Google Cloud Storage Google Cloud Platform중 파일 저장 및 데이터 저장(Bigquery)과 연동이 가능한, Google Cloud Storage는 단순하게 생각하면 그냥 네이버 마이박스나, 구글 드라이브와 같은 저장 공간이다. GCS의 장단점 장점 단점 높은 확장성 복잡한 가격 정책 우수한 데이터 접근성 학습 곡선(배우기 어려움) 다양한 데이터 관리 및 보안 기능 인터넷 의존도 비용 효율성 데이터 이전 비용 다중 리전 데이터 복제 제한된 지원 Google Cloud Storage의 기능 간단한 데이터 백업 부터, Storage안에는 모든 파일과 이미지를 저장할 수 있고, 같은 GCP에 속해있는 Bigquery와 연동하여 데이터베이스 구축이 가능하다. 또한 저장된 이미지는.. 2024. 1. 3.