본문 바로가기

프로그래밍/Python57

[Python/파이썬/pandas] Pandas read_excel, Select Sheet Name, 시트 선택하기 Pandas Python의 강력한 ML/DL 라이브러리와 함께 데이터 분석을 위해서는 거의 필수적으로 쓰여지는 라이브러리가 바로 Pandas이다. pandas는 특히 엑셀파일(xlsx,csv등)과 굉장히 궁합이 좋은데, 파일을 Dataframe으로 변경하여 전처리를 진행하고 다른 파일로 저장하거나 기존 파일에 덧붙이거나, 아예 다른 데이터 형태로 변경이 가능하고, Tableau Hyper파일로 변환할 수도 있다. Postgresql / MySQL과 같은 DB에도 Dataframe에서 바로 업데이트가 가능하다. 참고로 Pandas는 우리가 아는 동물 판다를 얘기하는게 아니고, 초기 라이브러리 개발시 Panel이라는 데이터 구조를 다루는 툴로 개발을 하였고, Panel Data System을 줄여서 Pand.. 2024. 1. 31.
[Python / 파이썬] 특정 라이브러리에서 사용가능한 메서드들(함수들) 다 찾기 Python 내가 쓸 수 있는 모든 메서드들을 검색하는 법 Jupyter notebook이나 VSC나 코랩같은 곳에서는 특정 클래스(라이브러리)를 선택한 이후 "." 옆에서 탭을 누르면 사용가능한 메서드들이 자동으로 표시된다. 문제는 이러한 자동 표시기능이 가끔 이상하게 동작하는 경우가 많고, __method 와 같이 밑줄로 표시되는 경우에는 목록에 표시되지 않을 수 도 있다. 표시가 안되는 문제 아래 코드 예시는 Powerpoint(.pptx)의 슬라이드를 선택하고, 특정 도형(shape)를 제거하는 코드다. for slide in parsed.slides: if slide.slide_id == 755: for shape in slide.shapes: if shape.shape_type != MSO_S.. 2024. 1. 26.
[Pandas / Dataframe]특정 컬럼의 특정 문자열을 변경하는 코드 / 변경이 안될때 해결법 Dataframe의 특정 문자 변경 아래와 같은 dataframe 'df'가 있다고 가정할때, "col2" 컬럼의 "test_"를 ""로 변경하려고 한다. df col1 col2 col3 test_col1 test_col2_1 test_col3_1 test_col2 test_col2_2 test_col3_2 test_col3 test_col2_3 test_col3_3 test_col4 test_col2_4 test_col3_4 코드는 아래와 같습니다. Python Replace Code df['col2']=df['col2'].str.replace('test_','') str을 안붙여주면 에러는 안뜨는데 변경이 제대로 안되니 주의할것 끝. 2024. 1. 19.
[Python / pip]'pip'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는 배치 파일이 아닙니다(윈도우 버전) -Solved Python 설치 이후, pip 명령어가 안먹힐때Python을 설치하고 나서 잘깔렸는지 python을 cmd/terminal에 쳤을때는 잘나오는데,라이브러리 설치를 위해서 pip를 쳤을때는 아래 에러가 발생하는 경우가 있습니다.   'pip' is not recognized as an internal or external command   'pip'은(는) 내부 또는 외부 명령, 실행할 수 있는 프로그램, 또는 배치 파일이 아닙니다   원인python이 설치된 폴더안에는 Scripts폴더가 있고, 그안에 pip가 있다, 환경 변수 설정이 안되어 해당 pip가 인식되지 않는 것 입니다.쉽게 말해 바로가기를 만들었는데, 바로가기 경로가 이상해서 발생한 문제!!!   빠른 해결1) 실행(윈도우 키)  > 시스.. 2024. 1. 9.
[GCP]Google Cloud Storage에 엑셀이랑 이미지와 같은 파일들 저장하기(+How to save file to Google Cloud Storage using python code) Google Cloud Storage Google Cloud Platform중 파일 저장 및 데이터 저장(Bigquery)과 연동이 가능한, Google Cloud Storage는 단순하게 생각하면 그냥 네이버 마이박스나, 구글 드라이브와 같은 저장 공간이다. GCS의 장단점 장점 단점 높은 확장성 복잡한 가격 정책 우수한 데이터 접근성 학습 곡선(배우기 어려움) 다양한 데이터 관리 및 보안 기능 인터넷 의존도 비용 효율성 데이터 이전 비용 다중 리전 데이터 복제 제한된 지원 Google Cloud Storage의 기능 간단한 데이터 백업 부터, Storage안에는 모든 파일과 이미지를 저장할 수 있고, 같은 GCP에 속해있는 Bigquery와 연동하여 데이터베이스 구축이 가능하다. 또한 저장된 이미지는.. 2024. 1. 3.
[Python] Datetime format change(yyyy-mm-dd)/ Datetime 포맷 바꾸기 Datetime Python은 직관적인 코드를 사용하여 데이터를 원하는 형태로 가공이 가능하다, 그중에서도 Datetime을 사용하여, 특정 날짜를 원하는 형태로 바꾸는 방법이 있다.(How to Change Datetime Format) Generate Test Datetime(now) 특정 datetime을 그대로 사용해도 좋지만 일단은 테스트용 now datetime을 가져오자 #여기서는 임시로 NOW()시간을 사용하자 from datetime import datetime now_datetime=datetime.now() 연도-월-일 형태로 변경하기(결과는 string이다) 위의 now Datetime을 원하는 형태로 가공하여 뱉어내자 이때, 뱉어내는 값은 String형태다. change_forma.. 2023. 12. 27.
[Python/pyautogui] 마우스 움직이기 + 클릭 + 특정 키 조합으로 중단하기 Python을 사용하면 마우스나 키보드의 움직임을 원하는 대로 할 수 있고, 이를 응용하면 매크로 프로그램이나 특정 동작을 반복하게 할 수 도 있다, 화면이 안꺼지게 하거나 자동으로 꺼지지 않게 하는등의 간단한 작업에도 사용가능하다. import keyboard import pyautogui #강제 종료 키 CTRL+Q #바로 꺼지는게 아니고 if문에 걸려야하므로 계속 눌러주도록 한다(연타) stop_key_combination = "ctrl+q" print("Press {} to stop the loop.".format(stop_key_combination)) #ctrl+q가 안먹힐것을 대비해서 긴급 정지 추가 emergency_count=0 continue_loop = True while contin.. 2023. 12. 6.
ModuleNotFoundError: No module named 'sklearn' 해결법 - solved Anaconda에서 설치할 경우 conda install scikit-learn jupyer와 같은 편집기에서 바로 install 할경우 > pip install scikit-learn 2023. 11. 26.
[Python/파이썬] ValueError: invalid literal for int() with base 10: '' 에러 발생 -해결 solved 발생 어떤 값을 int로 형변환 할때 ValueError: invalid literal for int() with base 10: '' 에러가 발생하였다. import pandas as pd data = { 'column1': ['0.001', '0.001', '0.001', '0.001'], 'column2': ['0.001', '0.001', '0.001', '0.001'], 'column3': ['0.001', '0.001', '0.001', '0.001'], } df = pd.DataFrame(data) print(df) #결과 # column1 column2 column3 # 0 0.001 0.001 0.001 # 1 0.001 0.001 0.001 # 2 0.001 0.001 0.001 # 3.. 2023. 11. 26.

티스토리툴바

티스토리툴바