Python176 [Python] 학습이 완료된 모델 저장해서 다른곳에서 사용하기 머신러닝이든 딥러닝이든 간단한 데이터라면 모를까 빅데이터를 사용한 모델학습은 매번 할때마다 시간이 많이 필요하다(3일동안 돌린경우도 있다한다) 문제는 해당 모델을 다른 데이터에도 적용을 해주고 싶은데, 다른 코드에서도 해당 모델을 사용할때 학습을 한다면 시간이 부족할 것이다. 다행히도 학습이 완료된 모델을 저장하는 방법이 있다, 여러가지 방법이 있지만 보통 pickle를 많이 쓴다. pickle import pickle with open('경로/저장하고 싶은 파일명.pickle','wb') as fw: pickle.dump(모델명, fw) 이렇게 해서 저장된 .pickle(.dat)을 다른 파이썬 코드에서 여는 방법은 아래와 같다. pickle 다른곳에서 쓰는 코드 import pickle with op.. 2022. 5. 9. [태블로(Tableau)] Tabpy 연동하기 - Tabpy_2 과정 1) Tabpy 서버 실행하기 2) Tabpy 서버 실행 후 태블로에서 해당 서버와 연동해주기 3) 원하는 Python 코드를 Script_XXX() 내장함수로 실행하기 4) 결과들을 가지고 데이터 시각화 하기 사용할 데이터 셋 (Iris()) from sklearn.datasets import load_iris 사용할 분석기법 DBSCAN(밀도 기반 클러스터링) -> from sklearn.cluster import DBSCAN DBSCAN이란? eps=거리값, min_samples=n값 eps만큼의 반경안에 n개의 값으로 이루어진 군집을 의미한다. 쉽게 말하면 그래프상에 찍혀있는 여러개의 점들이 모여있는 정도에 따라 구분해놓은것 k-means 클러스터링의 경우에는 거리에따라 구분하느라 군집을 표.. 2022. 5. 6. [Tableau(태블로)]Tableau Server로 Dataframe 데이터 업로드하기 Tabpy도 그렇고 pantab도 그렇고 Tableau와 Python은 웬만하면 호환되는 경우가 많다. 이를 사용하여 .py파일을 만들어 스케줄링을 걸어주면 자동으로 데이터 원본을 업데이트하는 기능도 가능하다 이번엔 Python 코드를 사용하여 .CSV 파일 또는 Dataframe 형식의 대용량(2Gb)이상 데이터를 Tableau Server에 .hyper파일로 업로드해볼것이다. 1) CSV -> Hyper -> Server Upload import pandas as pdimport csvPATH_TO_CSV = "CSV파일의 경로.csv"CSV_DF = pd.read_csv(PATH_TO_CSV,na_filter=False) #na_filter는 NA 혹은 NAN이라 적혀있는 문자열을 유지해준다.. 2022. 5. 6. [Python].ipynb to .py (Window, Linux) / convert .ipynb to .py Python 개발을 할때에는 보통 주피터 노트북이나, 코랙, Visual Studio를 많이 사용한다, 단순히 실행만 하는거면 상관이 없는데, 스케줄링을 걸어서 반복 실행한다던가 별도로 .py 파일이 필요한 경우 컨버팅이 필요하다, 이때 해당 파일을 컨버팅 하는 방법을 소개하겠다. 1) Window Jupyter Notebook 사용시 대충 이런 .ipynb파일이 있다고 하자, 보통 경로는 주피터 노트북이 설치된 위치이다. ("C:\Users\사용자명\.ipynb_checkpoints\") File > Download as > Python(.py) 좌상단 메뉴바의 File > Download as > Python(.py)를 눌러주면 인터넷에서 파일을 다운 받을때 저장되는 Download 폴더에 .py파일.. 2022. 4. 11. [태블로(Tableau)]Tabpy를 사용하는 2가지 방법(직접입력,함수) -Tabpy_1(Tableau에서 python사용하는 방법) Tabpy란? TabPy는 Tableau + Python을 의미하며, Python에서 제공하는 라이브러리들을 사용하여 만든 모델들을 Tableau에서 사용할 수 있게 해준다. 간단한 예제로 Add 함수를 만들고 그것을 Tabpy서버에 Deployed 한후 사용하는 방법을 작성하겠다. ※ Python 설치와 Tabpy 설치는 검색해서 설치하자/필자는 Anaconda에서 설치하였다. 1) pip를 사용해서 Tabpy를 설치한다. >> pip install tabpy >> 설치 후 tabpy 타이핑 >> 자동으로 localhost:9004에 서버를 열어준다. >> 인터넷 주소창에 localhost:9004을 쳐주면 tabpy로 이동한다. 2) Tableau를 실행한다. > 상위메뉴 > 도움말 > 설정 및 성능.. 2022. 3. 22. 이전 1 ··· 17 18 19 20 다음
