본문 바로가기

AI/머신러닝10

[빅데이터]AI 학습용 라벨링 된 빅데이터 무료 다운로드 받기(API도 제공) free BigData Download 국내 전문가들이 모여서 만든 모든 상황 / 조건의 라벨링이 되어 있는 무료 빅데이터 입니다. 2022년 인공지능 학습용 데이터 정식개방 (2023-10-31일자 게시된 데이터 입니다.) https://aihub.or.kr/aihubnews/notice/view.do?pageIndex=1&nttSn=10248&currMenu=132&topMenu=103&searchCondition=&searchKeyword= AI-Hub aihub.or.kr 데이터 목록 데이터명을 선택하면 해당 데이터 다운로드 페이지로 자동 이동됩니다. 1. 패션 액세서리 착용 데이터 2. 연도별 패션 선호도 파악 및 추천 데이터 3. 쉐이프리스 의류 및 포즈 데이터 4. 의류 디자인 패턴 데이터 5. 동일 객체 인식 오류 방지 데이터 .. 2023. 11. 15.
[Python] 학습이 완료된 모델 저장해서 다른곳에서 사용하기 머신러닝이든 딥러닝이든 간단한 데이터라면 모를까 빅데이터를 사용한 모델학습은 매번 할때마다 시간이 많이 필요하다(3일동안 돌린경우도 있다한다) 문제는 해당 모델을 다른 데이터에도 적용을 해주고 싶은데, 다른 코드에서도 해당 모델을 사용할때 학습을 한다면 시간이 부족할 것이다. 다행히도 학습이 완료된 모델을 저장하는 방법이 있다, 여러가지 방법이 있지만 보통 pickle를 많이 쓴다. pickle import pickle with open('경로/저장하고 싶은 파일명.pickle','wb') as fw: pickle.dump(모델명, fw) 이렇게 해서 저장된 .pickle(.dat)을 다른 파이썬 코드에서 여는 방법은 아래와 같다. pickle 다른곳에서 쓰는 코드 import pickle with op.. 2022. 5. 9.
[Tensorflow] 4. MNIST 모델 학습 및 예측 모델(model)이 예측(logit)하고 얼마나 틀렸는지(loss) 계산하고 그걸 최적화(Optm)하고 최적화한 loss를 모델에 적용하고 이를 지정한 횟수만큼 반복해서 그 결과를 result에 출력 In [1]: import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline from tensorflow.keras import layers import numpy as np from tensorflow.keras import datasets 모델을 학습하기 전 설정(Optimization)¶ Loss Function Optimization(최적화 방법 정하기) Metrics(결과 테스트 방법) Categorical vs Binary¶ .. 2021. 6. 22.
[Matplotlib] 번외. matplotpib 한글폰트 깨짐 해결 In [3]: import matplotlib.font_manager as fm font_list = fm.findSystemFonts(fontpaths = None, fontext = 'ttf') font_list[:] import matplotlib as mpl In [5]: print (mpl.matplotlib_fname()) #matplotlibrc 파일을 메모장을 열어준다 C:\Users\choi\Anaconda3\lib\site-packages\matplotlib\mpl-data\matplotlibrc In [6]: # font.family : sans-serif을 font.family : 변경할폰트명 으로 변경해준다 # axes.unicode_minus : True -> Fa.. 2021. 6. 18.
[Tensorflow] 3.tensorflow에서 레이어가 어떤식으로 동작하는지 In [25]: import tensorflow as tf import matplotlib.pyplot as plt %matplotlib inline import numpy as np In [3]: from tensorflow.keras import datasets (train_x,train_y),(test_x,test_y) = datasets.mnist.load_data() In [4]: #모든 작업을 하기전에 shape로 이미지 인지 문자인지 확인해줘야한다. image=train_x[0] image.shape Out[4]: (28, 28) In [5]: plt.imshow(image,'gray') plt.show() In [6]: image = image[tf.newaxis,...,tf.newaxis.. 2021. 6. 18.
[Tensorflow] 2.Tensorflow기본 DataSet (MNIST) In [1]: import numpy as np import matplotlib.pyplot as plt import tensorflow as tf %matplotlib inline In [2]: #tensorflow에서 제공하는 데이터셋(MNIST) 불러오기 #숫자 그림 데이터다. from tensorflow.keras import datasets In [3]: mnist=datasets.mnist In [4]: (train_x,train_y),(test_x,test_y) = mnist.load_data() Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz 11493376/11490434 .. 2021. 6. 18.
[Tensorflow] 1. Tensorflow의 기본 Tensor In [1]: import numpy as np import tensorflow as tf In [2]: # Tensor 생성 [1,2,3] Out[2]: [1, 2, 3] In [3]: [[1,2,3],[4,5,6]] Out[3]: [[1, 2, 3], [4, 5, 6]] In [4]: arr= np.array([1,2,3]) arr.shape Out[4]: (3,) In [5]: arr=np.array([[1,2,3],[4,5,6]]) arr.shape Out[5]: (2, 3) In [6]: #list와 tensor는 다르다 #list1=[1,2,3] tf.constant([1,2,3]) #tf.constant(list1) Out[6]: In [9]: #Array를 tesnfor로 변경 array=.. 2021. 6. 17.
[Tensorflow] Tensorflow란? 구글갓님이 만들어주신 딥러닝 프로그램 구현을 아주 아주 쉽게 만들어주는 라이브러리이다. pytorch라는 라이벌도 있지만 아직까지는 tensorflow가 자료가 더 많다, 물론 둘다 장단점이 있으므로 머신러닝,딥러닝을 공부할때는 둘다 해주는게 좋다 딥러닝을 할때는 기존의 list나 array로는 제한이 많아 tensor라는 딥러닝 전용 데이터 표현 방식이라고 보면된다. 더 쉽게 말하자면 텐서는 단순 행렬인 2차원 배열을 더 높은 차원으로 확장시킨 다차원 배열이다. 이러한 tensorflow와 numpy나 pandas, keras등 다른 라이브러리들을 같이 사용하여 딥러닝 프로그램을 만들수 있다 (image/영상/인공지능 등등) 2021. 6. 17.
머신러닝의 기초 머신러닝의 기초 이론은 매우 간단하다, 우리가 학습+경험을 통해 알게된 사실들로 세상을 판단하듯 컴퓨터 또한 학습을 통해 세상을 판단하게 하는것 그것이 머신러닝이다. 예를 들어보자. "무릎이 쑤시면 비가 내릴 확률이 크다" "비가 낮게 날면 비가 내릴 확률이 크다" "습도가 높으면 비가 내릴 확률이 크다" 세상에 절대적인것은 없다, 기상 캐스터가 "내일 비가 내릴 확률은 80%"입니다, 라고 해도 비가 내릴수도 있고 안 내릴수도 있다. 위의 사진을 보면 강아지 처럼 보인다. 실제로는 사람이 헤드셋을 낀것뿐이다. 컴퓨터는 이게 헤드셋을 쓴 사람인지, 강아지 얼굴인지 모른다. 그저 학습된 모델로 이미지를 봤을때 ""강아지일 확률이 크다!""라고 판단한것 뿐이다. 위의 이미지를 보자!! 우린 위의 이미지의 왼.. 2021. 6. 3.

티스토리툴바

티스토리툴바