본문 바로가기

전체 글829

[Tableau(태블로)]부분값/전체값을 1개의 시트에 표시하기 간혹가다 클라이언트의 요청사항중에 전체 갯수 대비 화면상에 표시된 객체의 갯수가 몇개인지 표시해달라고 하는 상황이 있다. 문제는 필터링을 하게되면 전체 갯수가 전부 표시되지는 않는다는게 문제이고, 이로인해 전체값과 부분값을 1번에 표시하기 어렵다는 것이다. 이를 해결하기 위해서는 Max(1)을 사용해줄 것이다. 안까먹기위해 게시글을 올린다. 사용된 데이터 - Sample - Super Store 아래와 같이 특정 컬럼으로 구분되는 Product Name들의 고유 갯수들을 표시해주고, 필터링을 하였을때의 갯수가 다음과 같을때 아래와 같이 필터가 걸려있음에도(Order Date) 필터가 걸려있지 않은것처럼 전체값과 필터가 걸린 값을 동시에표현 해줄것이다. 사용된 계산된 필드는 Countd_Product / .. 2022. 7. 4.
1) 빅데이터란? 과거에는 하드웨어적인 성능이 부족하여 데이터를 직접적으로 활용하는 집단은 특정 연구 집단이나 군사 집단등 국가에서 지원하지않으면 안될정도의 집단외에는 사용이 불가 하는등 제한사항이 많았다. 하지만 시대가 바뀌면서 IOT/인터넷/SNS등 수많은 데이터들이 범람하게 되었고, 각 기업에서는 "데이터에서 유의미한 지표 분석"이 가능하다는것을 알게된것이다. 1) 데이터 저장기술의 폭발적인 발전 2) 데이터 처리 기술의 발달 3) 데이터 생산 주체의 다양화(SNS / 연구 데이터 / 기후 정보 등) 빅데이터의 특징은 초기에는 3V(Volumn / Variety / Velocity)로 정의되었고, 5V를 거쳐 최근에는 7V라고 정의되고 있다. 3V 1) Volumn(규모) - 일반적인 데이터보다 압도적으로 많은 물리.. 2022. 6. 29.
[python(파이썬)]비속어 제거하기(better-profanity) NLP처리를 하다가 부정맨션 중 중요한 키워드만 추출하는 과정을 진행중인데, 비속어의 경우 100% 부정언어기 때문에 중요한 키워드가 아닌 비속어만 추출하는 문제가 발생했다, 어차피 부정맨션만을 모아놓은 것이기 때문에 비속어는 불필요한 데이터이므로 제거해줄려고 한다, 문제 예시 ex) Fxxx Dumx Stupid Service -> 중요한 키워드 : Service 실제 추출되는 키워드 : Fxxx Dumx Stupid #비속어를 변경 후 제거할 예정 !pip install better-profanity from better_profanity import profanity text = "비속어가 포함되어 있는 문장 Please leave me alone and just piss off" censored .. 2022. 6. 27.
[Tableau(태블로)]3D 로고 움짤 2022. 6. 23.
[2022-06-20]핵스쿼트 머신은 신이다. 모든 운동에서 가장 중요한것은 하체라고 배웠다, 예전에 PT를 받을때도 다른 부위 운동은 안해도 하체운동만은 매일 했던걸로 기억한다. 하지만 다이어트를 급하게 하느라 하체운동에 소홀했고, 목표로 했던 체중까지(76kg) 감량을 성공했으므로, 하체운동을 병행하려고한다. 기존에는 레그 프레스 머신, 레그컬 머신, 레그 익스텐션 머신등을 사용하고 스쿼트는 일반 스미스 머신에서 시행하였다. 하지만 워낙에 스미스 머신쪽은 인기가 많아서 일을 하고 돌아오는 시간대에는 빈 시간이 거의 없다는게 문제였다... 다른 스쿼트가 가능한 머신을 둘러보던중 핵스쿼트 머신이 헬스장 구석에 위치한것을 알게 되었다. 오랜만에 하는 스쿼트 운동이라 가볍게 60(30+30)의 무게로 하였는데..... 현재 종아리와 허벅지에 엄청난 근육.. 2022. 6. 20.
[Node.js(노드 js)]Node.js란? 모든 웹 브라우저는 JS를 사용하는데, 어떠한 언어를 사용해서 코딩을 해도 엔진이 없으면 해당 언어를 컴퓨터가 해석을 할 수 가 없다. 익스플러어는 차크라라는 엔진을 , 크롬에서는 V8 JS 엔진을 사용한다. 그런데 크롬의 이 V8엔진의 성능이 어마무시하게 좋아서 크롬의 속도가 빠른것이다. Node.js는 크롬 V8엔진 기반, JS 런타임이라고 하는데 "라이언 달"이라는 개발자가 크롬V8엔진을 크롬이 없어도 돌아가게 튜닝을 해서 JS를 실행되게 만든게 Node.js이다. 기존의 JS를 사용하던 사람들이 백엔드를 JS로 할 수 있다는 Node.js를 사용하기 시작하고, 자연스럽게 Node.js가 인기를 타게 된다. 다만,JS자체가 완성도 높은 언어는 아니고 여러 결함들이 있었고, Node.js에도 이로인한.. 2022. 6. 13.
[엘라스틱서치(elastic Search)]엘라스틱서치가 뭔데? 보통 DB를 구성할때 특정 인덱스 or ID를 지정하여 DB를 구성하고 각각의 PK를 사용하여 연관지어서 DB를 구성한다 예를 들어 "People"테이블에는 아래와 같이 구성하고 ID Name Client_ID 20220606_00001 이인호 sdjklajsdklajs 20220606_00002 강영철 qwlkjkalsn2 20220606_00003 심영래 glkjvjz2 20220606_00004 김송해 llgjejfnkl 20220606_00005 민호진 ovmpmq2 20220606_00006 최중열 ymtmot2 20220606_00007 서지수 mqkwln 각 ID에 해당하는 "People Detail 상세 정보" 테이블을 별도로 구성 관리한다. ID 구매 내역 가입일 20220606_0000.. 2022. 6. 13.
[Tableau(태블로)]Solved : invalid character in input string file:Context: 0x5fdfad59 1) check NaN or Null or '' 해당 csv파일안에 Null / NaN / '' 이 포함되어 있는지 확인후 만일 1개라도 있다면 connection.catalog.create_table(schema) insert_csv_data = connection.execute_command( command=f"COPY {schema.table_name} FROM {escape_string_literal(PATH_TO_CSV)} WITH " f"(format csv,NULL 'NaN',delimiter ',', header)" or f"(format csv,NULL '',delimiter ',', header)" or f"(format csv,NULL 'Null',delimiter ',', heade.. 2022. 6. 10.
[Pandas(판다스)] 특정 row(index)만 범위 삭제하기 그냥 특정 index만 지우는건 데이터프레임명.drop([n,m])이면 되는데 만약에 범위로 지워야 한다면? ex) df.iloc[2233:2255] 2233 index부터 2255 index까지 범위로 지우고 싶다면 아래와 같이 쓰면된다. df.drop(df.iloc[2233:2255].index ,inplace=True) inplace=True는 df에 바로 적용한다는 의미이다. 2022. 6. 8.

티스토리툴바

티스토리툴바