전체 글829 [PostgreSQL] Postgres Port번호를 바꾸고 나서 psql: error: connection to server on socket "/tmp/.s.PGSQL.5432" failed: 그런 파일이나 디렉터리가 없습니다 no such file or directory Postgresql 포트번호 바꾸기 postgresql 서버를 실행되고 사용이 되는것을 확인하고 나서 port번호를 변경할 일이 생겼다. 포트변경 방법은 아주 쉽다. 1) postgres의 data 폴더로 이동한다. $ cd /home/{USER_NAME}/postgres/data 2) postgresql.conf 파일의 값을 변경해야한다. $ vi postgresql.conf 3) 아래로 내리면 #port=5432 이라고 되어있을 것이다. 해당 부분은 port : 내가 원하는 번호로 변경한다. #port = 5432 >>> port = 내가 원하는 번호 4) 서버를 재시작한다. $ /home/{USER_NAME}/postgres/bin/pg_ctl -D /home/{USER_NAME}/postgres/.. 2022. 12. 15. [PostgreSQL]내가 Root 계정이 아닌 곳에서 Postgresql 설치 및 사용하기 sudo를 못 쓸때 sudo 권한을 못쓸때 서버의 주인은 따로 있고 보안 정책으로 인해 sudo 명령어도 못 쓰는 경우가 왕왕있다, 물론 관리자에게 얘기하고, sudo 권한을 달라고 할 수 있지만, 혼자 쓰는 서버가 아닌 여러명이 함께 쓰는 서버 일경우 sudo 권한을 사용하는 것은 힘들다. No sudo, install postgresql 이럴때 postgres를 설치하고 사용하는 방법을 기록한다. https://www.endpointdev.com/blog/2013/06/installing-postgresql-without-root/ 포스트를 참고하였다. 설치 환경을 아래와 같다. 1) Linux ( CentOS7) 2) non root 3) x86_64 4) Python3.10 설치 되어있음 1) Github에서 Pos.. 2022. 12. 15. [Pandas(Dataframe)]Delete Header(columns) for Hive2 insert Dataframe컬럼만 싹 지우기 CSV파일을 Spark SQL에서 사용하기 위해서 Database에 적재할 필요가 있는데, 단순히 LOAD DATA INPATH로 Database에 적재할 경우 컬럼명들을 데이터로 판단해서 Insert 하는 문제가 발생한다. 따라서 우리는 Dataframe에서 컬럼을 아예 삭제해야한다. 방법은 간단하다. 헤더만 삭제하는 코드 import pandas as pd temp_df=pd.read_csv('filepath/filename.csv,skiprows=1) temp_df.to_csv('filepath/filename_save.csv,index=false) 이렇게하면 헤더만 삭제 하고 첫번째 데이터가 가장 위로 올라간다. 이후 Hive에 해당 파일을 저장하면 된다. 끝. 2022. 12. 12. [Spark sql / Hive]INSERT CSV DATA TO jdbc:hive2://localhost:10000 How to insert csv data using sql query even include "," SparkSQL에서 제공하는 Thrift Server.sh를 실행하면 10000번 포트에 자동으로 Thrift Server가 실행된다. - beeline - beeline> !connect jdbc:hive2://localhost:10000 - username : test - password : test 이렇게하면 Hive2 데이터베이스를 Query문으로 조작 가능하다. 데이터가 작을때에는 상관없는데 데이터의 크기가 2GB를 넘어가기 시작하면 쿼리문 쓰는게 급격하게 귀찮아 진다. 그러므로 .csv 파일을 직접 집어 넣는 방식을 사용할 것이다 근데 문제는 보통 CSV 각 데이터를 분류할때 ","를 사용하는데.. 2022. 12. 12. [if(kakao 2022 dev)]2022.12.07 첫 날 후기 요번에 kakao에서 dev 2022 사전등록이 있어 세션등록을 하였다. 첫날에는 간단하게 키노트로 시작되고 총 3일에 걸쳐 아래 사항들을 컨퍼런스에서 다룬다고 한다. 올해 컨퍼런스에서 어떤 내용을 다루나요? 카카오 공동체가 지난 1년간 쌓아온 기술 경험과 노하우를 담아 100여개의 기술 세션을 공개합니다. 그리고 지난 판교 IDC 화재 사고 이후, 규명된 원인과 조치 사항 그리고 향후 대책과 관련된 내용을 공유드립니다. 굳이 세션 등록을 하지않아도 홈페이지에서 영상 시청이 가능하니 아래 URL로 시청하는것을 추천한다. https://if.kakao.com/2022/session/1 -첫 날 후기- [1일차 내용] 2022년 10월 15일 발생한 서비스 장애 원인 분석과 개선 사항을 공유합니다. 1. O.. 2022. 12. 7. [Ambari]Failed to execute goal on project ambari-logsearch-it Error -7 해결 Failed to execute goal on project ambari-logsearch-it: Could not resolve dependencies for project org.apache.ambari:ambari-logsearch-it:jar:2.7.6.0.0: Failed to collect dependencies at org.apache.solr:solr-core:jar:7.7.3 -> org.restlet.jee:org.restlet.ext.servlet:jar:2.3.0: Failed to read artifact descriptor for org.restlet.jee:org.restlet.ext.servlet:jar:2.3.0: Could not transfer artifact org.r.. 2022. 12. 5. [Ambari]org.apache.ambari:ambari-logsearch-config-solr:jar:2.7.6.0.0 Error 해결 -6 [ERROR] Failed to execute goal on project ambari-logsearch-config-solr: Could not resolve dependencies for project org.apache.ambari:ambari-logsearch-config-solr:jar:2.7.6.0.0: Failed to collect dependencies at org.apache.solr:solr-solrj:jar:7.7.3 -> org.apache.zookeeper:zookeeper:jar:3.4.6.2.3.0.0-2557: Failed to read artifact descriptor for org.apache.zookeeper:zookeeper:jar:3.4.6.2.3.0.0-2557.. 2022. 12. 5. [Ambari]maven-surefire-plugin 2.12.4 :test 에러 해결 분명이 apache-ambari-2.7.6.0.0_src/pom.xml 에 적혀있는 maven-surefire-plugin 의 버전을 변경하였으나 계속해서 예전 버전을 참조하는것을 발견하였다. 기존 : 2.12.4 변경 : 3.0.0-M1 즉, Maven이 가져다 쓰는 플러그인의 버전을 변경할 필요가 있는것이다. ~/.m2/repository/org/apache/maven/plugins/maven-surefire-plugin/ 에 들어가면 기존 버전들이 가득할것이다,싹다 지워준다 sudo rm -r 2.12 이후 아래 링크에서 본인이 원하는 버전의 jar을 다운받아 준다. https://mvnrepository.com/artifact/org.apache.maven.plugins/maven-surefire.. 2022. 12. 5. [Ambari]ambari-serviceadvisor Error 해결하기 -5 이번엔 가장 어렵다고 생각한 것이 mvn repository에도 경로만 있지 실제 파일은 없어서 찾느라 고생했다. Ambari에서 제공하는 정식 다운로드 URL 파일은 사후 관리를 아예 포기한것 같다. 거의 모든 다운로드 URL들이 막혔거나 호환되지 않는것들이 너무 많다 Ambari외의 Hadoop HDFS 관리 웹 UI대체할만한 것이 있다면 댓글에 적어주시면 감사드립니다. https://repo.hortonworks.com/#browse/search=keyword%3Dambari-serviceadvisor:NX.coreui.model.Component-1:182487e2 Nexus Repository Manager repo.hortonworks.com sudo wget https://repo.horto.. 2022. 12. 5. 이전 1 ··· 76 77 78 79 80 81 82 ··· 93 다음
