프로그래밍/Spark&Hadoop 공부19 [PostgreSQL] Postgres Port번호를 바꾸고 나서 psql: error: connection to server on socket "/tmp/.s.PGSQL.5432" failed: 그런 파일이나 디렉터리가 없습니다 no such file or directory Postgresql 포트번호 바꾸기 postgresql 서버를 실행되고 사용이 되는것을 확인하고 나서 port번호를 변경할 일이 생겼다. 포트변경 방법은 아주 쉽다. 1) postgres의 data 폴더로 이동한다. $ cd /home/{USER_NAME}/postgres/data 2) postgresql.conf 파일의 값을 변경해야한다. $ vi postgresql.conf 3) 아래로 내리면 #port=5432 이라고 되어있을 것이다. 해당 부분은 port : 내가 원하는 번호로 변경한다. #port = 5432 >>> port = 내가 원하는 번호 4) 서버를 재시작한다. $ /home/{USER_NAME}/postgres/bin/pg_ctl -D /home/{USER_NAME}/postgres/.. 2022. 12. 15. [PostgreSQL]내가 Root 계정이 아닌 곳에서 Postgresql 설치 및 사용하기 sudo를 못 쓸때 sudo 권한을 못쓸때 서버의 주인은 따로 있고 보안 정책으로 인해 sudo 명령어도 못 쓰는 경우가 왕왕있다, 물론 관리자에게 얘기하고, sudo 권한을 달라고 할 수 있지만, 혼자 쓰는 서버가 아닌 여러명이 함께 쓰는 서버 일경우 sudo 권한을 사용하는 것은 힘들다. No sudo, install postgresql 이럴때 postgres를 설치하고 사용하는 방법을 기록한다. https://www.endpointdev.com/blog/2013/06/installing-postgresql-without-root/ 포스트를 참고하였다. 설치 환경을 아래와 같다. 1) Linux ( CentOS7) 2) non root 3) x86_64 4) Python3.10 설치 되어있음 1) Github에서 Pos.. 2022. 12. 15. [Spark sql / Hive]INSERT CSV DATA TO jdbc:hive2://localhost:10000 How to insert csv data using sql query even include "," SparkSQL에서 제공하는 Thrift Server.sh를 실행하면 10000번 포트에 자동으로 Thrift Server가 실행된다. - beeline - beeline> !connect jdbc:hive2://localhost:10000 - username : test - password : test 이렇게하면 Hive2 데이터베이스를 Query문으로 조작 가능하다. 데이터가 작을때에는 상관없는데 데이터의 크기가 2GB를 넘어가기 시작하면 쿼리문 쓰는게 급격하게 귀찮아 진다. 그러므로 .csv 파일을 직접 집어 넣는 방식을 사용할 것이다 근데 문제는 보통 CSV 각 데이터를 분류할때 ","를 사용하는데.. 2022. 12. 12. [Ambari]Failed to execute goal on project ambari-logsearch-it Error -7 해결 Failed to execute goal on project ambari-logsearch-it: Could not resolve dependencies for project org.apache.ambari:ambari-logsearch-it:jar:2.7.6.0.0: Failed to collect dependencies at org.apache.solr:solr-core:jar:7.7.3 -> org.restlet.jee:org.restlet.ext.servlet:jar:2.3.0: Failed to read artifact descriptor for org.restlet.jee:org.restlet.ext.servlet:jar:2.3.0: Could not transfer artifact org.r.. 2022. 12. 5. [Ambari]org.apache.ambari:ambari-logsearch-config-solr:jar:2.7.6.0.0 Error 해결 -6 [ERROR] Failed to execute goal on project ambari-logsearch-config-solr: Could not resolve dependencies for project org.apache.ambari:ambari-logsearch-config-solr:jar:2.7.6.0.0: Failed to collect dependencies at org.apache.solr:solr-solrj:jar:7.7.3 -> org.apache.zookeeper:zookeeper:jar:3.4.6.2.3.0.0-2557: Failed to read artifact descriptor for org.apache.zookeeper:zookeeper:jar:3.4.6.2.3.0.0-2557.. 2022. 12. 5. [Ambari]maven-surefire-plugin 2.12.4 :test 에러 해결 분명이 apache-ambari-2.7.6.0.0_src/pom.xml 에 적혀있는 maven-surefire-plugin 의 버전을 변경하였으나 계속해서 예전 버전을 참조하는것을 발견하였다. 기존 : 2.12.4 변경 : 3.0.0-M1 즉, Maven이 가져다 쓰는 플러그인의 버전을 변경할 필요가 있는것이다. ~/.m2/repository/org/apache/maven/plugins/maven-surefire-plugin/ 에 들어가면 기존 버전들이 가득할것이다,싹다 지워준다 sudo rm -r 2.12 이후 아래 링크에서 본인이 원하는 버전의 jar을 다운받아 준다. https://mvnrepository.com/artifact/org.apache.maven.plugins/maven-surefire.. 2022. 12. 5. [Ambari]ambari-serviceadvisor Error 해결하기 -5 이번엔 가장 어렵다고 생각한 것이 mvn repository에도 경로만 있지 실제 파일은 없어서 찾느라 고생했다. Ambari에서 제공하는 정식 다운로드 URL 파일은 사후 관리를 아예 포기한것 같다. 거의 모든 다운로드 URL들이 막혔거나 호환되지 않는것들이 너무 많다 Ambari외의 Hadoop HDFS 관리 웹 UI대체할만한 것이 있다면 댓글에 적어주시면 감사드립니다. https://repo.hortonworks.com/#browse/search=keyword%3Dambari-serviceadvisor:NX.coreui.model.Component-1:182487e2 Nexus Repository Manager repo.hortonworks.com sudo wget https://repo.horto.. 2022. 12. 5. [Ambari]Failed to read artifact descriptor for org.apache.maven.plugins:maven-surefire-plugin:jar:2.12.4: Error 해결 Plugin org.apache.maven.plugins:maven-surefire-plugin:2.12.4 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:maven-surefire-plugin:jar:2.12.4: Could not transfer artifact org.apache.maven.plugins:maven-surefire-plugin:pom:2.12.4 from/to central (https://repo.maven.apache.org/maven2): Transfer failed for https://repo.maven.apache.o.. 2022. 12. 1. [Ambari]Ambari Metrics Collector 2.7.6.0.0 FAILURE Error 에러 해결 -4 이번엔 Phoenix가 문제인데 당연하게도 다운로드 URL이 더이상 정상 작동하지않아서 발생한 문제이다. 다운로드 해야 하는 파일은 apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz이다. https://archive.apache.org/dist/phoenix/apache-phoenix-5.0.0-HBase-2.0/bin/ Index of /dist/phoenix/apache-phoenix-5.0.0-HBase-2.0/bin archive.apache.org 해당 경로의 상위 폴더를 보면 bin과 src폴더안에 같은 이름의 파일이 있는데 제일 용량이 큰것으로 설치하면 된다. bin는 이진성 파일이라 maven clean install을 할때 압축해제를 못해서 같은 에러가 발생한다... 2022. 12. 1. 이전 1 2 3 다음
