프로그래밍/Spark&Hadoop 공부19 [Ambari]org.apache.zookeeper:zookeeper:jar:3.4.5.1.3.0.0-107 in https://repo.hortonworks.com/content/groups/public/ was cached in the local repository, resolution will not be reattempted until the update interval of apache-hadoop has elapsed or updates .. 뭔 에러가 이렇게 많은지 모르겠지만 JAVA기반의 프로그램들은 업데이트가 절망적이고 각 코드별로 다른 코드에 "의존적"이라 어쩔 수 없다 org.apache.zookeeper:zookeeper:jar:3.4.5.1.3.0.0-107 in https://repo.hortonworks.com/content/groups/public/ was cached in the local repository, resolution will not be reattempted until the update interval of apache-hadoop has elapsed or updates are forced -> [Help 1] 1) 파일 직접 다운로드 https://talend-update.talend.com/nexus/.. 2022. 12. 1. [Ambari 설치하기]Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.2:compile (default-compile) on project ambari-metrics-storm-sink-legacy: Compilation failure Error 해결하기-2 [Ambari 설치하기]ambari-metrics-storm-sink-legacy Failed to execute goal on project Error 해결하기-1 https://mrnoobiest.tistory.com/144 [Ambari 설치하기]ambari-metrics-storm-sink-legacy Failed to execute goal on project Error 해결하기-1 Ambari 설치중에 ambari-metrics-storm-sink-legacy부분에서 Failure가 발생하였다, 원인을 잘 찾아보니 Could not find artifact org.apache.storm:storm-core:jar:0.10.0.2.3.0.0-2557을 찾을 수 없다는 에러이다. 원인은 storm.. 2022. 12. 1. [Ambari 설치하기]ambari-metrics-storm-sink-legacy Failed to execute goal on project Error 해결하기-1 Ambari 설치중에 ambari-metrics-storm-sink-legacy부분에서 Failure가 발생하였다, 원인을 잘 찾아보니 Could not find artifact org.apache.storm:storm-core:jar:0.10.0.2.3.0.0-2557을 찾을 수 없다는 에러이다. 원인은 storm-core-0.10.0.2.3.0.0-2557.jar 파일을 다운로드 받는 링크가 없어져서 그런것이다.(mvn이 링크 업데이트를 안한건지 ambari-2.7.6에서 링크를 안고친건지는 모르겠지만) 일단 원인은 저렇다 -해결하기 위한 시도들- 1) 다운로드받는 버전을 직접 확인하여 바꿔보기 https://repo.maven.apache.org/maven2/org/apache/storm/storm.. 2022. 12. 1. [Hadoop 설치하기]CentOS 7.9.2009(Linux)에서 Hadoop 2.7.7을 설치하는 과정들 기본으로 준비해야 할 것들 JAVA openjdk version "1.8.0_352" wget ( sudo yum install -y wget) yum 보통 이런 환경은 개인 PC보다 회사 PC에서 작성하고 그로인해 권한 문제 (허가 거부)문제가 발생할 수 있으니 되도록 sudo를 붙여주도록 한다.(아니면 폴더를 생성할때 미리 sudo chown 사용자명:사용자그룹 폴더(파일)명 ex) sudo chown username:usergroup file(folder)name 위의 명령어를 실행하여 권한을 사용자명으로 돌리면 된다. 1) sudo yum -y update 2) sudo wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.7/hadoop-2... 2022. 11. 24. [Hadoop&Spark]Maven No goals have been Error Maven을 설치하고 나서 mvn을 실행했더니 온갖 에러가 발생했다 sudo yum install maven or wget https://www-us.apache.org/dist/maven/maven-3/3.8.1/binaries/apache-maven-3.8.1-bin.tar.gz tar xfvz apache-maven-3.8.1-bin.tar.gz 하고 나서 실행했더니 커맨드 에러가 뜬다던지 기껏 설치하고 bash command 수정하고 mvn -V했더니 아래와 같은 에러가 발생하기도 했다. No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the format : or :[:.. 2022. 11. 23. [빅데이터]빅데이터 플랫폼이란? -1 빅데이터는 단순히 데이터의 크기(Volumn)이 크기만 한것이 아니라, 마치 나무의 뿌리처럼 이리 얽히고 저리 얽힌 수많은 데이터들의 집합이다. 그냥 관계형 DB처럼 데이터를 정리하게 되면 정규화로 인해 데이터의 안정성은 증가하지만, 데이터의 크기가 커지면 커질수록 테이블이 증가하게되고 불필요한 데이터들이 기하급수적으로 증가한다. 데이터가 커지면 당연하게도 연산 시간이 증가한다. 따라서 기존의 데이터 플랫폼으로는 빅데이터를 소화하기 어렵고, 빅데이터에 특화된 데이터 플랫폼이 필요하게 된것이다. 빅데이터를 사용할때 가장 필요한 사항은 아래와 같다. 1) 빅데이터 고속 추출 2) 실시간 스트리밍 데이터 수집 3) End To End 데이터 흐름을 트래킹할 수 있어야 합니다. 4) 플랫폼 사용유저의 보안 5).. 2022. 11. 15. 1) 빅데이터란? 과거에는 하드웨어적인 성능이 부족하여 데이터를 직접적으로 활용하는 집단은 특정 연구 집단이나 군사 집단등 국가에서 지원하지않으면 안될정도의 집단외에는 사용이 불가 하는등 제한사항이 많았다. 하지만 시대가 바뀌면서 IOT/인터넷/SNS등 수많은 데이터들이 범람하게 되었고, 각 기업에서는 "데이터에서 유의미한 지표 분석"이 가능하다는것을 알게된것이다. 1) 데이터 저장기술의 폭발적인 발전 2) 데이터 처리 기술의 발달 3) 데이터 생산 주체의 다양화(SNS / 연구 데이터 / 기후 정보 등) 빅데이터의 특징은 초기에는 3V(Volumn / Variety / Velocity)로 정의되었고, 5V를 거쳐 최근에는 7V라고 정의되고 있다. 3V 1) Volumn(규모) - 일반적인 데이터보다 압도적으로 많은 물리.. 2022. 6. 29. <%@page import="패키지명.클래스명" %> 500 error 에러 해결 -solved JSP 채팅 서비스 JSP로 채팅 서비스를 만드는데 .jsp파일에 특정 클래스를 import하기위해 기본 구문인 을 사용했다. 실제 실행후 해당 페이지를 열게되니 바로 500 에러가 뜨게 되었다. SEVERE: 경로 [/~~~~]의 컨텍스트 내의 서블릿 [jsp]을(를) 위한 Servlet.service() 호출이, 근본 원인(root cause)과 함께, 예외 [/jsp명.jsp (행: [2], 열: [16]) 인용부호가 요구됩니다.]을(를) 발생시켰습니다 500 Error는 언제 발생하나요? 서버 스크립트가 잘못되었거나, 사용자가 너무 많아 서비스가 일시중단되었다는 에러 원인 1) 오타 : 보통 오타인 경우가 많으니 코드를 다시 잘살펴보자. 2) Tomcat 서버에서 해당 클래스를 인식하지 못한 경우.. 2021. 7. 22. [AWS / Spring / Tomcat]aws spring war파일 배포시 주의할점 / 에러 해결법 AWS(Amazon Web Services) AWS(Amazon Web Services)는 아마존에서 제공하는 웹 관련 서비스를 제공한다. 그중에서 AWS VM을 사용하면 웹 상에 사용가능한 서버를 생성할 수 있는데, 그냥 컴퓨터를 빌려주는 것이라고 생각하면 편하다. (ubuntu나 linux 운영체제를 가진 PC) putty / fileZilla 1. putty는 원격 접속을 하는것이고 2. filleZilla는 내 pc의 파일을 해당 PC로 보내는 것이라고 생각하면 된다. AWS에 게시한 Spring Boot의 포트가 동작하지 않을 경우 해결법 application.yml에서 8080을 등록했다면 aws 보안규칙에서도 8080을 열어줘야 한다. (톰캣은 기본적으로 8080이 기본 포트다) applic.. 2021. 7. 14. 이전 1 2 3 다음
