한성이 DevOps 블로그

■ 사내 개발자가 개발한 spring boot 프로젝트를 K8S에 올리는 도중 아래와 같은 에러가 발생, Mariadb를 쓰고있는 상태였습니다. 구글링을 하면서 참고한 내용을 저만의 방식으로 history 차원에서 정리해 보았습니다. ■ 에러 내용 2020-02-14 15:10:46.938 WARN 121294 --- [nio-8080-exec-8] com.zaxxer.hikari.pool.PoolBase : HikariPool-1 - Failed to validate connection org.mariadb.jdbc.MariaDbConnection@6f87f02b (Connection.setNetworkTimeout cannot be called on a closed connection). Possib..

■ jupyterhub jupyterhub는 여러 사용자에게 jupyter 노트북(jupyterlab) 을 제공합니다. 학생들에게 수업이나 기업의 데이터 과학 쪽 그룹에서 사용할 수 있습니다. 단일사용자가 jupyter 노트북 서버의 여러 인스턴스를 생성, 관리 및 프록시 하는 멀티 사용하는것을 jupyterhub라고 합니다. ■ 멀티유저 환경에서 구동되는 jupyter notebook 서버를 구성하기 위해 jupyterhub 구성 (NBP Cloud) 나름대로 아키텍처 정의 해봄 1. Config.py: jupyterhub의 properties 설정 (Spawners, Authenticator, port, ip, proxy 등) 2. Authenticator: 사용자 인증은 Authenticator 클..

□ haproxy Load Balancer로 활용할 수 있으며, 다양한 설정이 가능, nginx reverse proxy에 비해서 active health check가 가능하기 때문에 더 안정적으로 운영할 수 있음 HAProxy는 기존의 하드웨어 스위치를 대체하는 소프트웨어 로드 밸런서로, 네트워크 스위치에서 제공하는 L4, L7 기능 및 로드 밸런서 기능을 제공한다. HAProxy는 설치가 쉽고 또한 환경 설정도 어렵지 않으므로 서비스 이중화를 빠르게 구성하고 싶다면 HAProxy를 추천. HAProxy는 기본적으로 reverse proxy 형태로 동작한다. 우리가 브라우저에서 사용하는 proxy는 클라이언트 앞에서 처리하는 기능으로, forward proxy라 한다. reverse proxy의 역할을..

□ ELK Service 구성 마찬가지로 NBP Cloud 위에서 ELK 시스템을 구축해 나도한번 도전,, VM은 2개 사용할 것입니다. □ VM 구성도 ▶ VM1에는 filebeat(로그를 라인별로 읽고 전달하며, 시스템이 중단되는 경우에도 마지막 중단점을 기억하여 재가동) 구성하여 Apache log를 VM2의 logstash에 보낼 것입니다. ▶ VM2에서는 logstash가 VM1에서 Apache log 를 수집해 Elasticsearch에 보내게 되고 이를 Kibana로 시각화 하게 됩니다. □ 전체적인 흐름도 □ VM1 apache access_log를 filebeat으로 수집하여 logstash로 보내기위해 Apache 및 filebeat가 설치되어 있는 VM apache는 설치되어 있다고 ..

NBP VM 하나의 docker 기반 CI / CD 구성해보겠습니다. 아래 아키텍처를 보면 docker 기반 서비스 총 5개, java 기반 backend service 빌드 및 배포 기반 gitlab-runner, maven으로 구성해보겠습니다. 각 서비스들의 간단한 설명 (추후에 관련 서비스 포스팅마다 자세한 설명 하겠습니다) Gitlab: 형상관리, 이슈 트래커 OpenLDAP: 사용자와 그룹 권한관리, nexus gitlab 통합 계정 관리 Nexus3: 저장소 Gitlab-runner: CI / CD Traefik: Edge Router(리버스 프록시), 자체 모니터링 Dashborad를 포함 전체적인 아키텍처 Flow 개발자가 초기 push 진행 Gitlab-runner maven 참조 Git..

Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 1 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 2 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 3 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 4 WAS Load Balancer 및 WEB/WAS 연동하기 WAS Load Balancer 구성 (추후에 WEB, WAS 연동할때 mod_jk로 연동시 8009번 포트 사용) 현재 8009포트로 tomcat service가 정상적으로 올라왔다면 아래처럼 성공, 하지만 아직 web, was연동을 안해놨기때문에 tomcat default port가 8080 이므로, 실패가 보일..

Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 1 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 2 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 3 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 4 WAS 서버 구성 (WEB 서버와 똑같이 임의의 경로에 설치) 왜,,? 구지,,? yum 안쓰고?,, 회사에서 그렇게 하라네 보안상 임의로 폴더 변경해서 작성 home: /home/hskim tomcat: /apache/tomcat8.5.50 VM: 2개 아래 구성을 VM 2개에 똑같이 구성하기 JDK install (음,, tar 파일을 다운받아 scp 활용해 server..

Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 1 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 2 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 3 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 4 Web server Load Balancer 연결 Load Balancer 간단 설명 Load Balancer는 여러 대의 Server에 Traffic을 분산시켜주는 역할 - Scale-out 방식: 여러 대의 Server가 요청을 나눠 받는 방법 - 여러 대의 Server를 배치하여 무 중단 서비스를 제공 주요 기능 - NAT: 사설 IP 주소를 공인 IP 주소로 바꾸는 ..

Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 1 Naver Cloud Platform에서 web, was 분리;해서 구성해보기 - 2 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 3 Naver Cloud Platform에서 web, was 분리해서 구성해보기 - 4 아키텍처 아래 [그림 1-1]과 같이 아키텍처 구성해볼 것이며, LB 테스트 및 도메인까지 연결해서 해보겠습니다. WEB서버 구성 보안상 임의로 폴더 변경해서 작성 home: /home/hskim apache: /apache VM: 2개 아래 구성을 VM 2개에 똑같이 구성하기 의존성 install $ sudo yum install -y epel-release $ sudo..

회사에서 하드디스크가 고장이나서 친히 용산까지 가서 하드교체를 받아서 파티션 작업을 진행했다.이번이 두 번째인데 나중에 까먹을까봐 정리 공부겸 포스팅을 한다. 하드디스크 용량은 4TB 리눅스에서 하드디스크 용량이 2TB 미만일 경우 fdisk를 사용하고 2TB 이상 대용량에서는 parted 또는 gdisk를 통해 파티션 작업을 한다. 처음에 fdisk로 사용했는데#df -h 로 봤을때 /dev/sd1이 3.6T가 아니라 2.0T 용량밖에 잡히지 않아서 업체에서 하드를 잘못줬나 싶었는데,구글링 해보니 fdisk로 작업하면 최대 2.0T 라고 하여 parted로 작업을 진행하였다. parted: parted 는 파티션 관리, 크기 변경 프로그램으로서 파티션 생성, 삭제, 용량변경, 이동, 복사를 지원한다.또..