[packer+ansible] docker-compose로 만든 서비스가 EC2 instance에서 확인이 안 되는 이유

[goldrako]

안녕하세요.
좋은 강의로 큰 도움을 받고 있습니다.

응용실습 중에 문제가 생겼습니다.

2-ansible/lab/packer-templates/openvpn/ansible/playbook.yaml 을 참조하여 다음과 같이
docker-compose를 이용한 jenkins 등 몇가지 서비스를 생성하는 playbook.yaml을 만들었습니다.

사전에 docker-compose.yml은 목적 디렉토리에 copy 하여 두었습니다.

문제는 debug 상으로는 ssh 접속해서 보면

$ docker network ls
$ docker ps

명령어로 jenkins-net과 jenkins가 정상적이었고 브라우저에서도 확인되었습니다.
최종 빌드를 통해 AMI를 생성했습니다.

그런데 AMI를 통해 EC2 instance를 생성해서 ssh로 접속 확인해 보면
jenkins network도 서비스도 전혀 올라오지 않습니다. ( ansible playbook 내의 모듈과 쉘 방식 모두 안 올라옴 )
놓친게 무엇일까요? ( 참고로 ansible 방식을 뺀 packer shell 방식은 잘 됨 )

※ triggers를 통해 provisioner "remote-exec" ansible-playbook을 재실행하는 것은 Terraform으로 바로 만드는 것과 차이가 없는 것 같습니다.

  - name: Install docker Python Package
    pip:
      name: 
        - docker
        - docker-compose
      state: present

  # docker command 로 network 생성( jenkins, ... ) : shell로 docker-compose 테스트 용도
  # - name: Install docker-compose from official github repo
  #   # remote_user: ansible_ubuntu_demo
  #   get_url:
  #     url : https://github.com/docker/compose/releases/download/1.29.2/docker-compose-Linux-x86_64
  #     dest: /usr/local/bin/docker-compose
  #     # mode: 'u+x,g+x'
  #     mode: '0755'
  - name: "Create a docker network"
    docker_network:
      name: "{{ item }}"
      state: present
    loop:
      - jenkins-net
      - ...

  # - name: "Create a docker network"
  #   shell: "docker network create --driver bridge {{ item }}"
  #   loop:
  #     - jenkins-net
  #     - ...

# jenkins --- 실행 후 패스워드 확인 : docker exec jenkins cat /var/jenkins_home/secrets/initialAdminPassword
  - name: deploy Jenkins Docker Compose stack
    docker_compose:
      project_src: /data/jenkins
      files:
      - docker-compose.yml
      state: present
    # shell: |
    #   cd /data/jenkins
    #   docker network create --driver bridge jenkins-net
    #   docker-compose up -d

[posquit0]

안녕하세요,
EC2 인스턴스 상에서 서비스가 동작하는것을 확인하고 해당 인스턴스를 AMI로 만들었으나, 해당 AMI로 다시 EC2 인스턴스를 만들었을 때 동작중이지 않은 상태에 대해 궁금하신게 맞을까요?

---

EC2 인스턴스에 SSH 접속을 하셔서 df 명령어를 수행해보시면 파일시스템 볼륨 정보를 확인할 수 있습니다.

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        3.8G     0  3.8G   0% /dev
tmpfs           3.8G     0  3.8G   0% /dev/shm
tmpfs           3.8G  412K  3.8G   1% /run
tmpfs           3.8G     0  3.8G   0% /sys/fs/cgroup
/dev/nvme0n1p1   30G  3.6G   27G  12% /
tmpfs           769M     0  769M   0% /run/user/1000

위와 같이 모든 디렉토리가 EBS /dev/nvme0n1p1에 마운트된 것이 아님을 확인할 수 있습니다. AWS 의 AMI는 결국 EBS를 스냅샷 뜨는 것과 동일한 원리인데요. EBS 내용만 복제해오는 것이기 때문에 모든 것이 동일하게 복제된다고 장담할 수 없습니다.

서버 상에 필요한 소프트웨어를 설치 및 설정하는 과정을 다음과 같이 두 과정으로 나누어서 진행해보시면 도움이 되실 듯 합니다.

• AMI를 만드는 과정: Packer으로 작업을 수행합니다. Ansible을 함께 이용할 수도 있겠죠. 추후 AMI를 이용할 때 사용자가 필요한 환경을 미리 구성합니다. (실행 제외)
• AMI를 실행하는 과정: Terraform이 담당합니다. EC2 인스턴스의 Userdata를 활용하여 인스턴스가 시작되는 시점에 필요한 서비스들을 실행하도록 구성할 수 있습니다. 혹은 provisioner를 이용하여 해당 작업을 수행할 수도 있지만, ASG의 경우 스케일 아웃 과정에서 적용이 안될 수 있는 점을 유의해야 합니다.

질문 내용에 답변이 되었기를 바랍니다! :)

[goldrako]

질문을 정확히 이해하고 답변 주셨습니다.
Packer shell 방식은 잘 되는데 Ansible이 가미되면 작동되지 않아 답답했었는데, 이유는 모르겠지만 모든 디렉토리가 마운트되지 않아서 발생한다는 사실을 알게 되었습니다.
뭔가 해결 방법을 찾을 단서를 얻은 것 같습니다.

큰 도움이 되었습니다. 감사합니다.

[goldrako]

문제의 원인은 볼륨에 관련된 것이 맞았습니다.
어쩌구니 없게도 제가 처리 절차 순서와 과정을 누락하는 실수로 발생하였습니다.

보통 Root 볼륨의 용량이 부족하기 때문에 Docker 사용하다가 보면 Disk가 Full 나는 경우를 있어 별도 데이터 볼륨을 추가했습니다.

아래 명령을 실행하면 현재 데이터 경로를 확인할 수 있습니다.

$ docker info | grep Root
 Docker Root Dir: /var/lib/docker

추가 volume을 /data 디렉토리에 마운트한 후에 docker(network, compose) 관련 작업을 하였습니다.

하지만 docker 작업하기 전에 docker data 디렉토리를 변경을 위한 daedmon.json을 생성만 하고 docker restart를 하는 과정을 깜박하고 누락시켰더니 EC2 부팅 과정에서 변경된 docker data-root 디렉토리를 찾으니 아무 작업도 없는 것 처럼 보였던 것이었습니다.

$ sudo vi /etc/docker/daemon.json
{
    "data-root": "/data/docker"
}