[DR][QCOW2 SharedMountPoint] 13->31 기존 단일 VM 전체 UI 경로 개발 및 검증

[dhslove]

목표

ABLESTACK의 SharedMountPoint file-backed qcow2 원본 VM을 다른 ABLESTACK 사이트의 SharedMountPoint qcow2 스토리지로 보호하는 단일 VM DR 경로를 13 클러스터에서 31 클러스터 방향으로 완성한다.

• 원본 사이트: 12 ABLESTACK 클러스터 (10.10.13.10, compute 10.10.13.1/2/3)

• 대상 및 제어 사이트: 31 ABLESTACK 클러스터 (10.10.31.10, compute 10.10.31.1/2/3)

• 데이터 경로: SharedMountPoint qcow2 -> SharedMountPoint qcow2

• 초기 범위: 단일 VM 전체 경로 완성

• 제어권: DR 사이트와 DR 계획을 보유한 31 클러스터 Cloud 관리 서버

• 사용자 조작 및 최종 판정 기준: http://10.10.31.10:8080/client/#/drplan Cloud UI

• 권위 DR 계획: rocky9-vm DR Plan (41886f03-c19e-4382-927d-89bc4d6ce8e9)

• 원본 VM: rocky9-vm (48bdce4a-8bba-4984-80f1-46b1c92042cd)

• 원본/대상 스토리지: 각 사이트의 SharedMountPoint 풀, /mnt/glue-gfs

• 새 DR 사이트나 새 DR 계획을 만들지 않고 위 계획만 사용한다.

이 이슈는 Cloud UI/API/Backend/DB, Mold Agent, ablestack-qemu-exec-tools FTCTL의 설계·구현·배포·UI 검증을 함께 추적하는 마스터 이슈다.

핵심 원칙

• 모든 사용자 작업은 UI에서 실행한다. API/DB/Agent/FTCTL 확인은 증거 수집과 원인 분석에만 사용하며 UI 검증을 대체하지 않는다.
• UI는 비동기 Cloud API를 호출하고 전체 화면을 차단하지 않는다.
• Cloud는 계획, 권한, VM/볼륨/네트워크 수명주기를 관리하고 FTCTL은 복제 전송, 체크포인트, 로컬 qcow2 artifact와 실행 상태를 관리한다.
• 대상 사이트가 원본 사이트의 Cloud API/Agent를 통해 원격 작업을 통제한다. UI가 호스트나 FTCTL을 직접 호출하지 않는다.
• 단일 VM 경로를 clean start부터 완성한 뒤에만 보호 그룹 및 다중 VM으로 확장한다.
• Ceph mirroring은 범위에서 제외한다.
• DB 직접 수정으로 테스트를 통과시키지 않는다. 정상 API/Agent/FTCTL 상태 투영만으로 수렴해야 한다.

절대 회귀 금지 조건

• 검증이 완료된 VMware -> ABLESTACK(RBD) 경로의 동작과 계약을 변경하지 않는다.
• 검증이 완료된 ABLESTACK(RBD) -> ABLESTACK(RBD) 경로의 동작과 계약을 변경하지 않는다.
• 공유 DR runtime, scheduler, profile, Agent answer, Cloud projection을 변경하면 두 기존 경로의 baseline action contract를 재실행한다.
• dr_runtime.sh, dr_scheduler.sh, DR JSON schema 또는 profile lifecycle 변경 시 release tombstone 회귀 테스트를 통과해야 한다.
• qcow2 전용 동작은 명시적인 storage/path capability 분기로 격리하며 RBD 경로에 fallback시키지 않는다.

아키텍처 계약

비동기 제어 흐름

1. UI가 사용자 입력을 검증하고 Cloud 비동기 API를 호출한다.
2. API가 Plan/Run/Session/Admission/Lease를 DB에 기록하고 즉시 작업 ID를 반환한다.
3. Backend가 원본 및 대상 Mold Agent에 작업을 전달한다.
4. Agent가 FTCTL에 명령을 전달하고 접수 결과를 구조화해 반환한다.
5. FTCTL이 백그라운드에서 qcow2 복제, 체크포인트, artifact 및 전환 작업을 수행한다.
6. Backend가 Agent/FTCTL 상태·이벤트·진행률을 수집해 DB projection/cache를 갱신한다.
7. UI가 polling으로 접수, 준비, 전송, VM 생성, 부팅 검증, terminal 결과를 표시한다.

SharedMountPoint qcow2 데이터 경로

• 원본 호스트의 실제 libvirt disk source와 qcow2 backing chain을 inventory한다.
• 대상 호스트·스토리지의 경로, 용량, 파일 시스템, 권한, SELinux context와 sparse/reflink 지원 여부를 preflight한다.
• 대상 qcow2 파일의 임시 생성, 원자 rename, fsync 및 durable checkpoint를 명시한다.
• 복제 중인 파일과 실행 중인 VM 디스크의 동시 쓰기 소유권을 금지한다.
• 전체 시드와 증분 전송을 구분하고 전송 바이트, 총 바이트, 속도, 예상 잔여 시간, cycle sequence/token을 기록한다.
• qcow2 snapshot/backing chain은 기준선 하나를 안전하게 유지하고, 성공한 다음 기준선 확정 후 이전 임시 계층을 정리한다.
• 재시작·네트워크 단절·Agent 재접속 후에도 동일 Run/Cycle을 재조정하며 중복 Cycle이나 고아 파일을 만들지 않는다.

구현 범위

DR 사이트 UI/API

• 13/31 ABLESTACK 사이트 등록, 수정, 삭제/종료
• 사이트 인증정보 안전 저장 및 마스킹
• 주기적 상태 점검과 상태 체크 이력
• Zone, 클러스터, 호스트, SharedMountPoint 스토리지 capability 조회
• 사이트 상태와 실제 Agent/FTCTL 도달성 정합성

DR 계획 생성/수정

• 원본 사이트 선택 후 VM inventory를 UI 선택 항목으로 조회
• 원본 VM의 firmware, Secure Boot, CPU, memory, NIC, disk controller/cache/iothreads, boot order 수집
• 대상 사이트 선택 후 host, network, compute offering, qcow2 storage/path를 UI 선택 항목으로 조회
• 디스크별 대상 파일명, offering, storage/path mapping
• 중복 입력 제거, 도움말, placeholder, 사전 검증, 다크 모드
• 생성 성공 시 modal 닫힘, 목록 즉시 반영, 상세 자동 갱신
• 계획 수정 시 source identity와 baseline을 훼손하지 않는 변경 범위 적용

동기화

• 전체 재동기화
• RPO 기반 자동 증분 동기화 5회 이상
• 동기화 일시 중지
• 동기화 재개
• 자원 대기와 재시도: 동일 Cycle 재사용, 지수 backoff, 중복 Run 방지
• 전송 진행률과 실제 전송 바이트를 목록·상세·이력에 일관되게 표시
• RPO 임박, 초과, DEGRADED 및 다음 실행 예정 시각 표시

복구 테스트

• 테스트 페일오버 modal preflight
• 최신 durable checkpoint 기반 격리된 테스트 qcow2 clone 생성
• Cloud가 테스트 VM을 생성하고 원본 firmware/장치 속성을 보존
• 테스트 VM 전원 및 부팅 검증 후에만 UI SUCCESS
• 테스트 정리로 테스트 VM/임시 clone/session만 제거
• 정리 후 자동 증분 scheduler 재개와 다음 durable Cycle 확인

실제 전환

• 페일오버 preflight, 원본 격리/권한 확인, 최종 증분 또는 재해 모드 판정
• 대상 VM materialization, 전원 ON, guest boot 검증, TARGET authority commit
• 현재 운영 사이트에서 재보호 및 역방향 baseline 생성
• 페일백 전 역방향 증분 전송과 원본 사이트 readiness 확인
• 페일백 후 원본 VM 정상 부팅, 대상 VM 정지, SOURCE authority commit
• 페일백 후 첫 정방향 자동 증분 durable 완료
• 실패 시 authority commit 전 rollback 또는 명확한 복구 가능 terminal 상태

보호 종료와 계획 삭제

• 보호 해제: 대상 VM/복제 qcow2 자원 유지
• 보호 해제: 대상 VM/복제 qcow2 자원 삭제
• DR 계획 삭제: 자원 유지/삭제를 사용자가 명시적으로 선택
• 원본 사이트 파괴 상황에서 대상 VM을 새 원본으로 채택할 수 있도록 유지 경로 제공
• 작업 취소가 가능한 단계와 불가능한 단계를 상태별로 구분
• 종료 후 stale process, lock, profile, lease, session, snapshot/backing file이 남지 않음

UI 전체 메뉴 검증 매트릭스

각 항목은 UI 실행, 비동기 접수, 진행 표시, 실제 부작용, terminal 이력, 재시도/정리까지 확인해야 PASS로 판정한다.

• DR 사이트 추가
• DR 사이트 수정
• DR 사이트 상태 조회 및 상태 이력
• DR 사이트 삭제/종료
• DR 계획 생성
• DR 계획 수정
• 전체 재동기화
• 자동 증분 동기화 5회 이상
• 동기화 일시 중지
• 동기화 재개
• 테스트 페일오버
• 테스트 정리
• 실제 페일오버
• 현재 운영 사이트에서 재보호
• 페일백
• 보호 해제: 복제 VM/qcow2 유지
• 보호 해제: 복제 VM/qcow2 삭제
• DR 계획 삭제: 자원 유지
• DR 계획 삭제: 자원 삭제
• 실행 취소(지원 단계가 존재할 경우)

UI/UX 완료 조건

• 목록과 상세의 상태가 동일한 authoritative Run/Cycle을 표시한다.
• 접수 성공을 작업 완료로 표시하지 않는다.
• 목록·상세·이력에서 현재 단계와 데이터 전송 진행률이 일치한다.
• 버튼과 context menu는 현재 상태와 선택 개수에 맞게 활성화되며 비활성 사유를 제공한다.
• 모든 modal은 고정 header/footer와 내부 content scroll을 사용한다.
• 오류는 내부 JSON이나 코드만 노출하지 않고 사용자 조치와 재시도 가능 여부를 표시한다.
• light/dark mode에서 text, alert, disabled action, table, modal의 대비와 여백을 검증한다.
• UI 자동 갱신은 사용자 입력을 방해하지 않으며 전체 화면 skeleton으로 기존 데이터를 지우지 않는다.

상태 및 데이터 정합성 완료 조건

• UI Plan 상태, readiness, active operation과 Cloud Run/Session/Cycle이 일치한다.
• Agent 접수 결과와 FTCTL terminal journal이 일치한다.
• 완료 Run은 늦은 scheduler 상태가 RUNNING/FAILED로 되돌리지 못한다.
• 동일 sequence/cycle token의 alias Run은 terminal 처리 시 즉시 정리된다.
• 성공 terminal에서 과거 failure metadata를 명시적으로 정리한다.
• VM 전원, authority, scheduler, durable checkpoint, artifact ownership이 같은 상태를 나타낸다.
• 활성 lease와 고아 Run/Session/Cycle/artifact가 남지 않는다.

Preflight 및 장애 검증

• 원본/대상 Cloud API, Agent, FTCTL 버전 및 계약 일치
• 원본/대상 호스트 시간 동기, 디스크 공간, inode, SharedMountPoint mount health
• source qcow2 format/backing chain/virtual size/actual size 검증
• target path 쓰기·rename·fsync·sparse 생성 검증
• 네트워크 포트, bandwidth limit, timeout, retryability 검증
• VM 실행과 복제 작업의 디스크 소유권 충돌 차단
• Cloud/Agent/FTCTL 재시작 후 자동 재조정
• 전송 중 네트워크 단절과 복구
• 대상 용량 부족 시 시작 전 차단 및 UI 오류
• 실패 보상 처리와 재실행 idempotency

구현 및 검증 순서

• 1. 13/31 환경 inventory와 clean-state preflight, 단일 원본 VM 확정
• 2. Cloud/qemu 상세 설계 문서 갱신 및 상호 링크
• 3. storage capability와 qcow2 profile/schema 구현
• 4. UI/API Plan 생성·수정과 inventory/mapping 구현
• 5. Agent/FTCTL 전체 시드 및 durable target materialization 구현
• 6. 기준선·증분 scheduler·RPO projection 구현
• 7. pause/resume/full resync 구현 및 검증
• 8. test failover/test cleanup 구현 및 검증
• 9. failover/reprotect/failback 구현 및 검증
• 10. release/delete retain/delete 두 경로 구현 및 검증
• 11. 공통 회귀·동시성·재시작·dark mode 스모크 테스트
• 12. Cloud 변경 Maven 모듈 빌드와 qemu GitHub Actions RPM 빌드
• 13. 13/31 관리 서버·Agent·FTCTL·UI 배포 및 버전 정렬 검증
• 14. clean plan으로 전체 UI 메뉴 연속 PASS

빌드 및 배포 규칙

• Cloud 변경은 WSL ext4 clone에서 변경 Maven 모듈만 빌드한다. 전체 Cloud 빌드는 별도 명시적 승인 없이는 수행하지 않는다.
• ablestack-qemu-exec-tools FTCTL 패키지는 GitHub Actions로 빌드한다.
• UI는 /usr/share/cloudstack-management/webapp의 WEB-INF/META-INF를 보존하고 정적 asset만 갱신한다.
• UI 배포 전후 WEB-INF 존재, /client/ HTTP 200, 기대 bundle marker를 검증한다.
• 배포 후 관리 서비스, Agent, FTCTL timer/service, 설치 스크립트 hash와 패키지 checksum을 기록한다.

기존 성공 경로 회귀 게이트

• VMware -> ABLESTACK(RBD): sync/pause/resume/test failover/cleanup/failover/failback/release 계약 PASS
• ABLESTACK(RBD) -> ABLESTACK(RBD): 동일 baseline action contract PASS
• RBD sync는 librbd, RBD VM runtime은 KRBD 분리가 유지됨
• qcow2 분기가 RBD URI/profile/export lifecycle을 변경하지 않음
• release tombstone regression PASS
• Cloud/Agent/FTCTL 재시작 후 기존 계획 상태 복구 PASS

최종 완료 조건

다음 조건을 모두 만족할 때만 이 이슈를 완료한다.

1. 13 -> 31 SharedMountPoint qcow2 단일 VM의 전체 UI 검증 매트릭스가 clean start부터 연속 PASS한다.
2. 전체 시드 후 5개 이상의 자동 증분 Cycle이 목표 RPO 안에서 durable 완료된다.
3. 테스트 VM과 실제 전환 VM이 원본 firmware와 장치 속성을 보존하며 정상 부팅한다.
4. 페일오버 후 대상 VM, 페일백 후 원본 VM이 각각 정상 부팅하고 변경 데이터가 보존된다.
5. 페일백 후 첫 정방향 복제가 불필요한 전체 시드가 아닌 증분으로 완료된다.
6. UI/API/DB/Agent/FTCTL/VM/qcow2 artifact 상태가 terminal 상태로 일치한다.
7. stale process, lock, profile, lease, session, snapshot/backing chain 또는 오류 metadata가 남지 않는다.
8. VMware -> ABLESTACK(RBD), ABLESTACK(RBD) -> ABLESTACK(RBD) 기존 성공 경로 회귀 테스트가 PASS한다.
9. 설계 문서, 코드, 빌드 결과, 13/31 배포 상태와 테스트 증거가 최신 상태로 기록된다.

이슈 업데이트 규칙

• 각 작업 시작 전에 이 이슈의 미완료 체크 항목과 이전 코멘트를 확인하여 동일 작업을 반복하지 않는다.
• 각 단계 완료 시 체크리스트를 갱신하고 코멘트에 다음을 기록한다.
  • 날짜와 작업 단계
  • Cloud/qemu commit SHA 및 변경 파일
  • 설계 문서 경로
  • 테스트 명령과 결과
  • GitHub Actions run URL, artifact checksum
  • 13/31 배포 노드, 패키지 버전, 백업 위치, 서비스 상태
  • UI에서 수행한 메뉴와 결과
  • Cloud Run/Session/Cycle, Agent/FTCTL, VM/qcow2 artifact 증거
  • 실패 원인, rollback/cleanup 결과, 다음 한 단계
• 실패를 DB 직접 수정으로 숨기지 않으며 재현 조건과 정확한 실패 단계를 기록한다.
• 기존 성공 경로 회귀 결과가 없으면 공유 코드 변경을 완료로 간주하지 않는다.
• 모든 완료 조건과 체크리스트가 충족된 뒤에만 이슈를 닫는다.

관련 저장소 및 작업 브랜치

• Cloud upstream: ablecloud-team/ablestack-cloud
• Cloud 작업 저장소: dhslove/ablestack-cloud
• FTCTL upstream: ablecloud-team/ablestack-qemu-exec-tools
• FTCTL 작업 저장소: dhslove/ablestack-qemu-exec-tools
• 작업 브랜치: feature/ftctl-cloud-integration

[dhslove]

작업 시작 상태 - 2026-08-28

• 마스터 이슈 생성 및 범위 확정 완료
• 현재 단계: 구현 전 환경·데이터 경로 preflight
• 첫 대상: 12 -> 31, local qcow2 단일 VM
• 사용자 조작 기준: 31 클러스터 Cloud UI
• 다음 작업:
  1. 12/31 Cloud, Agent, FTCTL 패키지·계약 버전 확인
  2. 원본 후보 VM과 실제 qcow2 source/backing chain inventory
  3. 대상 호스트 local storage path·용량·권한·내구성 preflight
  4. 기존 VMware -> RBD 및 RBD -> RBD 공유 계약 영향 범위 확인
  5. 상세 설계 문서 작성 후 구현 단계 진입

구현·배포·테스트 결과는 이 이슈의 체크리스트와 코멘트에 누적하며, 이미 기록된 실패를 원인 확인 없이 반복하지 않는다.

[dhslove]

1단계 Preflight 진행 기록 - 2026-08-28

확인 결과

• 12/31 관리 UI: HTTP 200, DR 메뉴 표시, 관리자 세션 확인
• 12/31 관리 서비스: mold, mold-usage active
• Cloud 패키지: 양쪽 모두 4.23.0.0-Mold.Europa.202608261320.1
• 12/31 compute 6대: SSH 및 Agent 연결 정상
• 각 compute에는 고유 local.storage.uuid와 active libvirt local pool이 이미 존재
• 12 compute 여유 공간: 각 약 159 GiB
• 31 compute 여유 공간: 약 56/238/322 GiB

발견된 준비 결손

1. 12 Zone과 31 Zone 모두 is_local_storage_enabled=0
2. 따라서 Cloud DB에는 compute local pool이 등록되지 않음
3. 12 클러스터 active primary storage 0, user VM 0
4. 31 클러스터의 active primary storage는 공유 mount pool 하나뿐이며 local-qcow2 대상이 아님
5. 31 UI의 기존 사이트는 13/31이고, 12 사이트는 아직 등록되지 않음

판정

• 패키지/서비스/호스트 도달성: PASS
• qcow2 DR 기능 테스트 인프라: NOT READY
• 원인: 코드 실패가 아니라 Cloud local storage 미활성화와 원본 VM 부재

다음 작업

1. 12/31 Zone의 local storage를 Cloud 설정으로 활성화
2. Agent 재발견 후 호스트별 local pool 등록 확인
3. local storage disk/service offering과 12번 source qcow2 VM 준비
4. 31 UI에서 12 DR 사이트를 등록하고 inventory 조회
5. 실제 source/target mapping을 기반으로 상세 설계와 구현 차이를 확정

직접 DB 수정으로 DR 상태를 만들지 않고 Cloud 설정/API와 Agent discovery 경로를 사용한다.

[dhslove]

Step 1 업데이트: 12→31 로컬 qcow2 환경 및 원본 VM 준비

완료

• 12/31 존에서 로컬 스토리지를 활성화하고 mold-agent를 순차 재연결했습니다.
• 양 클러스터의 각 KVM 호스트에 Filesystem / HOST / /var/lib/libvirt/images 로컬 풀이 Cloud 인벤토리로 등록되고 Up 상태임을 확인했습니다.
• 12.1에 독립 qcow2 원본 qcow2-dr-source-12를 UEFI/Secure Boot, virtio 디스크로 생성했습니다.
• Cloud의 importUnmanagedInstance 정식 경로로 원본을 편입했습니다.
  • VM UUID: 589c872f-93e1-432b-a2c4-42f58664f9ea
  • 상태: Running
  • 원본 볼륨: qcow2-dr-source-12.qcow2
  • 스토리지: Filesystem / HOST / 10.10.12.1 / /var/lib/libvirt/images
  • Cloud VM detail: UEFI=SECURE, rootDiskController=virtio
• 12/31에 테스트용 local-storage service offering을, 31에 local disk offering을 생성했습니다.

불변 계약

• 이번 경로는 local qcow2 → local qcow2이며 31의 공유 풀 /mnt/glue-gfs와 RBD는 선택·대체 대상으로 사용하지 않습니다.
• 대상 호스트와 해당 호스트의 HOST 범위 로컬 풀을 하나의 매핑으로 유지합니다.
• UI 선택값과 실제 대상 VM 디스크가 다르면 계획 생성 또는 실행 준비를 차단합니다.
• 기존 VMware→RBD 및 RBD→RBD 분기는 변경하지 않고 회귀 게이트로 유지합니다.

다음 단계

1. 31 UI에서 12 사이트를 등록하고 인벤토리 조회를 검증
2. 계획 생성 대화상자에서 원본 VM/로컬 풀/대상 호스트 종속 선택 검증
3. 실패가 확인되는 지점부터 설계 문서와 코드를 함께 보강

[dhslove]

범위 정정: 기존 사용자 계획만 사용

사용자가 생성한 기존 계획을 권위 대상으로 확정합니다. 새 DR 사이트나 새 DR 계획은 생성하지 않습니다.

• 계획: rocky9-vm DR Plan
• Plan UUID: 41886f03-c19e-4382-927d-89bc4d6ce8e9
• 원본: 13 ABLESTACK Cluster, VM rocky9-vm (48bdce4a-8bba-4984-80f1-46b1c92042cd)
• 대상/제어 사이트: 31 ABLESTACK Cluster
• 데이터 경로: SharedMountPoint qcow2 -> SharedMountPoint qcow2
• 원본 풀: primary-gfs, /mnt/glue-gfs, SharedMountPoint, 100 GiB ROOT qcow2
• 대상 풀: Primary Storage, /mnt/glue-gfs, SharedMountPoint

이전에 기록한 12->31 host-local 준비는 실제 사용자 계획과 다른 탐색 결과이므로 이 이슈의 검증 대상에서 제외합니다. 해당 탐색 자산은 기존 계획에서 참조하지 않는지 확인한 뒤 별도로 안전하게 정리합니다.

현재 계획은 target storage/network/compute mapping을 보유하지만 source hardware inventory가 SOURCE_HARDWARE_INVENTORY_REQUIRED이고 target hardware가 BIOS/LEGACY로 대체되어 있습니다. 첫 UI 동기화 전에 원본 부트/장치 inventory와 SharedMountPoint 파일 전송 capability를 검증하고, 기존 VMware->RBD 및 RBD->RBD 계약과 분리된 qcow2 capability 경로로 보강합니다.

[dhslove]

설계 고정: 기존 계획 기반 SharedMountPoint qcow2 경로

사용자 확인에 따라 신규 DR 사이트/계획은 생성하지 않는다.

• 기존 계획: 41886f03-c19e-4382-927d-89bc4d6ce8e9
• 원본: 13 클러스터 rocky9-vm, /mnt/glue-gfs, SharedMountPoint/qcow2
• 대상/통제: 31 클러스터, /mnt/glue-gfs, SharedMountPoint/qcow2
• 기존 계획 수정 및 재사용만 허용

Preflight 결과:

• QEMU 9.1/libvirt 10.10에서 persistent dirty bitmap, block export, blockdev-backup 지원 확인
• 임시 qcow2에서 dirty bitmap NBD metadata extent 조회 성공
• Cloud 원격 KVM 인벤토리는 UEFI detail 부재를 BIOS로 해석하지 않아 readiness blocker 생성
• SharedMountPoint 디스크도 raw로 고정 보고
• FTCTL target export와 incremental 함수는 RBD 전용

설계 문서:

• qemu: 468-ftctl-dr-sharedmountpoint-qcow2-push-backup-design-20260828.md
• cloud: 622-sharedmountpoint-qcow2-dr-plan-and-ui-lifecycle-design-20260828.md

구현 원칙:

1. RBD 성공 분기는 변경하지 않고 file/qcow2 provider를 추가한다.
2. target qcow2는 대상 Agent가 검증·NBD export한다.
3. source QEMU가 persistent bitmap + blockdev-backup push model로 full/incremental을 수행한다.
4. Cloud가 대상 volume/VM 수명주기를 소유한다.
5. 최종 PASS는 기존 계획을 31 UI에서 전체 메뉴로 검증한다.

[dhslove]

Implementation checkpoint (existing plan only): Cloud commit 20c5c45 normalizes remote KVM BIOS/LEGACY and SharedMountPoint qcow2 inventory. FTCTL commit 044ada8 adds isolated file/qcow2 target export and QEMU persistent-bitmap push backup without changing existing RBD dispatch. Regression gates passed: DrMoldInventoryClientTest 7/7, qcow2 helper 4/4, SharedMountPoint smoke, remote-RBD smoke, release tombstone, and terminal immutability. Live 13.1 to 31.2 preflight passed with a 64 MiB full seed, real 1 MiB guest write, 1 MiB bitmap observation, CBT incremental transfer, and equal logical SHA-256 3b6a07d0d404fab4e23b6d34bc6696a6a312dd92821332385e5af7c01c421351. No replacement DR site or plan was created; deployment and UI validation will use existing plan 41886f03-c19e-4382-927d-89bc4d6ce8e9.

[dhslove]

기존 계획 전송 지표 보강 및 FTCTL 배포 - 2026-08-28

신규 DR 사이트나 계획을 만들지 않고 권위 계획 rocky9-vm DR Plan (41886f03-c19e-4382-927d-89bc4d6ce8e9)만 사용했습니다.

원인

• SharedMountPoint qcow2 전체 시드의 QEMU progress journal에는 100 GiB 전송 증거가 있었습니다.
• 그러나 ABLESTACK full-seed durable checkpoint 작성 시 changed_bytes가 비어 있었습니다.
• 따라서 dr_sync_cycle과 보호 정보 UI의 완료 전송량이 0 B로 투영되었습니다.

설계 및 구현

• qemu 문서: docs/ftctl/468-ftctl-dr-sharedmountpoint-qcow2-push-backup-design-20260828.md
• Cloud 문서: docs/ftctl/622-sharedmountpoint-qcow2-dr-plan-and-ui-lifecycle-design-20260828.md
• FTCTL 커밋: 8d6274dc5a47ed77e955437d9deeb22bad951210
• 변경: provider changedBytes를 우선 사용하고, 없으면 검증한 원본 virtual size를 전체 시드 완료 바이트로 durable checkpoint에 기록
• RBD/VMware 분기와 기존 profile 계약은 변경하지 않음

테스트 및 빌드

• ftctl_dr_ablestack_qcow2_shared_smoke.sh: PASS
• remote RBD, release tombstone, seed retry, cancel, failover final checkpoint, RPO deadline, scheduler NBD recovery, source outage recovery, VMware snapshot/thumbprint 회귀: PASS
• GitHub Actions run: https://github.com/dhslove/ablestack-qemu-exec-tools/actions/runs/33112890117
• 빌드 artifact: ablestack_vm_ftctl-0.9.5-1.noarch.rpm
• SHA256: 2eae4f968154d94315fec31f458d1b24f088f38cea659d6b4e173ce33dbffd76
• RPM 생성 및 artifact 업로드는 성공했으며 release 게시 단계만 GitHub secondary rate limit로 실패

테스트 환경 배포

• 13 compute: 10.10.13.1/2/3
• 31 compute: 10.10.31.1/2/3
• 6개 호스트 모두 동일 RPM 재설치 및 설치 스크립트 marker 검증 완료
• 기존 계획 scheduler는 Cycle IDLE에서만 재시작
• 재시작 후 자동 증분 Cycle 8 완료, 계획 READY, scheduler RUNNING, Cycle IDLE

다음 한 단계

31 Cloud UI에서 위 기존 계획만 선택하여 전체 재동기화를 실행하고, 최신 완료 Cycle의 변경/전송 바이트가 0 B가 아닌 실제 전체 시드 용량으로 목록·보호 정보·이력에 동일하게 표시되는지 확인합니다.

[dhslove]

2026-08-28 SharedMountPoint 테스트 페일오버 artifact 격리 보강

기존 계획 고정

• 신규 DR Site/Plan은 생성하지 않았다.
• 검증 대상은 기존 rocky9-vm DR Plan (41886f03-c19e-4382-927d-89bc4d6ce8e9) 하나다.
• 원본/대상은 13 -> 31, SharedMountPoint /mnt/glue-gfs, qcow2다.

UI 재현 결과

• 31번 Cloud UI에서 기존 계획의 테스트 페일오버를 실행했다.
• 요청 접수 후 Run f8b09719-d24d-43a3-9d3e-466f3731bb6c가 실제 Agent/FTCTL까지 도달했다.
• 테스트 VM 생성 전 qemu-img create -b가 복제 writer가 열고 있는
  /mnt/glue-gfs/rocky9-vm-dr-disk-0의 공유 write lock과 충돌해 실패했다.
• 따라서 UI 요청 접수는 성공했지만 기능 판정은 FAIL이었다.

설계 및 구현

• FILE provider 테스트 artifact를 가변 backing overlay에서 독립 sparse qcow2 복사본으로 변경했다.
• scheduler pause 및 durable checkpoint lease 이후 다음 순서로 처리한다.
  1. qemu-img info --force-share
  2. qemu-img convert --force-share -f qcow2 -O qcow2 -S 4k
  3. qemu-img check -q
  4. qcow2-copy artifact 게시
• Test Cleanup은 생성된 독립 복사본만 제거하며 durable replica는 제거하지 않는다.
• RBD snapshot/clone과 VMware provider 코드는 변경하지 않았다.

검증 및 배포

• 실제 잠금 조건 preflight: 100 GiB 가상/약 2.4 GiB 실제 데이터를 약 2초에 독립 복사했고 qemu-img check PASS.
• FTCTL 테스트 페일오버/정리 회귀 및 페일오버/페일백 관련 선택 계약 테스트 PASS.
• qemu commit: 69cb6f2f7b931a4d6acfa7c7c3d1e2b98b94109a
• GitHub Actions Run: 33120760836
  • RPM build 및 artifact upload PASS
  • 마지막 개발 릴리즈 게시만 GitHub secondary rate limit으로 실패
• 동일 Run artifact ablestack_vm_ftctl-0.9.5-1.noarch.rpm을 13.1/2/3과 31.1/2/3에 배포했다.
• 여섯 호스트 모두 FTCTL/hangctl timer active, 설치 script hash
  94b7e54fb9321f7522da025f8e664d029f986fd183b6af3d24d7112ab3f3983a 일치.

현재 재테스트 게이트

• 과거 실패 세션에 실제 테스트 VM/디스크는 없지만 UI 계약상 테스트 정리가 필요하다.
• 현재 UI는 테스트 정리 확인 직전이며, 사용자 action-time 승인을 받은 뒤 정리 -> 같은 계획의 테스트 페일오버를 재실행한다.
• PASS 기준은 UI terminal 성공, Cloud 테스트 VM/볼륨 존재, VM Running/부팅 검증 성공, 세션/Run DB 일치다.

[dhslove]

2026-08-28 SharedMountPoint qcow2 테스트 정리 및 배포 폐쇄성 보강

• 대상 계획: 기존 rocky9-vm DR Plan (41886f03-c19e-4382-927d-89bc4d6ce8e9)
• UI 테스트 정리 실행 결과: Run c25d152d-2612-4474-90ac-84b35d19952e, SUCCEEDED / completed / 100%
• 테스트 세션 7454afc3-fb76-4b50-9450-aa8bb2e8350e: CLEANED, cleanup_required=0, 테스트 VM 없음
• UI 갱신 중 DrSyncCycleDao.findByPlanSchedulerCycle NoSuchMethodError 발견
• 원인: Runtime Projection 변경 클래스만 배포되고 의존 DAO 인터페이스/구현 클래스가 active management JAR에 누락된 변경 클래스 배포 폐쇄성 문제
• 조치: DrSyncCycleDao.class, DrSyncCycleDaoImpl.class를 동일 빌드 산출물에서 active JAR에 보강하고 mold 재시작
• 검증: mold=active, /client/=HTTP 200, WEB-INF 보존, UI 상세 조회 오류 없음
• 최종 UI 메뉴: 테스트 페일오버 활성, 테스트 정리 비활성

다음 재테스트는 UI에서 새 테스트 페일오버를 실행해 구체화된 guest-prep preflight 오류 또는 테스트 VM 생성/부팅 성공 계약을 검증한다.

[dhslove]

2026-08-28 SharedMountPoint qcow2 Test Failover failure reproduction

• Existing Plan only: 41886f03-c19e-4382-927d-89bc4d6ce8e9
• UI submitted TEST_FAILOVER Run 6daf3c54-032a-4932-8a51-6e5aa602f919.
• FTCTL created and validated an independent FILE artifact with type qcow2-copy, then guestprep_manifest.py rejected it as unsupported.
• Engine terminal evidence: DR_TARGET_DISK_LOCATOR_INVALID / unsupported test artifact type: qcow2-copy; no test VM was created; FTCTL auto-cleaned the session.
• Cloud DB/UI remained ACCEPTED / agent-accepted / 70%, so the terminal failure was not promptly projected.

Patch scope before retest:

1. Accept qcow2-copy as a canonical absolute file/qcow2 test disk in the guest-preparation manifest, without changing RBD or VMware provider paths.
2. Preserve the original FTCTL terminal error code/message instead of remapping it to a generic guest-prep runtime code.
3. Add bounded asynchronous post-accept projection polling so short terminal outcomes converge immediately in Run, test session, and UI.
4. Add FTCTL/Cloud/UI regression tests, build and deploy to cluster 31, then rerun Test Failover through the UI.

PASS requires UI history SUCCEEDED, a Cloud test VM in Running state, and boot validation PASSED. Request acceptance alone is not PASS.

[dhslove]

체크포인트 불변성 결함 및 수정 착수 (2026-08-28)

재현 결과

• 기존 계획 41886f03-c19e-4382-927d-89bc4d6ce8e9의 Test Failover VM은 libvirt Running으로 표시됐으나 OS 부팅이 완료되지 않음.
• 보존한 테스트 artifact의 qcow2 컨테이너와 LVM PV/VG/LV는 인식되지만, /boot XFS에서 Log inconsistent, failed to find log head, Structure needs cleaning이 확인됨.
• 루트 XFS도 미반영 로그 변경과 free-block 불일치가 확인됨.

확정한 계약 위반

1. 요청은 checkpoint sequence 71이지만 artifact는 sequence별 immutable 파일이 아닌 mutable /mnt/glue-gfs/rocky9-vm-dr-disk-0에서 생성됨.
2. FILE artifact는 qemu-img convert --force-share로 mutable target을 읽음.
3. dr_runtime.sh가 artifact 생성 후 checkpoint lease를 획득함.
4. qcow2 컨테이너 qemu-img check만 통과하면 게스트 파일시스템 일관성을 확인하지 않음.

이번 수정 범위

• FILE/qcow2에 per-cycle immutable durable checkpoint 계약 추가.
• checkpoint lease를 artifact materialization 전에 획득하고 실패 시 소유권 기반 해제.
• 테스트 artifact는 exact leased checkpoint를 소비하며 mutable latest replica를 직접 읽지 않음.
• 임시 writable overlay에서 부팅 전 파일시스템 replay/mount 검증을 수행하는 pre-boot integrity gate 추가.
• Cloud/Agent/UI는 checkpoint sequence, immutable locator, integrity state를 일관되게 투영.
• 기존 VMware->RBD, RBD->RBD 공급자 경로는 변경하지 않음.
• qemu 패키지와 Cloud 변경 모듈/UI를 빌드해 13/31 클러스터에 동일 배포 후 31 UI에서 Test Failover와 정상 부팅을 검증.