GIST NetAI Lab에서 TwinX와 MiniX 클러스터를 운영하며 쌓은 운영 런북입니다. 네트워킹, 스토리지, 정책, 관측, 애플리케이션, Kubernetes 운영, 장애 대응 기록을 한 곳에 정리합니다.
주 대상은 랩 내부 운영자입니다. 완성된 매뉴얼이라기보다 운영 중 계속 갱신하는 작업 노트에 가깝습니다. 공개 저장소로 두는 이유는 비슷한 문제를 만난 사람이 그대로 참고할 수 있게 하기 위해서입니다.
전기 신호부터 인프라까지: 다섯 교재의 통합 학습 순서에서 시작합니다. 하드웨어·운영체제·네트워크·데이터 시스템·AI 인프라를 용어의 뜻, 등장 이유, 동작 추적, 계산, 실습, 해설 문제로 연결합니다.
- 서버 하드웨어: 전기·논리회로부터 CPU·메모리·PCIe·GPU·스토리지·전원·냉각.
- Linux·운영체제·커널: 프로그램·셸부터 부팅·스케줄링·주소 변환·동기화·I/O·격리.
- 네트워크·eBPF: 신호·스위치·라우터·패킷부터 TCP/IP·DNS/TLS·Linux·XDP/TC·Cilium.
- 파일·데이터 시스템: 파일 읽기·쓰기·파일시스템부터 분산 저장·DB·분석 포맷·실험 설계.
- AI 인프라: 모델·텐서·GPU 실행부터 학습·분산 통신·LLM 추론·서빙·체크포인트·클러스터·측정.
최근 또는 중요한 운영 이슈를 바로 찾기 위한 표입니다. Last update는 해당 문서의 최근 반영일입니다.
| Last update | Area | Issue / note | Contents |
|---|---|---|---|
| 2026-10-04 | Kubernetes / Storage | TwinX Ceph 모니터 교체 | e/f/m quorum3·Rook·CSI 참조 검증, MON_DISK_CRIT 해소, 이전 affinity 실패·복구와 원본/PV/PVC 보존 |
| 2026-10-01 | Hardware / Inventory | TwinX 노드별 장착 장치·빈 슬롯 | 5대 재실측, 슬롯별 GPU/NIC/NVMe·Gen/레인, 빈 PCIe·DIMM 자리, 추가 장착 후보와 RM352 레인 공유 |
| 2026-09-22 | AI / Learning | AI 인프라 독립 교재 | 13개 장: 모델 계산·GPU 메모리·학습·분산 실행·KV cache·서빙·복구·GPU 클러스터, 로컬 실습·해설 |
| 2026-09-22 | Learning | 인프라 기초 통합 교재 | 하드웨어·Linux 커널·네트워크/eBPF·데이터 시스템, 선수지식·계산·추적·안전한 실습·해설 |
| 2026-09-22 | Hardware / NPU | A7 RNGD 슬롯 이동 후 진단 | SLOT10→18 이동·4장 NUMA1/Gen5 x16 확인, binning·225W 제한 재확인, power-sense 경고 분석 / 부하 진단은 장치 점유로 보류 |
| 2026-09-22 | Linux / Data Systems | 데이터 시스템 밑바닥부터 배우기 | OS 읽기·쓰기·fsync, 파일시스템·SSD, HDFS·Ceph·S3, DB WAL·인덱스, Parquet·Iceberg, 실험 해석과 안전한 로컬 실습 |
| 2026-09-22 | Hardware / Learning | 서버 하드웨어 학습 교재 | 전기·비트·논리회로부터 CPU·RAM·PCIe·RAID·GPU/NPU·NIC·전원·냉각, NVLink·UALink·UEC·CXL, A7 실습·계산·해설 |
| 2026-09-21 | Hardware / NPU·GPU·NIC | A7 가속기 증설 검토 | GPU 4장+NPU 4장 가정의 슬롯 배치안, RAM 128GB/2 DIMM, 200G NIC DOWN, 공유 링크·전원·OS RAID1 실측 / 증설 미실행 |
| 2026-09-21 | Hardware / NPU | A7 RNGD NPU 작업일지 | PCIe·NUMA·후면 슬롯 대조, SLOT10→18 이전 권고, binning·225W 제한 관측 / 이전 미실행 |
| 2026-09-16 | Kubernetes / Storage | Iceberg·Open Table Format 논문 학습 노트 | 입문 예제, VLDB·SIGMOD·CIDR 주요 논문 7편과 보충 문헌, 실험 조건·한계, NetAI 검증 계획 |
| 2026-09-15 | Kubernetes / Observability | 운영 데이터 파이프라인 한국어 학습 | OTel·Kafka·Flink·OpenSearch·Iceberg·Spark·Prometheus 개념, 장애·복구, 통합 설계와 오프라인 실습 |
| 2026-09-14 | Kubernetes / Storage | TwinX Ceph 내부 풀 배치 복구 | 129 관리 PG 복구·전체 PG 수렴, mon.e quorum 이탈·메모리 압박 재검증 |
| 2026-09-02 | Kubernetes / GPU | TwinX sv4000-2 Partridge 전용 해제 | GitOps 의존성 제거, Rook SSA 잔존 필드 복구, NFS Retain 보존, MIG rollback, 일반 Pod 스케줄링 검증 |
| 2026-09-02 | Kubernetes / GPU | NVIDIA AI Infrastructure와 DSX 학습 메모 | AI Factory와 DSX 공개 개념, 공동 설계 원칙, NetAI 운영 기준선과 검토 질문 |
| 2026-08-17 | Kubernetes / Security | Workload Identity와 Secret 관리 학습 경로 | SPIFFE/SPIRE, OpenBao, External Secrets Operator의 개념·Kubernetes 실습·통합 설계·운영 진단·복습 문제 |
| 2026-08-12 | Hardware / Provisioning + Kubernetes / Cluster Lifecycle | KISS 노드 프로비저닝·클러스터 Join 한눈에 보기 | Box 등록·수정, PXE/Ubuntu 설치, Commissioning, Control Plane·Compute Join, 상태 판정, 주요 장애와 복구 |
| 2026-07-24 | Kubernetes / Cluster Lifecycle | EdgeX/TwinX KISS 클러스터 구성 및 Compute 재조인 복구 | Control Plane bootstrap ConfigMap/RBAC 복구, localhost:6443 proxy seed, kubeadm CA/10250 preflight 충돌 해소, Compute 8대 조인 |
| 2026-07-24 | Kubernetes / Cluster Lifecycle | DataX Worker 재조인 복구 및 네트워크 안정화 | 이전 kubelet CA 백업·분리, KISS 재조인, Wi-Fi bond 불안정과 임시 유선 전환, stale CNI 정리, CNI 미배포 시 정상 판정 |
| 2026-07-13 | Hardware / Provisioning | Supermicro E300 Ubuntu 24.04 PXE/UEFI 복구 | KISS PXE network/HWE package 실패, stale UEFI NVRAM entry와 GRUB 등록 오류, Subiquity 전체 재시작 및 disk boot 검증 |
| 2026-07-01 | Hardware / Power | SYS-210P DC PSU 장애 및 AC 전환 문의 | edgebox3/4 power-off, S-1200-48 external AC-to-48V DC PSU 불안정, Supermicro 공식 AC conversion 확인 항목 |
| 2026-07-01 | Kubernetes / Networking | TwinX Cilium GitOps 및 Hubble relay 복구 | Cilium GitOps ownership 전환, Hubble relay/metrics 활성화, certgen Job, relay hostNetwork 복구, edgebox3/4 known exception |
| 2026-06-29 | Kubernetes / Cluster Lifecycle | TwinX 단일 Control Plane 전환 계획 | control1만 남기고 control2/control3를 제거하기 위한 preflight, etcd snapshot, 단계별 제거, 중단 기준 |
| 2026-06-29 | Kubernetes / Registry | TwinX Harbor RWO PVC Rollout Deadlock | Harbor registry/jobservice가 RWO PVC와 RollingUpdate 조합으로 ContainerCreating에 걸린 원인, PR #209 node pinning fix와 검증 |
| 2026-06-28 | Kubernetes / Security | TwinX OpenBao Sealed Recovery | OpenBao sealed 상태로 ESO와 Trident ExternalSecret이 Degraded 된 장애 복구, unseal 및 검증 절차 |
| 2026-06-28 | Kubernetes / GPU | TwinX NVIDIA DRA Driver Rollout | GPU Operator v25.3.4 환경에서 NVIDIA DRA driver chart 25.3.2를 GitOps로 추가하고 DeviceClass/ResourceSlice 검증 |
| 2026-06-28 | Kubernetes / Virtualization | TwinX KubeVirt User VM Plan | 사용자별 KubeVirt VM 제공 설계, v1.8.4 선택 이유, GitOps 준비 결과, 배포 전 preflight와 중단 기준 |
| 2026-06-26 | Kubernetes / Multicluster | Karmada ScaleX-POD Lab | MiniX kind 기반 Karmada, ArgoCD, Kueue, Resource Pool, WorkloadRebalancer 실험 |
| 2026-06-26 | Kubernetes / Cluster Lifecycle | TwinX Kubernetes Upgrade Run 2026-06-26 | 당일 preflight 결과, OTP 임시 해제, Harbor/Ceph/Partridge/Kubespray blocker, 축소된 1차 wave |
| 2026-06-25 | Kubernetes / Incidents | MiniX Kubespray Upgrade Troubleshooting | Cilium 권한, kubeadm health-check timeout, Rook-Ceph PDB drain block, CoreDNS loop, GPU node API timeout |
| 2026-06-25 | Kubernetes / Storage | Rook-Ceph Reinstall | Rook-Ceph 전체 재설치와 단계별 bring-up 절차 |
| 2026-06-25 | Kubernetes / Security | Kyverno + cert-manager | Kyverno chart v3.7.x에서 인증서 ping-pong이 반복되는 문제 |
- kubernetes/ — Kubernetes 기반 운영 런북의 중심 디렉터리
- kubernetes/cluster-lifecycle/ — Kubernetes upgrade, Kubespray 작업, control-plane/etcd topology 변경, node 제거
- kubernetes/networking/ — Cilium, Hubble, MTU, Pod 통신, Kubernetes 관련 node routing
- kubernetes/storage/ — Rook-Ceph, OSD, PVC, LV, local disk 운영
- kubernetes/security/ — SPIFFE/SPIRE workload identity, OpenBao, External Secrets, Kyverno, cert-manager, OIDC/RBAC, webhook lifecycle
- kubernetes/gpu/ — GPU Operator, NVIDIA DRA, MIG, GPU node 운영
- kubernetes/registry/ — Harbor registry, image storage, RWO PVC rollout 운영
- kubernetes/virtualization/ — KubeVirt 기반 사용자별 VM 제공 계획과 운영 절차
- kubernetes/observability/ — Prometheus, Grafana, OpenTelemetry, Hubble metrics
- kubernetes/apps/ — Kubernetes 위에서 운영되는 포털, 카탈로그, 쿼리 엔진 등 앱 운영
- kubernetes/multicluster/ — Karmada, ScaleX-POD, multi-cluster placement 실험과 운영
- kubernetes/incidents/ — Kubernetes 장애 기록, postmortem, cross-component failure
- learning/ — 처음 배우는 인프라의 선수지식·다섯 교재 읽기 순서·역사·평가
- ai/ — AI 학습·추론·GPU 클러스터·서빙·측정 교재
- linux/ — 운영체제·커널·프로세스·메모리·동기화·격리·진단 교재
- hardware/ — PSU, BMC/IPMI, NIC cabling, rack 등 Kubernetes 바깥 물리 인프라 이슈
- hardware/inventory/ — TwinX GPU 노드 실측·PCIe/NUMA 배치·증설 후보
- hardware/learning/server-hardware/ — 하드웨어 구성요소·최신 인터커넥트·A7 설계 학습
- hardware/npu/ — NPU 전용 작업일지, PCIe/NUMA 배치, binning·진단 결과
- templates/ — 새 runbook/incident 작성 템플릿
- archive/ — active 구조에서 빠진 오래된 자료
각 노트는 아래 형식을 기준으로 작성합니다.
- Symptom — 실제로 관측되는 현상
- Diagnosis — 확인에 사용한 정확한 명령
- Root cause — 왜 발생했는지
- Fix — 복구 절차
- Prevention — 다음에 같은 문제를 피하는 방법
정식 문서로 정리하기 전의 질문이나 메모는 Discussions에 남깁니다.
This repository is licensed under the MIT License.
현재 구성과 학습 순서: Airflow·OTel·Prometheus·Loki·Tempo·Grafana 중심으로 갱신했습니다. Kafka·Spark·Iceberg는 장기 분석 경로이며 기존 Flink·OpenSearch 자료는 대안 학습용으로 보존합니다. 실제 설치·배포 완료 보고가 아닙니다.