| 다음 판 | 이전 판 |
| 스토리지 [2024/03/27 02:27] – 만듦 koov | 스토리지 [2026/07/03 00:57] (현재) – [표] koov |
|---|
| | ====== 스토리지 ====== |
| | |
| | {{::storage:15902538_1226815097400834_1400674526_o.png|}} |
| | |
| | |
| | * [[https://en.wikipedia.org/wiki/Comparison_of_file_systems|파일시스템 비교]] |
| | |
| | ===== 분산스토리지 솔루션 비교 ===== |
| | |
| | ^ 인기 순위 ^ 솔루션 이름 ^ 최초 출시 ^ 데이터 저장 형태 ^ 메타데이터 관리 방식 ^ 주요 워크로드 (실제 적용 예시) ^ 오픈소스 여부 ^ 시장 점유율 및 트렌드 (2026) ^ |
| | | 1 | **MinIO** | 2014년 | Object (S3 API) | 메타데이터 서버 없음 \\ (오브젝트 내장 / KV 구조) | **AI/ML 데이터 레이크**, 프라이빗 S3 백업 \\ (K8s 기반 비정형 이미지·음성 데이터셋 저장) | 오픈소스 \\ (AGPL v3) | **오브젝트 스토리지 시장 독보적 1위.** 클라우드 네이티브 및 AI 인프라의 글로벌 표준. | |
| | | 2 | **Ceph** | 2006년 | **통합형** \\ (Block, Object, File) | **CRUSH 알고리즘** \\ (위치 무인 계산형 / MDS) | **가상화 플랫폼 가상 디스크**, K8s PV \\ (Proxmox, OpenStack 기반 가상머신 볼륨 제공) | 오픈소스 \\ (LGPL v2.1/v3) | **오픈소스 범용 분산 스토리지 최강자.** 기업 내 사설 인프라 백엔드 장악. | |
| | | 3 | **IBM Storage Scale** \\ (구 GPFS) | 1998년 | File (POSIX) \\ Object | 분산 토큰 매니저 기반 \\ 분산 메타데이터 | **초거대 AI 생성형 모델 학습**, 하이엔드 HPC \\ (NVIDIA DGX GPU 클러스터의 체크포인트 R/W) | 상용 (유료) | **상용 하이엔드/초고속 시장 점유율 1위.** 대기업 및 초대형 AI 인프라의 핵심. | |
| | | 4 | **Hadoop (HDFS)** | 2006년 | File \\ (Append 전용) | 중앙 집중형 마스터 \\ (**NameNode** 메모리 관리) | **대규모 로그 수집 및 빅데이터 분석** \\ (금융·통신사 고객 트랜잭션 로그 배치 분석) | 오픈소스 \\ (Apache 2.0) | 전통 빅데이터 시장의 터줏대감. 신규 구축은 줄었으나 **기존 인프라 지분 견고.** | |
| | | 5 | **WekaIO** \\ (WekaFS) | 2017년 | File (POSIX) \\ Object | 클러스터 전체 노드에 \\ 메타데이터 분산 저장 (샤딩) | **최신 AI/GPU 가속 스토리지**, LLM 학습 \\ (멀티모달 고해상도 영상을 GPU 메모리로 직결) | 상용 (유료) | **AI 인프라 시장에서 가장 빠르게 성장 중인 신흥 강자.** 테크 기업 선호도 급상승. | |
| | | 6 | **Lustre** | 2003년 | File (POSIX) | 전용 메타데이터 서버 및 \\ 타겟 운영 (**MDS / MDT**) | **슈퍼컴퓨터, 대규모 연산 클러스터** \\ (기상청 기상 예측 시뮬레이션 연산 데이터 백엔드) | 오픈소스 \\ (GPL v2) | **전 세계 슈퍼컴퓨터(Top500) 및 국가 연구소 진영 점유율 부동의 1위.** | |
| | | 7 | **GlusterFS** | 2005년 | File (POSIX) | **탄력적 해시 알고리즘** \\ (메타데이터 서버 없음) | **웹 서버 공용 업로드 폴더**, 미디어 백업 \\ (다수 웹 노드가 동시 바라보는 공용 이미지 저장소) | 오픈소스 \\ (GPL v3) | 과거 분산 파일 스토리지의 명가. 최근 대규모 환경에선 Ceph 등에 밀려 **점유율 정체.** | |
| | | 8 | **Longhorn** | 2019년 | Block, File | K8s 커스텀 리소스(CRD) \\ 기반 엔진 통합 관리 | **쿠버네티스 컨테이너 영구 볼륨** \\ (K8s 기반 DB 컨테이너의 고속 PVC 제공) | 오픈소스 \\ (Apache 2.0) | CNCF 프로젝트 중 하나로, **쿠버네티스 생태계 내에서 주가와 채택률 급상승 중.** | |
| | | 9 | **JuiceFS** | 2021년 | File (POSIX) | **외부 고속 DB 활용** \\ (Redis, TiKV, MySQL 등) | 클라우드 AI 파이프라인 데이터 공유 \\ (S3 오브젝트 스토리지 공간을 일반 리눅스 경로 마운트) | 오픈소스 \\ (AGPL v3) | 메타데이터와 데이터의 분리라는 혁신적 가성비로 **클라우드 엔지니어들 사이에서 유행.** | |
| | | 10 | **BeeGFS** | 2014년 | File (POSIX) | 분산 메타데이터 서버 \\ (스트라이핑 구조) | **중소형 연구소 AI GPU 클러스터** \\ (대학 병원 연구소의 유전자 분석 시퀀싱 처리) | 오픈소스 \\ (일부 유료) | Lustre 대비 압도적으로 쉬운 구축 덕분에 **학계 및 중소 GPU 클러스터로 점유율 확장.** | |
| | | 11 | **SeaweedFS** | 2015년 | File, Object | 중앙 마스터 서버 기반 \\ 볼륨 매핑 (Haystack 기반) | **수억 개의 자잘한 파일(Small Files) 처리** \\ (쇼핑몰 상품 섬네일 이미지, 메신저 첨부파일) | 오픈소스 \\ (Apache 2.0) | 작은 파일 저장 시 메타데이터 오버헤드가 없다는 특장점으로 **특화 IT 서비스 기업 위주로 채택.** | |
| | | 12 | **DAOS** | 2019년 | Object / POSIX 계층 | 영구 메모리(PMEM) 내 \\ 고속 인덱싱 비동기 처리 | 차세대 엑사스케일 고성능 연산 \\ (핵융합 시뮬레이션 등 극도의 초고속 I/O 연산) | 오픈소스 \\ (BSD 2-Clause) | 현재 점유율은 낮으나 커널을 건너뛰는 극강의 아키텍처로 **차세대 미래 기술로 크게 주목받음.** | |
| | |
| | |
| | ===== 공유 파일 시스템 솔루션 비교 ===== |
| | |
| | ^ 인기 순위 ^ 솔루션 이름 ^ 최초 출시 ^ 데이터 저장 형태 ^ 메타데이터 관리 방식 ^ 주요 워크로드 (실제 적용 예시) ^ 오픈소스 여부 ^ 시장 점유율 및 트렌드 (2026) ^ |
| | | 1 | **VMware VMFS** | 2002년 | Block \\ (가상 디스크 전용 구조) | 온디스크 분산 락킹 및 \\ SCSI 하드웨어 오프로드 (ATS/VAAI) | **엔터프라이즈 하이퍼바이저 데이터스토어** \\ (여러 ESXi 서버가 동일 SAN의 VM 가상 디스크 동시 제어) | 상용 \\ (Broadcom) | **기업용 가상화 스토리지 시장의 압도적 1위.** 온프레미스 가상화 인프라의 절대적 표준. | |
| | | 2 | **IBM Storage Scale** \\ (구 GPFS - SAN 모드) | 1998년 | File (POSIX) | 분산 토큰 매니저 기반 \\ 파일 및 블록 락 제어 | **고성능 대규모 연산 및 엔터프라이즈 AI 백엔드 SAN** \\ (여러 고성능 컴퓨트 노드가 초고속 광채널 SAN 공유) | 상용 \\ (IBM) | **고성능 공유 디스크 파일시스템 시장 독보적 1위.** 대형 금융·의료 및 금융권 코어 SAN 환경 장악. | |
| | | 3 | **Veritas Cluster File System** \\ (VxCFS / InfoScale) | 1998년 | File (POSIX) | 클러스터 볼륨 매니저(CVM) 및 \\ 분산 저널링/락킹 제어 | **금융·공공 미션 크리티컬 인프라 및 핵심 DB** \\ (주요 은행 코어 뱅킹 등 대규모 Unix/Linux 이기종 클러스터) | 상용 \\ (Veritas) | **전통적인 기업 미션 크리티컬 레거시 시장의 최강자.** 안정성이 생명인 금융권 코어 시스템 장기 집권. | |
| | | 4 | **StorNext** \\ (Quantum) | 1999년 | File (POSIX) | 전용 메타데이터 컨트롤러 \\ (MNC / Non-Data 컨트롤러) | **방송, 미디어 및 영상 포스트 프로덕션 고속 SAN** \\ (4K/8K 넌리니어 영상 편집기 수십 대가 대용량 스토리지 동시 마운트) | 상용 \\ (Quantum) | **방송 및 미디어·엔터테인먼트 산업 스토리지 부동의 1위.** 고해상도 비디오 순차 대역폭에 압도적 강점. | |
| | | 5 | **GFS2** | 2006년 | Block direct \\ (POSIX) | 외부 분산 락 매니저 \\ (**DLM**) 및 Pacemaker 연동 | **리눅스 Active-Active 고가용성(HA) 웹/앱 서버** \\ (레드햇 고가용성 클러스터 스택 상의 데이터 동시 R/W) | 오픈소스 \\ (GPL v2) | **레드햇(RHEL) 고가용성 인프라의 표준.** 오픈소스 공유 디스크 진영 내 가장 안정적인 지분 유지. | |
| | | 6 | **OCFS2** | 2005년 | Block direct \\ (POSIX) | 자체 내장 분산 락 매니저 및 \\ 클러스터 스택 (**o2cb**) | **Oracle RAC 데이터베이스 백엔드 스토리지** \\ (여러 오라클 DB 노드가 동일 데이터베이스 파일에 병렬 접근) | 오픈소스 \\ (GPL v2) | **오라클 데이터베이스 진영 및 SUSE 엔터프라이즈 환경**에서 확고한 틈새(Niche) 표준 점유율 차지. | |
| | |
| | ===== GlusterFS ===== |
| | * [[Gluster Storage and Virtualization Compatibility]] |
| | * [[GlusterFS는 무엇인가?]] |
| | * [[GlusterFS Quick Start]] |
| | * [[GlusterFS - Commands]] |
| | * [[Gluster With Heketi REST API]] |
| | |
| | ===== GFS2 ===== |
| | |
| | * [[GFS2 MetaData Unsync WithDraw 현상]] |
| | * [[GFS2 journal lock 발생 현상]] |
| | * [[GFS2 lock dump 방법]] |
| | * [[multipath error getting device 메세지 현상]] |
| | |
| | ===== Ceph ===== |
| | ''Ceph Network Architecture'' 구성은 아래와 같다. |
| | |
| | 1. Openstack 환경과 연동 구성된 네트워크 아키텍처 |
| | {{:storage:ceph:ceph-net-arch1.png?800|}} |
| | 하지만 일반적으로 Openstack cinder/glance 등과 연동시에는 ''Control node''의 ''Storage Network''를 통해 직접 연동되므로 위의 그림과는 네트워크 구성에 차이가 있다. |
| | |
| | 2. 일반적인 Ceph Storage 네트워크 아키텍처 |
| | {{:storage:ceph:ceph-net-arch2.png?800|}} |
| | |
| | ==== Ceph 일반 ==== |
| | * [[https://docs.ceph.com/en/latest/releases/index.html | 릴리즈 정보]] |
| | |
| | * [[Ceph]] |
| | * [[Ceph Codename - Version]] |
| | * [[Ceph Compatibility Matrix]] |
| | * [[Ceph RedHat - Community version]] |
| | * [[Ceph Quick Start]] |
| | * [[Ceph Storage PG reduce]] |
| | * [[Ceph : 페타바이트 규모의 Linux 분산 파일 시스템]] |
| | |
| | * [[https://access.redhat.com/support/policy/updates/ceph-storage|Redhat Ceph Storage Lifecycle]] |
| | |
| | * [[구축사례 - Ceph RBD with Samba HA (Pacemaker,LVM)]] |
| | * [[https://computingforgeeks.com/install-and-configure-ceph-storage-cluster-on-centos-linux/|Ceph Storage install in RHEL/CentOS]] |
| | |
| | * [[Ceph HEALTH_WARN with 'mons are allowing insecure global_id reclaim']] |
| | * [[PG auto-scaling]] |
| | * [[remove all objects from a pool]] |
| | * [[Pool delete]] |
| | * [[Ceph - MDS Reporting Slow requests]] |
| | * [[Ceph cluster shutdown process]] |
| | * [[Ceph openstack 볼륨 및 계정 설정]] |
| | |
| | |
| | ==== Ceph 1.3 (Hammer v0.94) ==== |
| | * [[Ceph 정지 / 기동 절차]] |
| | * [[Ceph Storage CRUSH map 확인]] |
| | * [[Ceph OSD 추가 / 제거 절차]] |
| | * [[Ceph Configuration]] |
| | * [[Ceph OSD Failed Disk 교체]] |
| | * [[Ceph rbd lvm volume 구성]] |
| | |
| | ==== Ceph 3 (Luminous v12.x) ==== |
| | * [[Ceph Journal disk 교체]] |
| | * [[Ceph OSD node 제거]] |
| | * [[CEPH pg,object repair 단계별 정리 – ceph status 메시지 설명]] |
| | * [[특정 pg down되어 peering으로 warning에 빠졌을 시 문제 해결]] |
| | |
| | ==== Ceph 4 (Nautilus 14.x) ==== |
| | |
| | * [[1 daemons have recently crashed]] |
| | * [[Ceph 4 failed disk 교체]] |
| | ==== Ceph 5 (Pacific 16.x) ==== |
| | |
| | |
| | ==== Ceph 관리 명령어 ==== |
| | * ''Kraken 11.0'' 이전 버전 |
| | <WRAP prewrap 50%> |
| | ^ 동작 | 명령어 | |
| | | 특정 데몬 중지 | | |
| | | 모든 OSD 데몬 중지 | | |
| | | 모든 데몬 중지 | | |
| | | 특정 데몬 시작 | | |
| | | 모든 OSD 데몬 시작 | | |
| | | 모든 데몬 중지 | | |
| | | 특정 데몬 재시작 | | |
| | | 특정 OSD 데몬 재시작 | /etc/init.d/ceph stop osd.28\\ /sbin/stop ceph-osd id=28 | |
| | | 모든 데몬 재시작 | | |
| | </WRAP> |
| | |
| | * ''Luminous 12.0'' 이후 버전 |
| | <WRAP prewrap 50%> |
| | ^ systemd 관리 명령어 || |
| | | 특정 데몬 중지 | systemctl stop ceph-[DAEMON_TYPE@$ID] | |
| | | 모든 OSD 데몬 중지 | systemctl stop ceph-osd.target | |
| | | 모든 데몬 중지 | systemctl stop ceph.target | |
| | | 특정 데몬 시작 | systemctl start ceph-[DAEMON_TYPE@$ID] | |
| | | 모든 OSD 데몬 시작 | systemctl start ceph-osd.target | |
| | | 모든 데몬 중지 | systemctl start ceph.target | |
| | | 특정 데몬 재시작 | systemctl restart ceph-[DAEMON_TYPE@$ID] | |
| | | 특정 OSD 데몬 재시작 | systemctl restart ceph-osd.target | |
| | | 모든 데몬 재시작 | systemctl restart ceph.target | |
| | </WRAP> |
| | |
| | ===== Lustre ===== |
| | https://www.lustre.org/ |
| | |
| | * 병렬 분산 스토리지 |
| | |
| | |
| | ===== 참조링크 ===== |
| | |
| |