[AWS] AWS 스토리지 추가 기능

AWS Snow Family - 물리적 데이터 전송

100TB를 인터넷으로 전송:
- 100Mbps: 120일 소요
- 비용: 매우 높음

Snow 디바이스:
- 전체 과정: 1주일
- 비용: 훨씬 저렴

제품 비교

선택 가이드

< 10TB → Snowcone
10-80TB → Snowball Edge
> 80TB → Snowmobile

엣지 컴퓨팅 필요 → Snowball Edge Compute Optimized

Amazon FSx - 관리형 파일 시스템

1. FSx for Windows File Server

• SMB 프로토콜

• Active Directory 통합

• Windows ACL

# 생성
aws fsx create-file-system \
  --file-system-type WINDOWS \
  --storage-capacity 300 \
  --subnet-ids subnet-12345678

2. FSx for Lustre

• 초고성능 (수백 GB/s)

• S3와 자동 동기화

• Linux 전용

# S3 연동
aws fsx create-file-system \
  --file-system-type LUSTRE \
  --storage-capacity 1200 \
  --lustre-configuration '{
    "ImportPath": "s3://my-data-bucket/",
    "DeploymentType": "PERSISTENT_1"
  }'

FSx 선택

Windows 애플리케이션 → FSx for Windows
HPC/ML 학습 → FSx for Lustre
엔터프라이즈 NAS → FSx for NetApp ONTAP

Storage Gateway - 하이브리드 클라우드

1. File Gateway

온프레미스 앱 (NFS/SMB)
    ↓
[File Gateway]
    ├─ 로컬 캐시
    ↓
[S3] - 모든 데이터

2. Volume Gateway

• 전체 데이터 온프레미스

• S3에 비동기 백업

• 전체 데이터 S3

• 자주 쓰는 데이터만 로컬

3. Tape Gateway

# File Gateway 생성
aws storagegateway create-gateway \
  --gateway-name my-gateway \
  --gateway-type FILE_S3

DataSync - 자동 데이터 전송

주요 특징

• 최대 10 Gbps 속도

• 증분 전송 (변경분만)

• 메타데이터/권한 보존

• 스케줄링 가능

설정

# 1. Agent 배포 (온프레미스)
aws datasync create-agent \
  --activation-key ABCD-1234

# 2. 위치 생성
aws datasync create-location-nfs \
  --server-hostname 192.168.1.100 \
  --subdirectory /data

aws datasync create-location-s3 \
  --s3-bucket-arn arn:aws:s3:::my-bucket

# 3. 작업 생성 (매일 새벽 2시)
aws datasync create-task \
  --source-location-arn arn:...:location/src \
  --destination-location-arn arn:...:location/dest \
  --schedule 'cron(0 2 * * ? *)'

DataSync vs Storage Gateway

실전 시나리오

시나리오 1: 온프레미스 → AWS 마이그레이션

1. Snowball Edge × 3대 주문 (80TB씩)
2. 병렬 복사
3. 반송 → S3 업로드
4. DataSync로 증분 동기화
5. Cutover

비용: ~$1,000
시간: 2주

시나리오 2: 하이브리드 파일 공유

[온프레미스]
└─ File Gateway (로컬 캐시 10TB)
    ↓
[S3] (전체 100TB)
    ↓ Lifecycle
[Glacier] (1년 후)

월 비용: ~$2,400

시나리오 3: ML 학습

[S3] (1PB 데이터셋)
    ↓ DataSync
[FSx for Lustre] (100TB 캐시)
    ↓ 수백 GB/s
[EC2 GPU 클러스터]
    ↓
학습 시간: 10시간 → 1시간 (90% 단축)

서비스 선택 가이드

데이터 전송

< 10TB, 좋은 인터넷 → DataSync
10-100TB → Snowball
> 100TB → Snowmobile

파일 시스템

Windows 애플리케이션 → FSx for Windows
HPC/ML → FSx for Lustre
Linux 공유 파일 시스템 → EFS
하이브리드 액세스 → Storage Gateway

스토리지 타입

블록 스토리지 → EBS (EC2), Storage Gateway Volume
파일 스토리지 → EFS, FSx, Storage Gateway File
객체 스토리지 → S3

핵심 포인트

• 대용량 데이터는 물리적 전송이 빠르고 저렴

• Snowcone(14TB) → Snowball(80TB) → Snowmobile(100PB)

• Windows → FSx for Windows

• HPC/ML → FSx for Lustre (S3 연동)

• 하이브리드 클라우드의 핵심

• File Gateway (일상 접근) vs DataSync (마이그레이션)

• 자동화된 동기화

• 온프레미스 ↔ AWS, AWS ↔ AWS

비용 최적화 팁

1. 적절한 전송 방법 선택
• 100TB 인터넷 전송: $9,000
• DataSync: $1,250
• Snowball: $900

2. FSx 배포 타입
• Lustre Scratch: 저렴, 임시 처리
• Lustre Persistent: 비쌈, 장기 워크로드

3. Storage Gateway 캐시
• 캐시 히트율 80% 이상 유지
• 자주 쓰는 데이터만 로컬에

4. S3 Lifecycle 연동
• Storage Gateway → S3 → Glacier
• 자동 아카이빙으로 비용 절감