SAA 준비

AWS DataSync

AWS DataSync는 데이터를 자동으로 AWS 클라우드로 전송할 수 있는 관리형 서비스입니다. DataSync를 사용하면 대량의 파일과 객체를 온프레미스 스토리지 시스템에서 AWS 스토리지 서비스(Amazon S3, Amazon EFS, Amazon FSx)로 쉽게 전송할 수 있습니다. DataSync는 다음과 같은 기능을 제공합니다:

• 고속 데이터 전송: 네트워크를 최적화하여 빠른 데이터 전송 속도를 제공합니다.
• 자동화된 데이터 복제: 주기적인 데이터 전송 작업을 예약할 수 있어, 지속적인 데이터 동기화가 가능합니다.
• 파일 권한 및 속성 유지: NTFS 권한과 같은 파일 시스템 속성을 유지하면서 데이터를 전송할 수 있습니다.
• 간편한 설치 및 관리: 온프레미스에 DataSync 에이전트를 설치하고 AWS Management Console을 통해 쉽게 관리할 수 있습니다.

AWS Snowcone

AWS Snowcone은 데이터 전송을 위해 설계된 휴대용 엣지 컴퓨팅 및 스토리지 장치입니다. Snowcone은 작고 가벼운 장치로, 온프레미스에서 데이터를 수집하고 AWS로 안전하게 전송할 수 있습니다. Snowcone의 주요 특징은 다음과 같습니다:

• 소형 및 경량: 손쉽게 이동할 수 있도록 설계된 소형 장치입니다.
• 엣지 컴퓨팅 기능: 로컬에서 데이터를 처리하고 분석할 수 있는 컴퓨팅 파워를 제공합니다.
• 보안: 데이터를 암호화하여 전송할 수 있으며, AWS로 안전하게 데이터를 업로드할 수 있습니다.
• DataSync 통합: Snowcone에 AWS DataSync를 설치하여, 장치에 저장된 데이터를 AWS 스토리지 서비스로 쉽게 전송할 수 있습니다.

이 두 가지 솔루션을 사용하여 온프레미스 데이터의 AWS 클라우드로의 마이그레이션을 효율적으로 수행할 수 있습니다.

Origin Access Identity (OAI)

OAI는 Amazon CloudFront와 Amazon S3 간의 보안을 강화하는 데 사용되는 기능입니다. OAI는 CloudFront 배포에서만 S3 버킷에 접근할 수 있도록 설정할 수 있습니다. 이를 통해 S3 버킷을 공개하지 않고도 CloudFront를 통해 콘텐츠를 제공할 수 있습니다. OAI를 사용하면 다음과 같은 이점이 있습니다:

• 보안 강화: S3 버킷을 비공개로 유지하면서도 CloudFront를 통해서만 접근할 수 있게 하여 데이터 보호를 강화합니다.
• 권한 관리: S3 버킷 정책에서 OAI를 사용하여 CloudFront 배포만 해당 버킷에 접근할 수 있도록 권한을 설정할 수 있습니다.

Amazon Lightsail

Amazon Lightsail은 AWS에서 제공하는 간편한 가상 서버(인스턴스) 호스팅 서비스입니다. Lightsail은 사용자에게 웹사이트, 웹 애플리케이션 및 기타 소규모 프로젝트를 쉽게 배포하고 관리할 수 있는 저렴한 비용의 솔루션을 제공합니다. 주요 특징은 다음과 같습니다:

• 간편한 시작: 몇 번의 클릭만으로 가상 서버를 시작할 수 있으며, 사전 구성된 애플리케이션 스택을 사용할 수 있습니다.
• 고정 요금제: 월별 고정요금제를 제공하여 비용 예측이 용이합니다.
• 통합된 서비스: 인스턴스 외에도 데이터베이스, 스토리지, 네트워킹 등을 통합하여 제공하며, SFTP, SSH를 통해 쉽게 접근할 수 있습니다.

요약

• OAI는 CloudFront와 S3 버킷 간의 보안을 강화하여, S3 버킷을 비공개로 유지하면서도 CloudFront를 통해 콘텐츠를 제공할 수 있도록 합니다.
• Amazon Lightsail은 웹사이트 및 애플리케이션 호스팅을 위한 간편하고 저렴한 가상 서버 솔루션을 제공합니다.

 

AWS Schema Conversion Tool (SCT)

**AWS Schema Conversion Tool (SCT)**는 이기종 데이터베이스 간의 스키마와 코드(예: 저장 프로시저, 트리거, 함수)를 자동으로 변환하는 도구입니다. SCT는 Oracle, Microsoft SQL Server, MySQL, MariaDB, PostgreSQL, SAP ASE, Db2 LUW 등 다양한 데이터베이스 소스에서 Amazon Aurora, Amazon RDS, Amazon Redshift와 같은 AWS 데이터베이스 서비스로 변환할 수 있습니다.

주요 기능:

• 스키마 변환: 소스 데이터베이스의 스키마를 대상 데이터베이스의 호환 가능한 형식으로 변환합니다.
• 코드 변환: 저장 프로시저, 트리거, 뷰 및 사용자 정의 함수와 같은 데이터베이스 객체의 코드를 변환합니다.
• 평가 보고서: 데이터베이스 변환 가능성을 평가하고, 변환이 어려운 객체를 식별하는 평가 보고서를 생성합니다.
• 데이터 웨어하우스 지원: 데이터 웨어하우스 스키마도 변환할 수 있습니다.

AWS Database Migration Service (DMS)

**AWS Database Migration Service (DMS)**는 데이터베이스를 AWS 클라우드로 쉽게 마이그레이션할 수 있도록 도와주는 관리형 서비스입니다. DMS는 소스 데이터베이스에서 대상 데이터베이스로 데이터를 효율적으로 복제합니다.

주요 기능:

• 전체 로드: 초기 데이터를 대상으로 전체 복제합니다.
• 변경 데이터 캡처 (CDC): 초기 로드 후 소스 데이터베이스에서 발생하는 변경 사항을 캡처하여 대상 데이터베이스로 전송합니다. 이는 실시간 데이터 동기화를 유지하는 데 유용합니다.
• 이기종 데이터베이스 지원: 서로 다른 유형의 데이터베이스(예: Oracle에서 Aurora PostgreSQL로)를 마이그레이션할 수 있습니다.
• 자동 복구: 네트워크 문제나 기타 장애가 발생해도 자동으로 복구하여 데이터 마이그레이션을 계속 진행합니다.
• 관리형 서비스: AWS에서 완전히 관리하므로 유지보수와 관리가 간편합니다.

DMS 사용 과정:

1. 준비: 소스와 대상 데이터베이스 연결 설정.
2. 스키마 변환: SCT를 사용하여 스키마와 데이터베이스 객체를 변환.
3. 마이그레이션 작업 설정: DMS에서 전체 로드와 CDC를 사용하여 데이터 마이그레이션 작업을 생성.
4. 모니터링 및 관리: AWS Management Console에서 마이그레이션 작업 모니터링 및 관리.

결론

SCT와 DMS의 조합은 데이터베이스 마이그레이션 프로젝트를 원활하게 진행할 수 있도록 도와줍니다. SCT는 스키마와 코드 변환을 처리하고, DMS는 데이터를 실제로 마이그레이션하고 데이터 동기화를 유지합니다. 이 조합은 이기종 데이터베이스 간의 마이그레이션을 단순화하고, 데이터 무결성을 유지하며, 고성능의 데이터 전송을 보장합니다.

Amazon CloudWatch

Amazon CloudWatch는 AWS의 모니터링 및 관리 서비스입니다. CloudWatch를 사용하면 애플리케이션, 인프라 및 서비스에서 메트릭스와 로그를 수집하고 추적할 수 있습니다.

주요 기능:

• 모니터링 및 로그 수집: 애플리케이션 및 AWS 리소스의 로그 및 성능 메트릭스를 수집합니다.
• 알람 설정: 특정 조건이 충족되면 알람을 생성하여 자동으로 대응 조치를 취할 수 있습니다.
• 지표 대시보드: 실시간 대시보드를 통해 메트릭스와 로그를 시각화할 수 있습니다.
• 이벤트 대응: 특정 이벤트가 발생할 때 자동으로 대응 조치를 취하도록 설정할 수 있습니다.
• 로그 분석: CloudWatch Logs Insights를 사용하여 로그 데이터를 분석하고 쿼리할 수 있습니다.

사용 사례:

• AWS 인프라 및 애플리케이션의 상태 모니터링
• 시스템 및 애플리케이션 로그 수집 및 분석
• 실시간 알람 및 이벤트 대응 설정

Amazon OpenSearch Service (Amazon Elasticsearch Service)

Amazon OpenSearch Service는 Elasticsearch의 관리형 서비스로, 실시간으로 로그 및 데이터 분석, 검색 및 시각화를 위한 서비스입니다.

주요 기능:

• 실시간 로그 분석: 로그 데이터에 대해 실시간으로 검색하고 분석할 수 있습니다.
• 데이터 인덱싱: 다양한 데이터 소스를 인덱싱하여 빠른 검색이 가능합니다.
• 쿼리 및 검색: 복잡한 쿼리를 통해 데이터를 검색하고 필터링할 수 있습니다.
• 시각화 도구: Kibana를 사용하여 데이터를 시각화하고 대시보드를 생성할 수 있습니다.
• 보안 및 확장성: 데이터 보안, 인증 및 확장성을 지원합니다.

사용 사례:

• 애플리케이션 로그 분석 및 모니터링
• 풀 텍스트 검색 애플리케이션
• 데이터 시각화 및 대시보드 생성
• 실시간 애널리틱스

데이터 레이크(Data Lake)는 다양한 원천에서 수집된 대규모의 원시 데이터를 중앙 저장소에 모아서 저장하는 시스템입니다. 데이터 레이크는 정형, 비정형, 반정형 데이터를 모두 저장할 수 있으며, 데이터를 나중에 분석하거나 처리할 수 있도록 원본 형태로 유지하는 특징이 있습니다. 다음은 데이터 레이크의 주요 개념과 특징에 대한 설명입니다.

데이터 레이크의 주요 특징

데이터 레이크의 주요 특징

1. 다양한 데이터 저장:
2. 확장성:
3. 원시 데이터 저장:
4. 유연한 데이터 액세스:
5. 비용 효율성:

정형 데이터: 데이터베이스, 스프레드시트와 같은 표 형식의 데이터.

비정형 데이터: 이미지, 동영상, 오디오 파일, 텍스트 파일과 같은 구조화되지 않은 데이터.

반정형 데이터: JSON, XML, 로그 파일 등 일부 구조를 가진 데이터.

데이터 레이크는 대규모 데이터를 저장할 수 있도록 설계되었습니다. 따라서 데이터 양이 증가해도 쉽게 확장할 수 있습니다.

데이터 레이크는 데이터를 변환하거나 처리하지 않고 원본 상태 그대로 저장합니다. 이렇게 함으로써 다양한 분석 요구에 맞춰 데이터를 재사용할 수 있습니다.

다양한 도구와 애플리케이션을 사용하여 데이터 레이크의 데이터를 분석할 수 있습니다. 예를 들어, 빅데이터 분석, 머신러닝, 실시간 분석 등에 사용할 수 있습니다.

데이터 레이크는 상대적으로 저렴한 스토리지 옵션을 사용하여 대량의 데이터를 저장할 수 있습니다. 일반적으로 클라우드 기반 스토리지를 사용합니다.

기업 내 다양한 시스템 및 애플리케이션에서 생성된 데이터가 데이터 레이크로 유입됩니다. 예: 데이터베이스, IoT 디바이스, 소셜 미디어, 애플리케이션 로그 등.

데이터 레이크는 데이터를 저장할 대규모 스토리지 시스템을 필요로 합니다. 클라우드 기반 스토리지(예: Amazon S3)가 주로 사용됩니다.

데이터 레이크 내의 데이터를 쉽게 찾고 액세스할 수 있도록 메타데이터를 관리하는 시스템입니다. AWS Glue와 같은 도구가 이를 지원합니다.

데이터를 처리하고 분석할 수 있는 도구 및 프레임워크가 필요합니다. 예: AWS Glue, Amazon Athena, Apache Spark, Hadoop 등.

데이터에 대한 접근 제어, 암호화, 감사 로그 등을 통해 데이터 보안을 유지합니다.

 

1. 다양한 데이터 저장: 
2. 확장성:
3. 원시 데이터 저장:
4. 유연한 데이터 액세스:
5. 비용 효율성:

정형 데이터: 데이터베이스, 스프레드시트와 같은 표 형식의 데이터.

비정형 데이터: 이미지, 동영상, 오디오 파일, 텍스트 파일과 같은 구조화되지 않은 데이터.

반정형 데이터: JSON, XML, 로그 파일 등 일부 구조를 가진 데이터.

데이터 레이크의 구성 요소

1. 데이터 소스:
2. 스토리지:
3. 데이터 카탈로그:
4. 데이터 처리 및 분석:
5. 데이터 보안 및 관리: