[aws-s3] s3 기초

🟡 학습목표

aws-s3 가 무엇인지, 왜 필요한지, aws-s3 를 이해하기 위한 기본적인 전제 지식은 무엇이 있는지

🔴 aws-s3 란?

Amazon Simple Storage Service 의 줄임말로 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스이다.
다양한 사용 사례에서 원하는 양의 데이터를 저장하고 보호할 수 있다.
그렇다면 객체 스토리지 서비스는 무엇인가?

- 객체 스토리지 : 객체라는 비정형 형식으로 데이터를 저장하고 관리하는 기술. 구조화 되지 않은 데이터를 저장하기 위한 데이터 스토리지 아키텍쳐(동작원리, 구성요소간의 관계, 시스템 외부 환경과의 관계등을 설명하는 설계도 || 청사진)

🟠 정형 data, 비정형 data

- 정형 데이터란?

보유하고 있는 정보에 대해 적절히 정의된 스키마가 있는 것. 구글 스프레드시트 또는 엑셀과 같은 프록램에서 표시할 수 있는 모든 데이터는 정형 데이터라고 봐도 무방하다.

ex : 백화점의 고객, 판매 및 재고 등의 데이터
각 고객의 ID와 이름, 연락처, 신용카드 정보, 주소 등의 필드

- 비정형 데이터란?

정형 데이터가 아닌 모든 데이터를 비정형 데이터로 분류 할 수 있다. 우리가 접하는 텍스트, 오디오, 이미지 또는 동영상 같은 형태의 데이터가 주를 이룬다.

🟣 aws-s3 의 기능

- Storage class : standard, standard-IA, One Zone-IA 등 여러 사용 사례에 맞춰 설계된 다양한 스토리지 클래스를 제공한다.

- Storage 관리 : 비용관리, 규정 요구사항 충족, 대기 시간 단축, 규정 준수 요구 등에 맞게 여러 개의 개별 데이터 복제본 저장을 수행할 수 있는 스토리지 관리 기능을 제공.

- Access 관리 : 버킷 및 객체에 대한 access 감사 및 관리 기능을 제공한다. 기본적으로 private 기에 생성한 s3 리소스에서만 액세스가 가능하지만. 특정 사용 사례를 지원하는 세분화된 리소스 권한을 부여하거나 S3 리소스의 권한을 감사하기 위해 여러 기능을 제공한다.

- Data 처리 : 데이터를 변환하고 workflow 를 트리거하여 다양한 다른 처리 작업을 대규모로 자동화하기 위한 기능들을 제공

workflow : 일련의 작업 단계와 규칙을 시스템화 한 것으로, 특정한 목표를 달성하기 위해 일련의 작업을 연속적으로 진행하는 과정
workflow 를 tirgger : 자동화된 작업 프로세스인 워크플로우를 시작하거나 실행한다는 의미, 일반적으로 특정 이벤트, 조건, 사용자의 요청에 의해 워크플로우를 시작하게끔 설정하는 것을 의미한다.

🔵 용어 설명

• 버킷 : S3에 저장된 객체에 대한 컨테이너. 저장할 수 있는 객체 수에는 제한이 없으며, 계정에 버킷을 최대 100개까지 포함할 수  있다.
• 객체 : s3에 저장되는 기본 개체이다. 객체 데이터와 meta 데이터로 구성된다.
  meta data : 객체를 설명하는 이름-값 페어의 집합 ( 마지막 수정날짜와 같은 몇 가지 기본 메타데이터 및 content-type 같은 표준 http 메타 데이터를 포함한다. )
  객체 data : 키 및 버전id를 통해 버킷 내에서 고유하게 식별되는 data이다.
• key : 버킷 내 객체에 대한 고유한 식별자. 버킷 내 모든 객체는 정확히 하나의 키를 갖는다.

결국 s3는 버킷 + 키 + 버전 과 객체 자체 사이의 기본 데이터 맵으로 생각할 수 있다.

🟢

🟤 Reference

https://www.purestorage.com/kr/knowledge/big-data/structured-vs-unstructured-data.html     =>   정형vs비정형 data
https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/Welcome.html     =>    aws-s3 공식문서