[GCP PDE]기본 개념 및 관련 서비스

PDE니 PCA니 하지만 .. 결국은

Google Cloud를 얼마나 잘 사용하냐를 확인하는 시험이다

따라서 GCP에서 제공하는 여러 서비스 variation들을 잘 파악해서 쓸  수 있는 것이 핵심이다

https://blog.naver.com/lbhhoya/222236749756

(GCP 자격증) Data Engineer - 기본 개념과 관련 서비스 정보

이분의 포스팅에 대한 부연설명으로 보면 좋다

 

전체 GCP 제품 목록

PDE가 알아야 하는 GCP 제품 목록

1. Data Ingest 데이터 수집용 제품

1-1. App Engine

1-2. Compute Engine

1-3. Kubernetes Engine

1-4. Cloud Pub/Sub

1-5. Stackdriver Logging

1-6. Cloud Transfer Service

 

2. Data Store 데이터 저장용 제품

2-1. Cloud Storage

2-2. Cloud SQL

2-3. Cloud Datastore

2-4. Cloud Bigtable

2-5. BigQuery

2-6. Cloud Spanner

 

3. Data Process & Analyze 데이터 처리 및 분석용 제품

3-1. Cloud Dataflow

3-2. Cloud Dataproc

3-3. BigQuery

3-4. Cloud ML

3-5. Cloudprep

3-6. Translate API

 

4. Explore & Visualize 시각화 처리 제품

4-1. Cloud Datalab

4-2. Google Data Studio

 

---

 

 

1-1. App Engine-

: Serverless application platform for apps and back ends.

서버리스란 ? 서버 설정 및 관리에 신경 쓸 필요없이 앱만 배포할 수 있도록 추상화 작업을 거친 서버

트래픽에 따른 오토스케일링 기능 지원

​

1-2. Compute Engine-

: Virtural machines running in google's data center

커스터마이즈 가능한 가장 기본형 구글 클라우드

​

1-3. Google Kubernetes Engine-

: Managed environment for running containerized apps.

Kubernetes를 자동으로 관리, 스케일링, 배포할 수 있음.

​

1-4. Cloud PUB/SUB-

: Messaging service for event ingestion and delivery

BigQuery, data lakes 등의 operational databases와 연동하여 메시지 스트리밍 가능

​

1-5. Google Cloud's operations suite (구 Stackdriver Logging)-

: Monitoring, logging, and application performance suite

애플리케이션 및 시스템을 위한 통합 모니터링, 로깅, 유지보수 관리 서비스

​

1-6. Storage Transfer Service-

: Tools and services for transferring your data to Google Cloud

on-premise 또는 타 클라우드로부터 안전하고 저렴하게 데이터 이전을 할 수 있는 서비스

​

2-1. Cloud Storage-

: Object storage that's secure, durable, and scalable

모든 규모의 기업이 이용 가능한 데이터 서버.

​

2-2. Cloud SQL-

: Relational database services for MySQL, PostgreSQL, and SQL server

관계형 데이터베이스의 완전 통합 관리형 서비스.

​

2-3. Firestore (구 Cloud Datastore)-

: Cloud-native document database for building rich mobile, web, and IoT apps

완전 통합 관리형, 스케일링, 서버리스 기능을 지원하는 document database 서비스

Cloud-native란? Cloud 이점을 최대한 활용할 수 있도록 특별히 설계된 애플리케이션 개발 접근 방식.

컨테이너, 마이크로서비스, 서버리스 기능 및 가변성 인프라, 선언적 배포방식 등이 이러한 접근방식에 포함된다.

document database란? NoSQL 하위 분류 중 하나. 자세한 설명은 여기

​

2-4. Cloud Bigtable-

: Cloud-native wide-column database for large-scale, low-latency workloads 

완전 통합 관리형, 스케일링 기능을 지원하는 NoSQL 데이터베이스 서비스.

대량의 분석 및 처리 작업에 적합하다.

​

2-5. BigQuery-

: Data warehouse for business agility and insights

서버리스, 고성능 스케일링, 비용절감 멀티클라우드형 data warehouse

​

2-6. Cloud Spanner-

: Cloud-native relational database with unlimited scale and 99.999% availability

통합 관리형 관계형 데이터베이스, 용량 무제한, 강건한 일관성, 가용성 99.999%

데이터 가용성이란? 데이터를 사용하고 싶을 때 적시에 정상적으로 접근 가능한 정도

데이터 일관성이란? 필드별 유효범위, 무결성 제약조건 등 제약조건을 위배하지 않고 유지하는 정도. ACID 특성 중 C

​

3-1. Cloud Dataflow-

: Streaming analytics for stream and batch processing

빠르고 저렴한 서버리스 통합형 스트림 및 배치 데이터 처리 서비스.

​

3-2. Cloud Dataproc-

: Service for running Apache Spark and Apache Hadoop clusters

통합 관리형이며 고성능 스케일링 기능을 지원하는 Apache Spark, Apache Flink, Presto 등등 30+ 오픈 소스 툴 및 프레임워크 서비스. Datalake modernization, ETL(Extract, Transform, Load : 데이터 통합과정), secure data science를 글로벌 스케일로 사용할 수 있음.

Datalake란? Data Warehouse 및 Database와 비교할 수 있음. Database는 트랜잭션 처리에 적합한 정적 스키마를 주로 지칭하며, Warehouse는 의사결정을 돕기 위하여 한번 정규화를 거친 정보의 통합 저장소를 말한다. 여러 경로로 수집된 다양한 형태의 Raw data가 ETL 과정을 거쳐 Warehouse에 적재됨. Datalake는 별도의 정규화를 거치지 않은 원시 데이터를 저장한 저장소이다. 따라서 자유롭게 가공이 가능하다. 

​

3-3. BigQuery-

: Data warehouse for business agility and insights

서버리스, 고성능 스케일링, 비용절감 멀티클라우드형 data warehouse

​

3-4. Vertex AI (구 Cloud ML)-

: Unified platform for training, hosting, and managing ML models.

각종 커스텀 도구 및 사전학습 모델로 ML 모델을 빠르게 빌드, 배포, 스케일링 할 수 있는 통합 플랫폼

 

3-5. Dataprep-

: Service to prepare data for analysis and machine learning

데이터 EDA, 전처리를 도와주는 서비스

​

3-6. Cloud Translate API-

: Language detection, translation, and glossary support

앱 내 컨텐츠의 다국어화를 빠르게 진행해주는 서비스

 

 

이외 Cloud Vision API, Speech API, Natural Language API, Video Intelligence API 등등

사전학습 모델 및 필요한 라이브러리 제공

​

4-1. Cloud Datalab-

: EDA, Visualize, Analyze, Transform data using Python, SQL interactively

인터랙티브 데이터 분석 도구

​

4-2. Google Data Studio-

: Interactive data suite for dashboarding, reporting, and analytics

인터랙티브 데이터 분석 도구