AWS SAA-C03 Message 관련 패턴

                                    ┌─────────────────────────────────────────────────────────┐
│              Ingestion Application                       │
│         (메시지 수신 애플리케이션)                        │
└──────────────────────┬──────────────────────────────────┘
                       │
                       │ Publish (초당 100,000 메시지)
                       ▼
            ┌──────────────────────┐
            │   Amazon SNS Topic   │
            │   (메시지 발행)       │
            └──────────┬───────────┘
                       │
         ┏━━━━━━━━━━━━━┻━━━━━━━━━━━━━┓
         ┃      Fan-out Pattern       ┃
         ┃   (1 → 다수 배포)          ┃
         ┗━━━━━━━━━━━━━━━━━━━━━━━━━━━┛
                       │
    ┌──────────────────┼──────────────────┐
    │                  │                  │
    ▼                  ▼                  ▼
┌─────────┐      ┌─────────┐      ┌─────────┐
│SQS Queue│      │SQS Queue│ ... │SQS Queue│
│   #1    │      │   #2    │      │   #N    │
└────┬────┘      └────┬────┘      └────┬────┘
     │                │                │
     ▼                ▼                ▼
┌─────────┐      ┌─────────┐      ┌─────────┐
│Consumer │      │Consumer │      │Consumer │
│  App 1  │      │  App 2  │ ... │  App N  │
└─────────┘      └─────────┘      └─────────┘

                                    "메세지를 안정적으로 처리하기 위해서" → SQS를 Buffer 느낌으로 사용하면 된다.

                                    // Step 1: SNS 토픽 생성

aws sns create-topic --name message-ingestion-topic

// Step 2: SQS queue 생성(각 소비자용)
aws sqs create-queue --queue-name consumer-1
aws sqs create-queue --queue-name consumer-2
aws sqs create-queue --queue-name consumer-3

// Step 3: SNS 구독설정
aws sns subscribe \
    --topic-arn arn:aws:sns:region:account:message-ingestion-topic \
    --protocol sqs \
    --notification-endpoint arn:aws:sqs:region:account:consumer-1

aws sns subscribe \
    --topic-arn arn:aws:sns:region:account:message-ingestion-topic \
    --protocol sqs \
    --notification-endpoint arn:aws:sqs:region:account:consumer-2

aws sns subscribe \
    --topic-arn arn:aws:sns:region:account:message-ingestion-topic \
    --protocol sqs \
    --notification-endpoint arn:aws:sqs:region:account:consumer-3

// Step 4: SQS 정책 설정
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "sns.amazonaws.com"
      },
      "Action": "sqs:SendMessage",
      "Resource": "arn:aws:sqs:region:account:consumer-1-queue",
      "Condition": {
        "ArnEquals": {
          "aws:SourceArn": "arn:aws:sns:region:account:message-ingestion-topic"
        }
      }
    }
  ]
}

// Step 5: Ingestion Application Code (Producer)
import boto3
import json

sns_client = boto3.client('sns')
TOPIC_ARN = 'arn:aws:sns:region:account:message-ingestion-topic'

def publish_message(message_data):
    """메시지를 SNS에 발행"""
    response = sns_client.publish(
        TopicArn=TOPIC_ARN,
        Message=json.dumps(message_data),
        MessageAttributes={
            'timestamp': {
                'DataType': 'String',
                'StringValue': str(time.time())
            }
        }
    )
    return response['MessageId']

# 대량 메시지 발행
for i in range(100000):
    message = {
        'id': i,
        'data': 'message content',
        'timestamp': time.time()
    }
    publish_message(message)

// Step 6: Consumer Application
import boto3
import json

sqs_client = boto3.client('sqs')
QUEUE_URL = 'https://sqs.region.amazonaws.com/account/consumer-1-queue'

def process_messages():
    """SQS에서 메시지 수신 및 처리"""
    while True:
        response = sqs_client.receive_message(
            QueueUrl=QUEUE_URL,
            MaxNumberOfMessages=10,  # 배치 처리
            WaitTimeSeconds=20,  # Long polling
            MessageAttributeNames=['All']
        )

        if 'Messages' in response:
            for message in response['Messages']:
                try:
                    # SNS 메시지 파싱
                    sns_message = json.loads(message['Body'])
                    actual_message = json.loads(sns_message['Message'])

                    # 비즈니스 로직 처리
                    process_business_logic(actual_message)

                    # 처리 완료 후 삭제
                    sqs_client.delete_message(
                        QueueUrl=QUEUE_URL,
                        ReceiptHandle=message['ReceiptHandle']
                    )

                except Exception as e:
                    print(f"Error processing message: {e}")
                    # 실패 시 DLQ로 이동 (자동)

process_messages()