EMR과 Glue가 "대규모 데이터를 분산 처리하는 무거운 엔진"이라면, AWS Lambda는 정반대 철학의 도구다. 서버를 전혀 띄우지 않고, 이벤트가 발생한 순간 작은 코드 조각을 실행하고 사라진다. 데이터 엔지니어링에서 Lambda는 "거대한 변환"이 아니라 "이벤트에 즉각 반응하는 가볍고 짧은 변환"을 맡는다.
오늘의 핵심 질문은 단순하다 — 언제 Lambda가 적합하고, 언제 Lambda로는 안 되는가. Lambda를 잘못 선택하면 시간·메모리 한계에 부딪혀 작업이 중간에 실패한다. 그 경계선을 정확히 아는 것이 시험과 실무 모두의 관건이다.
Lambda는 세 가지 성질로 정의된다.
| 성질 | 의미 |
|---|---|
| 이벤트 기반(event-driven) | S3 PUT, Kinesis 레코드, SQS 메시지 등이 함수를 트리거 |
| 무상태(stateless) | 호출마다 독립 실행, 메모리에 상태를 영속할 수 없음 |
| 짧은 수명(short-lived) | 최대 15분 실행 후 강제 종료 |
데이터 파이프라인에서 Lambda가 빛나는 대표 패턴은 S3 이벤트 기반 변환이다. 새 파일이 S3에 떨어지면 즉시 Lambda가 트리거되어 그 파일을 변환·검증·라우팅한다.