[AI] LLM 서버는 Lambda 또는 EC2 중 어디에 배포해야 하는것이 적절한가?

[eraser502]

현재 우리 서비스에서 LLM 서버가 처리할 일은 다음과 같아요.

홈페이지 구조 분석 -> DB상의 디자인 시스템 조회 -> 분석 결과 구조에 맞게 디자인 시스템 조합 -> JSON 형태로 결과 반환

이 기능은 사용자에게 초기 예시 페이지를 보여주기 위한 일회성 동작이라는 특징이 있어, Lambda로 배포하면 자원을 더 효율적으로 쓸 수 있지 않을까? 하는 의견이 나올 수 있어요.

하지만 저는 초기 MVP 단계에서는 EC2에 Docker 이미지로 배포하는 것이 더 적절하다고 생각해요.

초기 MVP 단계에서 EC2 배포가 더 적절하다고 생각하는 이유

1. 초기 개발과 디버깅 효율성

• Lambda는 요청마다 cold start가 발생하고, 로컬 테스트도 번거롭다고 생각해요.
• EC2에 배포한다면 상시 실행 상태에서 로컬환경 처럼 디버깅 및 테스트가 가능해요.
• MVP 단계에서는 요구사항 변경에 따른 빠른 수정과 테스트가 중요한 부분이라고 생각해요.

2. DB 접근과 커넥션 풀 문제

• Lambda는 함수가 동시에 여러 인스턴스가 실행될 수 있어서, 잠재적인 문제로 DB 커넥션이 급증할 수 있다고 생각해요.
• 현재 LLM 서버도 메인 서비스와 같은 RDS를 사용할 예정이므로, DB 커넥션 풀 관련 문제가 발생할 가능성이 있어요.

---

Lambda는 트래픽이 낮고 호출 빈도가 적을 때는 비용 효율성과 유연성 면에서 장점이 있는 것은 맞다고 생각해요.
하지만 초기 MVP 단계에서는 빠른 반복 개발과 안정적인 DB 접근, 개발 편의성을 위해 EC2에 배포하는 것이 더 적절하다고 생각해요.

향후 서비스 기능이 확정되고 어느정도 구현이 완료 되었을때 Lambda로 전환하는 것을 고려하는 것도 좋을 것 같아요.

한번 확인해보시고 의견 부탁드려요!

---

추가 의견
LLM 서버 읽기 전용으로 디자인 시스템 DB를 분리하거나, 디자인 시스템 파일을 다른 방식으로 관리한다면 DB 관련 문제가 어느정도 해소 될 수 있을 것 같은데 해당 부분도 같이 논의해봐도 좋을 것 같아요.

[ryxxn]

@eraser502 구체적인 의견 감사합니다!

오히려 저는 반대로 MVP에서 Lambda로 배포하는 것을 생각했어요.
말씀 주신대로 LLM 서버는 1회성이기 때문에 오직 Tool 정도로 생각하고 있었어요.
LLM Server에서는 상태를 가지고 있을 필요가 없고, 자주 호출되는 서버가 아니기 때문에 Lambda와 같은 서버리스 함수를 생각했어요.

그런데 도훈님 의견대로 MVP에서는 Spring API Server와 같이 EC2에서 도커 이미지로 말아서 올리는 방법도 괜찮을 것 같아요.

말씀 주신 방법은 위와 같은 형태일 것 같아요. 물론 이 방법도 가능하지만 다음과 같은 구조는 어떨까요?

---

DB 접근은 Spring API Server에서만 하되, LLM Server에서는 Input/Output만 하도록 역할을 분리는 것을 생각했어요.

또한 위 구조라면 Lambda로 배포한다고 해도 DB connection pool 문제가 발생하지 않게 돼요.
Lambda나 EC2나 배포 방법의 차이이기 때문에 로컬 테스트같은 경우는 똑같다고 생각하는데, 말씀하신 부분을 제가 정확히 이해하지 못한 것일 수도 있어 설명 한 번 부탁드려요 😂

---

그래서 우선은 나중에 확장이 용이한 구조를 고려해서 EC2에 도커 이미지로 배포해도 괜찮을 것 같습니다!