See You Letter
음성으로 일상을 기록하면 AI가 감정을 분석해 편지를 만들고, NFT 형태의 디지털 타임캡슐로 선물할 수 있는 서비스
Overview
음성으로 일상을 기록하면 AI가 감정을 분석해 편지를 만들어주고, 이를 NFT 형태의 디지털 타임캡슐로 선물할 수 있는 서비스입니다. '만약 당신이 내일 죽는다면?'이라는 질문에서 시작되었으며, 감정과 기억을 디지털로 보존하고 원하는 시점에 소중한 사람에게 전달할 수 있는 방법을 제시합니다.
Key Features
- 갤럭시 워치 기반 음성 녹음 및 Whisper API STT 변환
- LLM 기반 감정/키워드 분석 및 맞춤형 질문 생성
- Claude 3.7 Sonnet 기반 감성 편지 자동 생성
- CosyVoice2 Zero-shot 음성 복제로 본인 목소리 편지 생성
- IPFS 분산 스토리지 + NFT 기반 디지털 타임캡슐
- Docker/Jenkins CI/CD 파이프라인 구축
Problem
'만약 당신이 내일 죽는다면?'이라는 질문에서 시작했습니다. 감정과 기억을 디지털로 보존하고, 원하는 시점에 소중한 사람에게 전달할 수 있는 방법이 필요했습니다.
Challenges & Solutions
Challenges
- 단일 LLM 모델 사용 시 높은 응답 지연 시간 (44초)
- GPU 학습 방식의 음성 복제는 30분~1시간 대기 시간 발생
- 개발/운영 환경 간 종속성 충돌 및 수동 배포로 인한 비효율
Solutions
- 기능별 LLM 모델 분리 - 질문/감정 분석은 GPT-4.1 Nano(빠른 응답), 편지 생성은 Claude 3.7 Sonnet(고품질)으로 분리하여 API 응답 시간 44초 → 15초 (66% 개선)
- Zero-Shot TTS(CozyVoice2) 도입 - 10초~30초 샘플만으로 자연스러운 음성 복제, 대기 시간 30분~1시간 → 15초로 단축
- Docker 컨테이너화 + Jenkins CI/CD 파이프라인 구축으로 배포 시간 15분 → 3분 (80% 단축)
Outcomes
- 1.
SSAFY 프로젝트 우수상(2등) 수상
- 2.
API 응답 속도 66% 개선 (44초 → 15초)
- 3.
음성 복제 대기 시간 99% 단축 (30분~1시간 → 15초)
- 4.
배포 자동화로 배포 시간 80% 단축 (15분 → 3분)
Approach & My Role
Docker/Jenkins CI/CD 파이프라인 구축 - GitLab Webhook 연동 자동 빌드, Gradle 빌드 및 JUnit 테스트, Docker Hub 이미지 푸시, SSH를 통한 AWS EC2 자동 배포의 5단계 파이프라인 구성
기능별 LLM 모델 분리 전략 - 질문/감정 분석에는 GPT-4.1 Nano(빠른 응답), 편지 생성에는 Claude 3.7 Sonnet(고품질)을 배치하여 성능과 품질 동시 확보
프롬프트 엔지니어링을 통한 편지 품질 향상 - LLM을 '전문 작가'로 역할 재정의, 2~3개 핵심 순간만 선택하도록 지침 추가, 감정 강도 스코어링(1~5) 도입
CosyVoice2 Zero-shot 음성 복제 - GPU 학습 방식 대신 10초~30초 샘플만으로 자연스러운 목소리 복제 구현
What I Learned
기능별 LLM 모델 분리 전략으로 성능과 품질의 균형 확보하는 방법
프롬프트 엔지니어링(역할 정의, 명시적 지침)으로 LLM 출력 품질 향상
CI/CD 파이프라인 구축을 통한 개발 생산성 극대화
추상적 가치(감정, 기억, 유산)를 기술로 구현하는 방법론