한눈에 보기
- 무엇: 음성 합성(TTS) 회사 Fish Audio가 감정 연기를 지시할 수 있는 새 모델 ‘Drama 3’를 10월 13일 내놨어요.
- 특징: 대본 앞에 [울먹이며]처럼 연기 지시를 쓰면 그대로 연기해요. 83개 언어를 말하고, 한 대본에 최대 16명의 화자를 넣을 수 있어요.
- 가격: API는 100만 글자당 정가 50달러인데, 11월 12일까지 80% 할인한 10달러예요.
- 공개 방식: 오픈 소스가 아니라 ‘오픈 웨이트’예요. 연 매출 50만 달러 미만이면 상업적으로도 무료로 쓸 수 있어요.
결론부터 말하면, 쇼츠 내레이션이나 오디오북을 AI 목소리로 만드는 사람에게 ‘연기 지시’라는 새 도구가 생겼어요. Fish Audio는 Drama 3가 회사가 만든 모델 중 가장 감정이 풍부하다고 설명해요. 모델 가중치(학습으로 얻은 값)를 공개해서 직접 서버에 올려 쓸 수도 있어요. 다만 한국어 품질은 직접 들어 보고 판단해야 해요.
‘연기 지시’는 어떻게 하나요?
대본 앞에 대괄호로 어떻게 읽을지 적으면 돼요. 예를 들어 “[울먹이며] 괜찮아, 나 진짜 괜찮아.”처럼 써요. 문장 중간에 새 지시를 넣으면 그 지점부터 연기가 바뀌어요. [떨리는 숨] 같은 소리도 적은 자리에서 나와요. 몇 단어만 바꾸고 싶다면 <whisper>…</whisper> 같은 짝 태그로 감싸면 돼요.
지시는 대본과 다른 언어로 써도 된다고 회사는 밝혔어요. 한 대본에 화자 태그를 붙이면 최대 16명의 인물을 한 번에 연기시킬 수 있어요. 오디오 드라마처럼 여러 인물이 나오는 장면에 쓸 만해요.
이전 모델 S2.1 Pro와 비교하면요?
| 항목 | Drama 3 | S2.1 Pro |
|---|---|---|
| 어려운 단어 발음 정확도(Artificial Analysis 발음 견고성) | 93.2% | 88.1% |
| H200 GPU 1장 단일 스트림 속도 | 초당 271프레임 | 초당 177프레임(S2 기준) |
| API 모델 헤더 | drama-3 |
s2.1-pro |
| 크리에이터 크레딧 | 같은 크레딧을 써요 | |
발음 정확도는 Fish Audio가 블로그에서 인용한 Artificial Analysis 수치예요. 영어 문장 속 숫자·코드·브랜드명 같은 어려운 단어를 사람이 듣고 채점한 결과라고 해요. 속도는 회사 기술 보고서의 수치예요. Drama 3는 S2보다 매개변수가 7배 넘게 많은데도 더 빠르다고 회사는 설명해요.
기술 보고서는 회사가 직접 돌린 다국어 시험에서 Drama 3의 오류율이 ElevenLabs v4보다 중국어·영어·독일어 등 9개 언어에서 낮았다고 적었어요. 이것도 Fish Audio가 직접 측정한 값이에요.
안에는 어떤 모델이 들어 있나요?
Drama 3는 350억(35B) 매개변수 규모의 전문가 혼합(MoE) 모델이에요. 여러 ‘전문가’ 중 일부만 골라 쓰는 구조라, 한 번에 실제로 쓰는 건 약 30억(3B) 개예요. 알리바바의 Qwen3.5-35B-A3B 언어 모델을 바탕으로 만들었어요.
API는 어떻게 쓰나요?
기존 S2.1 Pro와 같은 POST https://api.fish.audio/v1/tts 주소를 쓰고, model 헤더만 drama-3로 바꾸면 돼요. 공식 문서에 따르면 헤더가 빠지거나 철자가 틀리면 오류 없이 s2.1-pro로 처리돼요. 그래서 바꾼 뒤 실제로 Drama 3가 쓰였는지 꼭 확인하는 게 좋아요.
가격은 100만 글자당 정가 50달러예요. 10월 13일부터 11월 12일까지는 80% 할인한 10달러예요. 대화형 편집과 오디오 인페인팅(일부 구간만 다시 만드는 기능)은 아직 소수 초대 테스트 단계예요.
직접 서버에 올려 쓸 수 있나요?
네. 가중치가 Hugging Face(fishaudio/drama-3)에, 코드가 GitHub(fish-speech)에 공개돼 있어요. 회사는 모델을 돌리는 엔진(추론 엔진)으로 SGLang-Omni를 강력히 권하고 있어요. 공개된 성능 수치는 모두 NVIDIA H200 GPU에서 잰 값이에요. 다른 GPU에서의 성능이나 필요한 메모리는 이번 발표에서 확인되지 않았어요.
라이선스는 어떻게 되나요?
- Fish Audio Community License v1.0을 따라요.
- 연구·비상업적 용도는 무료예요.
- 본인과 계열사의 연 매출이 50만 달러 미만이면 상업적 용도도 무료예요.
- 그 이상이거나, Drama 3를 남에게 TTS·음성 복제·API 서비스로 제공하려면 Fish Audio와 별도 라이선스를 맺어야 해요. 고객에게 완성된 오디오를 만들어 주는 건 괜찮다고 해요.
- 실제 사람의 목소리를 동의 없이 복제하는 건 금지돼 있어요.
대단한 점과 아쉬운 점
| 대단한 점 | 아쉬운 점·우려 |
|---|---|
| 말로 연기를 지시하고, 몇 단어만 따로 바꿀 수 있어요. | 회사도 결과가 매번 달라 여러 번 만들어 고르라고 안내해요. |
| 가중치를 공개해 직접 서버에 올려 쓸 수 있어요. | 공개 수치는 H200 기준이라 일반 GPU에서 어떨지 몰라요. |
| 소규모 사업자는 상업적으로도 무료예요. | 오픈 소스가 아니라서 서비스형 제공에는 별도 라이선스가 필요해요. |
| 한 대본에 최대 16명 화자를 넣을 수 있어요. | 목소리 복제 악용 우려가 있어 동의 원칙을 지켜야 해요. |
확장성: 어디에 쓸 수 있나요?
- 쇼츠·영상: 장면마다 감정이 다른 내레이션을 지시 한 줄로 바꿀 수 있어요.
- 오디오북: 긴 원고에서 틀린 부분만 지시를 바꿔 다시 만들 수 있어요.
- 오디오 드라마: 여러 인물의 대사를 한 대본에서 함께 만들 수 있어요.
- 게임·애니메이션: 캐릭터 대사를 감정별로 빠르게 시안을 만들어 볼 수 있어요.
아직 모르는 것
- 한국어 연기와 발음 품질에 대한 독립 평가는 없어요.
- H200이 아닌 GPU에서 얼마나 빠르고, 메모리가 얼마나 필요한지 나오지 않았어요.
- 편집·인페인팅 기능의 정식 출시 시기는 ‘곧’이라고만 했어요.
자주 묻는 질문
오픈 소스인가요?
아니에요. 회사 스스로 ‘오픈 소스가 아니라 오픈 웨이트’라고 밝혔어요. 가중치는 공개됐지만 사용 조건이 붙은 자체 라이선스를 따라요.
유명인 목소리를 흉내 내도 되나요?
안 돼요. 라이선스가 실제 사람의 목소리를 동의 없이 복제하는 걸 금지해요.
출처
- Fish Audio 블로그 — Fish Audio Drama 3: The Most Emotive Text-to-Speech Model We’ve Built(2026-10-13)
- Fish Audio — Drama 3 Technical Report(PDF)
- Fish Audio 문서 — Drama 3
- Hugging Face — fishaudio/drama-3
- GitHub — fishaudio/fish-speech
대표 이미지: AIMAG가 AI로 생성
구글 검색에서 AIMAG 소식을 먼저 보려면
AI 보조 초안 · 편집부 검수