2024.10.01 OpenAI DevDay 2024 가 있었죠. 이번에는 개발자 컨퍼런스 답게 딱 개발자들이 관심을 가질 내용들이네요. 주로 API 업데이트였어요. 안될공학님이 이에 대해 빠르지만 필요한 내용들을 다 정리해주신 듯~! 1. Realtime API - 음성기반 별도로 text 로 바꾸고 음성으로 만드는 stt, tts 와 같은 처리 없이 한번에 처리할 수 있는 그것도 실시간으로! 이건 ChatGPT 앱에서나 가능한 일이고 API 로 지원하려면 꽤나 오래 걸리겠지... 싶었는데 바로 지원! - 실시간으로 처리되어야 하므로 WebSocket 으로 처리되어야 함. - 당연히 이건 연결상태가 유지되어야 하므로 Text Token 과금 + 시간단위 과금이 되며 꽤 비쌈! - 대표적인 적용 사례로 이미 OpenAI 스타트업 펀딩을 받은 영어 학습 스타트업 앱 '스픽'을 보여줌. 확실히 뉘앙스, 발음 등까지 이해가능한 이 API 는 영어 학습에 있어서 딱! 일듯. 2. Function calling: - 이제 특정 질문에 대해 내가 정의한 function (외부 API) call 가능해짐. 3. Vision fine-tuning - 이제 이미지로도 파인튜닝 제공 4. Prompt Caching - 프롬프트 중 자주 쓰는 부분 캐싱지원. 자원을 아끼게 되면서 가격도 싸짐 (최근 cluade에서 업데이트 된 기능과 유사. 클로드는 수동.) - 놀라운걸 이걸 자동으로 적용됨. 하지만 가격 인하 효과는 claude 보다는 약함. 50% 할인효과. 5. Model Distillation - 파인 튜닝 과정은 매우 번거롭고 실패할 때도 많은데, 게다가 최적화하면서 모델까지 경량화 하는건.. 🫠 그런데 이 과정이 매우 간소화 되고 편해졌어요. OpenAI 플레이그라운드에서 Stored Completion 으로 너무 편하게 InOut 데이터를 축적해서 모델 생성에 쓸 수 있구요. 이런건 실용적인 측면, 비용 최적화 측면에서 이번 발표의 성격을 아주 잘 보여주는 기능이지 않나 싶습니다. 그리고 이 과정에서 필요한 비용도 상당히! 저렴 (현재 할인 기간) 그나저나 이번 DevDay 는 확실히 개발자용 데브데이였다.