MS에서 제공한 프롬프트 압축을 통한 LLM 추론 성능 강화 연구 논문 및 오픈소스 입니다. RAG 도입에서 특히 효과적인듯도. 이미 대표적인 RAG frameworkdls LlamaIndex 파이프라인에 포함되었다고 합니다. 기본적으로 이 방식을 통해 불필요한 token 을 없애면서 프롬프트를 20배 정도 압축할 수 있다고. llamaindex blog 로도 해당 내용 공유되어 있네요. https://blog.llamaindex.ai/longllmlingua-bye-bye-to-middle-loss-and-save-on-your-rag-costs-via-prompt-compression-54b559b9ddf7더보기 줄이기