LLM 등 근래 딥러닝 발전에 핵심인 트랜스포머 를 개선한 Mamba 맘바 라는 모델 논문이 2023.12월에 제출되었는데 화제가 되고 있군요. 이 모델이 제안하는 Selective State Spaces (선택적 상태 공간) 모델 구조는 선택적인 접근 방식으로 시퀀스를 효율적으로 처리하면서도 다양한 컨텍스트를 아우르는 attention 매커니즘을 가지고 있습니다. 그래서 전체적인 프로세스는 트랜스포머보다 단순화시켰지만 트랜스포머와 유사한 (긴 컨텍스트에서는 더 나은) 효과를 낼 수 있다고 합니다. 게다가 GPU에 최적화된 병렬 알고리즘 적용이 가능해서 더 빠른 계산이 가능하다고 하네요! WOW! paper: https://arxiv.org/abs/2312.00752 repo: https://github.com/state-spaces/mamba?tab=readme-ov-file

Mamba: 시퀀스 모델링 재정의 및 트랜스포머 아키텍처 개선
효율적인 처리 및 고급 상태 공간 메커니즘으로 기존 모델을 능가하는 시퀀스 모델링에 대한 Mamba의 획기적인 접근 방식을 살펴보세요. Mamba와 함께 AI의 미래를 알아보세요.
엔비디아 젠슨황과 OpenAI 일리야 수츠케버가 이야기하는 AGI
OpenAI 일리야와 엔비디아 젠슨황이 인터뷰하는 영상. 어쩌면 우리 AI 시대에 가장 중요한 담론들을 이야기 합니다. 아마도 ML 연구를 했던 분들이라면 어렴풋이 알거나 느꼈던 것들을 클리어하게 정리할 수 있을 것이고 그 가능성이 어디까지 인지 꿈꿔볼 수 있게 합니다. 엄청나게 귀중한 영상!!!
머신러닝 스스로 스터디 하실븐에게 참고할 자료가 모인 방대한 깃 페이지 입니다. 공부하려다 보고 의욕이 꺾일지도. 너무 방대합니다. ㅋㅋ
GitHub - teddylee777/machine-learning: 머신러닝 입문자 혹은 스터디를 준비하시는 분들에게 도움이 되고자 만든 repository입니다. (This repository is intented for helping whom are interested in machine lea…
#EMNLP, #ACL 등 #NLP 학회, #CVPR, #ICCV, #ECCV 등 #Vision학회, #NeurlPS, ICML 등 각종 인공지능 연구 논문 리뷰, 공유하는 팟!

#인공지능 학회 논문 | Snippod
#인공지능 학회 논문 주제에 대한 정보, 스닙팟에 다 모여 있어요.
업계 내 대 충격 을 안겨주는 중인 ChatGPT.

Chat GPT와 인터뷰를 진행했습니다.
여러분 우리 긴장 좀 해야겠어요.