제목: Towards brain-plausible general intelligence model: Perceiver 

발표자: 정진영 (경북대 인공지능학과 NeuroAI Lab)

날짜: 2023년 6월 29일 (목) 오후 4시  

초록: In this seminar, we will talk about attention mechanisms amidst the recent hype surrounding the field of artificial intelligence. Our focus will be on the Perceiver, a variant of the Transformer, developed by DeepMind. The Perceiver has exhibited remarkable general-purpose capabilities, being task- and modality-agnostic, while minimizing human architectural assumptions (inductive bias). Furthermore, we will introduce Sparceiver, our modification of the Perceiver that incorporates sparse latent activation, driven by the pursuit of brain plausibility. This modification has demonstrated faster convergence and higher performance in CIFAR-10 classification without pre-training or data augmentation schemes (Sparceiver = 74.3% vs. Perceiver = 64.6%). Additionally, we will discuss various strategies to further modify and enhance our proposed model to effectively address the challenges encountered when applying AI in real-world scenarios, such as Continual Learning or Out-of-Distribution tasks.
조회 수 :
1553
등록일 :
2023.06.29
15:25:16 (*.152.23.49)
엮인글 :
http://acnl.korea.ac.kr/xe/JournalClub/346401/eac/trackback
게시글 주소 :
http://acnl.korea.ac.kr/xe/346401
List of Articles
번호 제목 날짜
34 2024년 03월 뇌영상연구회 온라인 저널클럽 2024-03-27
33 2024년 02월 뇌영상연구회 온라인 저널클럽 2024-02-27
32 2024년 01월 뇌영상연구회 온라인 저널클럽 2024-01-26
31 2023년 11월 뇌영상연구회 온라인 저널클럽 2023-11-30
30 2023년 10월 뇌영상연구회 온라인 저널클럽 2023-10-19
29 2023년 9월 뇌영상연구회 온라인 저널클럽 2023-09-22
28 2023년 뇌영상연구회 온라인 저널클럽 2023-09-08
» 2023년 6월 뇌영상연구회 온라인 저널클럽 2023-06-29
26 2023년 5월 뇌영상연구회 온라인 저널클럽 2023-05-24
25 2023년 4월 뇌영상연구회 온라인 저널클럽 2023-04-26