인간이나 기계가 작업을 더 잘하는 방법을 배울 때마다 증거의 흔적이 남아 있습니다. 뇌의 세포 또는 알고리즘의 수치 값에 대한 물리적 변화의 순서는 개선 된 성능에 기초합니다. 그러나 시스템이 어떤 변화가 무엇을 만들 었는지 정확히 파악하는 방법은 작은 위업이 아닙니다. 이를 신용 할당 문제라고하며 뇌 또는 인공 지능 시스템이 파이프 라인의 어떤 부분이 오류를 담당 한 다음 필요한 변경을 수행해야합니다. 더 간단히 말하십시오 :누가 잘못을 당하는지를 찾는 것은 비난 게임입니다.
AI 엔지니어들은 1986 년 Geoffrey Hinton, David Rumelhart 및 Ronald Williams의 작업으로 대중화 된 Backpropagation이라는 강력한 알고리즘으로 기계의 신용 할당 문제를 해결했습니다. 이제 입력과 출력 계층 사이에 숨겨진 인공“뉴런”이 숨겨진 깊은 신경 네트워크로 알려진 가장 성공적인 AI 시스템에서 학습을 힘을 실어주는 것은 이제 주야공입니다. 그리고 지금, 자연 신경 과학 에 출판 된 논문에서 5 월에 과학자들은 마침내 실시간으로 작동 할 수있는 살아있는 뇌와 동등한 것을 발견했을 것입니다.
오타와 대학교의 리차드 나우드 (Richard Naud)와 맥길 대학교 (McGill University)의 블레이크 리차드 (Blake Richards)와 퀘벡 (Mila AI Institute)이 이끄는 연구원 팀은 뇌 학습 알고리즘의 새로운 모델을 공개했다. 실험 신경 과학자가 주목을 받았으며 이제는 뇌가 실제로 그것을하고 있는지 여부를 알아 내기 위해 실제 뉴런을 연구하는 데 관심이있는 것이 사실적입니다.
베를린 훔볼트 대학교 (Humboldt University of Berlin)의 실험 신경 과학자 인 Matthew Larkum은“보다 이론적 인 측면에서 나오는 아이디어는 자극적 인 실험을 수행 할 수있는 자극을 유발할 수 있으며,이 논문은이 논문을 통해이를 통해 이어집니다. "생물학적으로 그럴듯하며 큰 영향을 줄 수 있습니다."
그러나 두 프로세스는 정확히 동일하지 않습니다. 깊은 신경 네트워크가 이미지를 인식하도록 훈련되면,“학습”이 발생할 때 두 단계로 전달 된 전파와 역전을 수행합니다. 첫 번째 단계에서 입력 계층의 뉴런은 이미지의 기능을 인코딩하고 전달합니다. 그런 다음 숨겨진 층의 뉴런은 계산을 수행하고 결과를 출력 레이어로 보냅니다. 이는 "Cat"과 같은 이미지의 예측을 뱉어냅니다. 그러나 이미지가 실제로 개 였다면, 뉴런을 연결하는 가중치를 조정하여 역전 알고리즘이 들어 와서 잘못된 것을 고치는 것이옵니다.
.이러한 변화는 모든 뉴런이 상단의 뉴런부터 출력 층에 가까운 뉴런부터 시작한 다음 각 층을 통해 뒤로 이동하는 방법을 계산하는 데 기초합니다. 역설 알고리즘이 주어진 뉴런의 활동을 증가 시키면 출력 예측이 향상 될 것으로 추정하면 뉴런의 가중치가 증가합니다. 목표는 출력 예측이 더 자주 올바르게 될 때까지 신경망의 모든 연결을 적절한 방향으로 조금만 변경하는 것입니다.
수십 년 동안 연구원들은 뇌가 어떻게 학점 할당 문제를 해결하기 위해 역전과 같은 일을 수행 할 수 있는지 알아 내려고 노력했습니다. 역전 자체는 생물학적으로 그럴듯하지 않습니다. 왜냐하면 실제 뉴런은 외부 세계 처리를 중단하고 역전이 시작될 때까지 기다릴 수 없기 때문에 생물학적으로 그럴듯하지 않습니다. 우리는 시력이나 청각에 랩이 끝나게 될 것입니다.
.Naud와 Richards의 새로운 모델은 뉴런이 서로 의사 소통하는 방식에 대한 표준 이해의 간단한 변화로 이것을 얻었습니다. 우리는 뉴런이 다른 뉴런에 전기 활동을 보내거나 다른 뉴런으로 보내지 않는 두 가지 출력 만 할 수있는 비트 역할을한다는 것을 오랫동안 알고 있습니다. 그러나 뉴런이 스파이크의 "버스트"를 빠르게 연속적으로 보낼 수 있다는 것도 사실입니다. 그리고 그렇게하는 것은 뉴런 사이의 연결을 바꾸어 신용 할당 문제를 해결하기위한 자연스러운 후보가됩니다. 새로운 모델에서, 팀은 뉴런이 세 번째 출력 신호를 터뜨리는 것을 고려했으며, 1s의 스트림이 너무 가까워서 효과적으로 2가됩니다. 2는 외부 세계에 대해 아무것도 인코딩하는 대신,“교육 신호”역할을하여 다른 뉴런을 회로의 상단에 발생한 오류에 따라 서로 연결을 강화하거나 약화 시킬지
입니다.그러나이 교육 신호는 감각 처리에서 "일시 정지"를 치지 않고 신용 할당 문제를 해결하기 위해서는 다른 주요 부분이 필요했습니다. Naud와 Richards의 팀은 뉴런이 신경 코드를 완전히 다른 방식으로 처리하는 상단과 하단에 별도의 구획을 가지고 있다고 제안했습니다.
Naud는“[우리의 모델]은 당신이 실제로 두 개의 신호를 가질 수 있고 하나는 올라가고 하나는 내려 가고 서로를 전달할 수 있음을 보여줍니다.
이를 가능하게하기 위해, 그들의 모델은 뉴런 상단에 입력을받는 트리와 같은 분기가 연결을 조정하고 오류를 줄이기 위해 버스트 (내부 교육 신호)에 대해서만 듣고 있다고 주장합니다. 모델에서 상단의 뉴런이 그 아래의 뉴런이 버스트를 보낼 가능성을 조절하기 때문에 튜닝은 역전에서와 마찬가지로 상단에서 발생합니다. 연구원들은 네트워크에 더 많은 버스트가있을 때 뉴런은 연결 강도를 증가시키는 경향이있는 반면, 버스트 신호가 덜 빈번하면 연결 강도가 감소하는 경향이 있음을 보여주었습니다. 아이디어는 버스트 신호가 뉴런에게 작업 중에 활성화되어야한다고 말하고 연결을 강화하면 오류가 줄어든다는 것입니다. 버스트 부재는 뉴런에게 비활성이어야하고 연결을 약화시켜야 할 수도 있다고 말합니다.
동시에, 뉴런 치료의 바닥에있는 가지는 마치 단일 스파이크 (정상적인 외부 세계 신호) 인 것처럼 터져 버스트를 방해하지 않고 회로에서 감각 정보를 계속해서 보낼 수 있습니다.
취리히 대학교와 ETH 취리히 대학의 계산 신경 과학자 인 João Sacramento는“돌이켜 보면, 제시된 아이디어는 논리적으로 보이며, 이것이 아름다움을 말하고 있다고 생각합니다. "나는 그것이 훌륭하다고 생각합니다."
다른 사람들은 과거에 비슷한 논리를 따르려고 노력했습니다. 20 년 전, 펜실베니아 대학교의 Konrad Kording과 독일 Osnabrück University의 Peter König는 2 구술 뉴런을 가진 학습 프레임 워크를 제안했습니다. 그러나 그들의 제안은 생물학적으로 관련성이있는 최신 모델의 많은 특정 세부 사항이 부족했으며 제안 일뿐입니다. 실제로 신용 할당 문제를 해결할 수 있음을 증명할 수 없었습니다.
.Kording은“당시에는 이러한 아이디어를 테스트 할 수있는 능력이 부족했습니다. 그는 새로운 논문을“엄청난 작품”으로 생각하고 자신의 실험실에서이를 추적 할 것입니다.
오늘날의 계산 능력을 통해 Naud, Richards 및 그들의 공동 작업자는 학습 규칙의 역할을 수행하는 버스트 뉴런이 버스트 뉴런으로 모델을 성공적으로 시뮬레이션했습니다. 그들은 XOR로 알려진 고전적인 작업에서 신용 할당 문제를 해결한다는 것을 보여 주었는데, 이는 두 가지 입력 중 하나 (둘 다 아님)가 1 일 때 응답하는 법을 배우는 것이 필요하다는 것을 보여 주었다. 또한 파열 규칙으로 구축 된 심층 신경망은 도전적인 이미지 분류 작업에 대한 역설 알고리즘의 성능을 근사화 할 수 있음을 보여 주었다. 그러나 역설 알고리즘이 여전히 더 정확하고 인간의 능력과 완전히 일치하지 않기 때문에 여전히 개선의 여지가 있습니다.
Naud는“우리가 가지고 있지 않은 세부 사항이 있어야하며 모델을 더 좋게 만들어야합니다. "이 논문의 주요 목표는 기계가 수행하는 학습의 종류는 생리 학적 과정에 의해 근사화 될 수 있다고 말하는 것입니다."
.AI 연구자들은 또한 뇌가 역전술을 근사하는 방법을 알아 내면 궁극적으로 AI 시스템 학습 방식을 향상시킬 수 있기 때문에 흥분합니다. 네덜란드의 Radboud University의 Donders Institute의 인공 지능 부서의 회장 인 Marcel Van Gerven은“우리가 이해한다면, 이것은 결국 뇌처럼 효율적으로 계산 문제를 해결할 수있는 시스템으로 이어질 수 있습니다.
새로운 모델은 신경 과학과 AI 간의 파트너십이 각각에 대한 이해를 넘어서서 뇌와 기계가 무엇이든 배울 수있는 일반적인 원칙을 찾을 수 있다고 제안합니다.
.
Larkum은“이것은 결국 습식을 초월하는 원칙입니다.
