우리의 칙칙한 두뇌는 컴퓨터 프로세서의 단단한 실리콘 칩과는 거리가 멀지 만 과학자들은이 두 가지를 비교 한 오랜 역사를 가지고 있습니다. 앨런 튜링 (Alan Turing)이 1952 년에 다음과 같이 말했습니다.“우리는 뇌가 차가운 죽의 일관성을 가지고 있다는 사실에 관심이 없습니다. 다시 말해, 매체는 중요하지 않으며 계산 능력 만 중요합니다.
오늘날 가장 강력한 인공 지능 시스템은 딥 러닝이라는 기계 학습 유형을 사용합니다. 그들의 알고리즘은 깊은 신경 네트워크라고하는 상호 연결된 노드의 숨겨진 계층을 통해 대량의 데이터를 처리하여 학습합니다. 그들의 이름에서 알 수 있듯이, 깊은 신경망은 뇌의 실제 신경 네트워크에서 영감을 얻었으며, 노드는 실제 뉴런을 모델로 삼았습니다. 또는 적어도 신경 과학자가 1950 년대에 뉴런에 대해 알고있는 것은 퍼셉트론이라고 불리는 영향력있는 뉴런 모델이 태어 났을 때. 그 이후로 단일 뉴런의 계산 복잡성에 대한 우리의 이해는 극적으로 확장되었으므로 생물학적 뉴런은 인공 뉴런보다 더 복잡한 것으로 알려져 있습니다. 그러나 얼마나 많은가?
예루살렘 히브리 대학교 (Hebrew University of Jerusalem)의 David Beniaguev, Idan Segev 및 Michael London은 시뮬레이션 된 생물학적 뉴런의 계산을 모방하기 위해 인공 깊은 신경망을 훈련 시켰습니다. 그들은 하나의 단일 생물학적 뉴런의 복잡성을 나타내기 위해 깊은 신경망이 상호 연결된 "뉴런"의 5 층에서 8 층의 상호 연결된 "뉴런"이 필요하다는 것을 보여 주었다.
.저자조차도 그러한 복잡성을 기대하지 않았습니다. Beniaguev는“나는 그것이 더 단순하고 작을 것이라고 생각했다. 그는 셀 내에서 수행 된 계산을 캡처하기에 3-4 개의 층이 충분할 것으로 예상했다.
Google 소유의 AI Company Deepmind에서 의사 결정 알고리즘을 설계하는 Timothy Lillicrap은 새로운 결과는 기계 학습의 맥락에서 뇌의 뉴런을 뉴런과 느슨하게 비교하는 오래된 전통을 다시 생각할 필요가 있다고 말했다. "이 논문은 실제로 더 신중하게 생각하고 그러한 비유를 할 수있는 정도까지 사고하는 문제를 강요하는 데 도움이된다"고 그는 말했다.
인공 뉴런과 실제 뉴런의 가장 기본적인 비유는 들어오는 정보를 처리하는 방법과 관련이 있습니다. 두 종류의 뉴런은 들어오는 신호를 받고 해당 정보에 따라 다른 뉴런에 자신의 신호를 보내야하는지 결정합니다. 인공 뉴런은이 결정을 내리기 위해 간단한 계산에 의존하지만 수십 년의 연구에 따르면 프로세스가 생물학적 뉴런에서 훨씬 더 복잡하다는 것이 밝혀졌습니다. 계산 신경 과학자는 입력 출력 함수를 사용하여 생물학적 뉴런의 긴 트리와 같은 분기 (수상 돌기)로 수신 된 입력과 신호를 보내 겠다는 신경의 결정 사이의 관계를 모델링합니다.
이 기능은 새로운 작품의 저자들이 복잡성을 결정하기 위해 모방하기 위해 인공 심해 신경망을 가르쳤다. 그들은 쥐의 피질에서 피라미드 뉴런으로 알려진 상단과 하단에 수지상 가지의 별개의 나무를 가진 뉴런의 유형의 입력-출력 함수의 대규모 시뮬레이션을 만들기 시작했습니다. 그런 다음 시뮬레이션을 각 층에 최대 256 개의 인공 뉴런을 갖는 깊은 신경망에 공급했습니다. 그들은 시뮬레이션 된 뉴런의 입력과 출력 사이의 밀리 초 수준에서 99% 정확도를 달성 할 때까지 층 수를 계속 증가시켰다. 깊은 신경망은 뉴런의 입력 출력 함수의 동작을 최소 5 개 이상의 인공 층으로 성공적으로 예측했습니다. 대부분의 네트워크에서, 단 하나의 생물학적 뉴런에 대해 약 1,000 개의 인공 뉴런과 동일합니다.
Baylor College of Medicine의 계산 신경 과학자 인 Andreas Tolias는“[결과]는 생물학적 뉴런에서 인공 뉴런으로의 다리를 형성합니다.
그러나이 연구의 저자는 아직 간단한 서신이 아니라고 경고합니다. 런던은“신경망에있는 계층 수와 네트워크의 복잡성 사이의 관계는 분명하지 않다”고 말했다. 따라서 우리는 4 개의 층에서 5로 이동함으로써 얼마나 더 복잡한지를 말할 수 없습니다. 또한 1,000 인공 뉴런이 필요하다는 것은 생물학적 뉴런이 정확히 1,000 배의 복잡하다는 것을 의미합니다. 궁극적으로, 각 층 내에서 기하 급수적으로 더 인공적인 뉴런을 사용하면 결국 하나의 단일 계층이있는 깊은 신경망으로 이어질 수 있지만 알고리즘이 배우려면 훨씬 더 많은 데이터와 시간이 필요할 수 있습니다.
.런던은“우리는 깊이와 많은 것들이 많은 많은 건축물을 시도했지만 대부분 실패했습니다. 저자는 다른 연구자들이 층이 적은 영리한 솔루션을 찾도록 권장하기 위해 코드를 공유했습니다. 그러나 99% 정확도로 뉴런을 모방 할 수있는 깊은 신경망을 찾는 것이 얼마나 어려운지를 감안할 때, 저자들은 그들의 결과가 추가 연구를위한 의미있는 비교를 제공한다고 확신합니다. Lillicrap은 자주 50 개의 층이 필요한 이미지 분류 네트워크를 뇌와 관련시키는 새로운 방법을 제공 할 수 있다고 제안했습니다. 각 생물학적 뉴런이 5 층 인공 신경망과 같다면 50 개의 층을 가진 이미지 분류 네트워크가 생물학적 네트워크에서 10 개의 실제 뉴런에 해당 할 것입니다.
저자들은 또한 그들의 결과가 AI의 현재 최신 딥 네트워크 아키텍처를 바꾸기를 희망합니다. Segev는“우리는 오늘날 딥 네트워크의 각 간단한 장치를 오늘날 뉴런을 나타내는 단위로 대체함으로써 뇌가 작동하는 방식에 더 가깝게 만들기 위해 딥 네트워크 기술을 교체 할 것을 요구합니다. 이 대체 시나리오에서 AI 연구원과 엔지니어는 5 층 딥 네트워크를“미니 네트워크”로 연결하여 모든 인공 뉴런을 대체 할 수 있습니다.
그러나 어떤 사람들은 이것이 실제로 AI에 도움이 될지 궁금합니다. Cold Spring Harbor Laboratory의 신경 과학자 인 Anthony Zador는“실제 계산 이점이 있는지 여부는 공개적인 질문이라고 생각합니다. "이 [작업]은 그것을 테스트하기위한 토대를 마련합니다."
AI 응용 프로그램 이외의 새로운 논문은 또한 수지상 나무의 강력한 계산 능력에 대한 합의가 커지고 단일 뉴런에 의해 증가합니다. 2003 년에, 신경 과학자의 트리오는 피라미드 뉴런의 수지상 나무가 2 층 인공 신경망으로 모델링하여 복잡한 계산을 수행한다는 것을 보여 주었다. 새로운 논문에서, 저자들은 피라미드 뉴런의 어떤 특징이 5 대 8 층의 깊은 신경망에서 훨씬 더 복잡한지를 조사했다. 그들은 수지상 나무와 수상 돌기 표면에 화학 메신저를받는 특정 수용체에서 나왔다고 결론을 내렸다.
어떤 사람들은 결과는 신경 과학자가 단일 뉴런에 대한 연구를 더 큰 우선 순위로 만들어야한다는 것을 의미합니다. 펜실베이니아 대학교 (University of Pennsylvania)의 계산 신경 과학자 인 코드 코딩 (Konrad Kording)은“이 논문은 수상 돌기와 개별 뉴런에 대한 생각을 전보다 훨씬 더 중요하게 생각한다. Lillicrap 및 Zador와 같은 다른 사람들은 회로 내에서 뉴런에 초점을 맞추는 것이 뇌가 실제로 단일 뉴런의 계산 복잡성을 사용하는 방법을 배우는 데 마찬가지로 중요 할 것이라고 제안했습니다.
어쨌든 인공 신경망의 언어는 뉴런의 힘과 궁극적으로 뇌에 대한 새로운 통찰력을 제공 할 수 있습니다. University College London의 계산 신경 과학자 인 Grace Lindsay는“층과 깊이와 폭의 관점에서 생각하면 직관적 인 계산 복잡성을 제공합니다. 그러나 Lindsay는 또한 새로운 작업이 여전히 모델을 모델과 비교하고 있다고 경고합니다. 불행히도, 현재 신경 과학자가 실제 뉴런의 전체 입력 출력 기능을 기록하는 것은 불가능하므로 생물학적 뉴런의 모델이 포착되지 않는 것이 더 많은 일이있을 수 있습니다. 다시 말해, 실제 뉴런은 훨씬 더 복잡 할 수 있습니다.
런던은“우리는 5에서 8 사이의 것이 실제로 마지막 숫자인지 확실하지 않습니다.
