뇌는 비밀의 규칙에 따라 무수한 연결을 조정함으로써 정식 작업 (학습)을 수행합니다. 이러한 비밀을 잠금 해제하기 위해 과학자들은 30 년 전 학습 과정을 복제하려는 컴퓨터 모델을 개발하기 시작했습니다. 이제 점점 더 많은 실험에 따르면 이러한 모델은 특정 작업을 수행 할 때 실제 뇌와 현저하게 비슷하게 행동한다는 것을 보여줍니다. 연구원들은 유사점이 두뇌와 컴퓨터의 기본 학습 알고리즘 사이의 기본 서신을 제안한다고 말합니다.
1983 년 Geoffrey Hinton과 Terry Sejnowski가 발명 한 Boltzmann Machine이라는 컴퓨터 모델에서 사용하는 알고리즘은 개발, 기억 형성, 대상 및 사운드 인식 및 수면 깨우기주기를 포함한 여러 뇌 과정에 대한 간단한 이론적 설명으로 특히 유망한 것으로 보입니다.
.온타리오 주 해밀턴에있는 McMaster University의 심리학, 신경 과학 및 행동 교수 인 Sue Becker는“현재 우리가 현재 뇌를 이해할 수있는 최고의 가능성입니다. "학습과 뇌의 구조 측면에서 더 넓은 범위의 현상을 설명하는 모델을 모릅니다."
.인공 지능 분야의 선구자 인 힌튼 (Hinton)은 항상 뇌가 연결을 할 때 통치하는 규칙을 이해하고 싶었고, 우리가 배우는 방법에 대한 알고리즘을 하나로 묶을 때. "당신이 무언가를 이해하고 싶다면 나에게 보이는 것 같았다. 당신은 하나를 만들 수 있어야한다"고 그는 말했다. 물리학의 감소 주의적 접근에 따라, 그의 계획은 다양한 학습 알고리즘을 사용한 뇌의 간단한 컴퓨터 모델을 구성하고“어떤 일이 작동하는지 확인하는 것”이라고 말했다.
1980 년대와 1990 년대에, 19 세기 논리 학자 George Boole의 위대한 손자 인 Hinton은 현대 컴퓨터 과학의 기초가 된 기계 학습 알고리즘 모음을 발명하거나 공동으로 발명했습니다. 컴퓨터에 데이터에서 배우는 방법을 알려주는 알고리즘은 인공 신경망이라는 컴퓨터 모델에서 사용됩니다. 이는 상호 연결된 가상 뉴런의 웹을 켜거나 끄거나 "발사"하여 이웃에게 신호를 전송합니다. 데이터가 네트워크에 공급되고 발사 활동의 캐스케이드를 설정하면 알고리즘은 각 뉴런 쌍의 각 쌍의 연결 중량 또는 시냅스의 무게를 증가시킬 것인지 또는 감소할지 여부에 따라 발사 패턴을 기준으로 결정합니다.
수십 년 동안 많은 힌튼의 컴퓨터 모델이 고쳐졌습니다. 그러나 컴퓨팅 능력의 발전, 과학자들이 뇌와 알고리즘 자체에 대한 이해로 인해 신경망은 신경 과학에서 점점 더 중요한 역할을하고 있습니다. 캘리포니아 주 라호야 (La Jolla)에있는 Salk Biological Studies의 전산 신경 생물학 연구소 책임자 인 Sejnowski는 다음과 같이 말했습니다 :“30 년 전, 우리는 매우 조잡한 아이디어를 가지고있었습니다. 이제 우리는 그 아이디어 중 일부를 테스트하기 시작했습니다.”
뇌 기계
뇌를 복제하려는 힌튼의 초기 시도는 제한적이었습니다. 컴퓨터는 소규모 신경망에서 학습 알고리즘을 실행할 수 있지만 모델을 확장하면 프로세서를 신속하게 압도했습니다. 2005 년 힌튼은 자신의 신경 네트워크를 레이어로 분할하고 한 번에 한 층의 알고리즘을 실행하면 뇌의 구조와 발달에 근접한 프로세스가 더욱 효율적으로 해졌다.
.Hinton은 두 개의 최고 저널에서 자신의 발견을 발표했지만 신경망은 그때까지 호의를 얻지 못했고“그는 사람들의 관심을 끌기 위해 고군분투하고있었습니다. 그러나 Deng은 Hinton을 알고 2009 년에 그의“딥 러닝”방법을 시도하여 잠재력을 빠르게 보았습니다. 그 이후 몇 년 동안, 이론 학습 알고리즘은 Google Now Personal Assistant 및 Microsoft Windows 전화의 음성 검색 기능과 같은 급격한 응용 프로그램에 실질적으로 사용되었습니다.
이러한 알고리즘 중 가장 유망한 중 하나 인 Boltzmann Machine은 통계 역학으로 알려진 많은 수의 입자를 다루는 물리학의 지점을 개발 한 19 세기 오스트리아 물리학 자 Ludwig Boltzmann의 이름을 지니고 있습니다. 볼츠 만 (Boltzmann)은 평형에 도달 할 때 특정 에너지를 갖는 분자 가스의 확률을주는 방정식을 발견했다. 분자를 뉴런으로 바꾸고 Boltzmann 기계가 발사 될 때 정확히 동일한 방정식으로 수렴합니다.
네트워크의 시냅스는 무작위로 가중치의 분포로 시작되며 가중치는 놀랍도록 간단한 절차에 따라 점차 조정됩니다. 기계가 공급되는 동안 생성 된 신경 발사 패턴 (이미지 또는 사운드)은 입력이 꺼지는 동안 발생하는 임의의 발사 활동과 비교됩니다.
.각 가상 시냅스는 두 통계 세트를 추적합니다. 뉴런이 무작위로 발사 될 때보 다 데이터에 의해 구동 될 때 더 자주 화재를 연결하면 시냅스의 무게는 차이에 비례하여 양 증가합니다. 그러나 데이터 중심의 발사보다 임의의 발사 중에 두 개의 뉴런이 더 자주 함께 발사되면, 연결하는 시냅스가 너무 두껍고 결과적으로 약해집니다.
Boltzmann Machine의 가장 일반적으로 사용되는 버전은 "훈련"되거나 수천 개의 데이터 예, 한 번에 하나의 레이어를 공급할 때 가장 잘 작동합니다. 먼저, 네트워크의 하단 층은 픽셀 화 된 이미지 또는 다중 정체 사운드를 나타내는 원시 데이터를 수신하며, 망막 세포와 마찬가지로, 뉴런은 밝은 곳에서 어두운 곳으로의 스위치와 같은 데이터 패치에서 대비를 감지하면 뉴런이 발사됩니다. 발사는 그들 사이의 시냅스의 무게에 따라 연결된 뉴런을 발사 할 수 있습니다. 가상 뉴런 쌍의 발사는 배경 발사 통계와 반복적으로 비교함에 따라 뉴런 간의 의미있는 관계가 점차 확립되고 강화됩니다. 시냅스의 무게가 연마되고 이미지 또는 사운드 카테고리가 연결에 뿌리 내립니다. 각 후속 층은 아래 계층의 입력 데이터를 사용하여 동일한 방식으로 교육됩니다.
차량 사진이 이미지의 특정 물체를 감지하도록 훈련 된 신경망에 공급되는 경우, 하위 층은 대비를 감지하면 가장자리 또는 끝점을 나타냅니다. 이 뉴런의 신호는 높은 수준의 뉴런으로 이동하여 모서리, 바퀴의 일부 등을 감지합니다. 상단 층에는 이미지에 자동차가 들어있는 경우에만 발사하는 뉴런이 있습니다.
뉴욕 대학교의 데이터 과학 센터 소장 인 Yann Lecun은“마법의 일은 일반화 할 수 있다는 것입니다. "이전에 본 적이없는 자동차를 보여 주면 훈련 중에 보여준 모든 자동차에 일반적인 모양이나 측면이 있다면 차라고 판단 할 수 있습니다."
.신경망은 최근 힌튼의 계층 훈련 요법, 그래픽 처리 장치라는 고속 컴퓨터 칩의 사용, 이미지 수의 폭발적인 상승 및 교육에 사용할 수있는 기록 된 음성의 폭발적인 증가로 인해 보폭에 부딪쳤다. 네트워크는 이제 평범한 인간 청취자의 약 96 %에 비해 정상적인 인간의 영어 대화에서 사용 된 단어의 약 88 %를 정확하게 인식 할 수 있습니다. 그들은 비슷한 정확성을 가진 이미지에서 자동차와 수천 개의 다른 객체를 식별 할 수 있으며 지난 3 년 동안 기계 학습 경쟁을 지배하게되었습니다.
.Build-A-Brain
뇌의 학습 규칙을 직접 확인하는 방법을 모르는 사람은 없지만 뇌의 행동과 볼츠 만 기계의 행동 사이에는 많은 암시적인 유사점이 있습니다.
.둘 다 데이터에 자연스럽게 존재하는 패턴 이외의 감독없이 학습합니다. 힌튼은“어머니의 수백만 가지 예를 들어 이미지에 무엇이 있는지 알려주지 않습니다. “당신은 아무도 당신에게 물건이 무엇인지 말하지 않고 사물을 인식하는 법을 배워야합니다. 그런 다음 카테고리를 배우고 나면 사람들은 이러한 범주의 이름을 알려줍니다. 아이들은 개와 고양이에 대해 배우고 개가‘개’라고 불리고 고양이는‘고양이’라고합니다.”
성인 뇌는 청소년보다 가단성이 떨어집니다. 100,000 대의 자동차 이미지로 훈련 된 볼츠 만 기계는 다른 것을 볼 때 크게 변하지 않을 것입니다. 시냅스는 이미 자동차를 분류하는 올바른 무게를 가지고 있습니다. 그러나 학습은 결코 끝나지 않습니다. 새로운 정보는 여전히 두뇌와 볼츠 만 기계의 구조에 통합 될 수 있습니다.
지난 5-10 년 동안, 수면 중 뇌 활동에 대한 연구는 새로운 정보와 기억을 구조에 통합하기 위해 뇌가 볼츠 만과 같은 학습 알고리즘을 사용한다는 첫 번째 직접적인 증거를 제공했습니다. 신경 과학자들은 수면이 기억 통합에 중요한 역할을하며 새로 배운 정보를 통합하는 데 도움이된다는 것을 오랫동안 알고 있습니다. 1995 년 힌튼과 동료들은 수면이 알고리즘의 기준 구성 요소와 동일한 기능, 입력이 없을 때 신경 활동의 속도를 제공한다고 제안했다.
.힌튼은“수면 중에하고있는 일은 기본 요금을 파악하는 것입니다. “시스템이 그 자체로 실행되고 있다면 이러한 뉴런이 얼마나 상관 관계가 있을지 알아 내고 있습니다. 그리고 뉴런이 그것보다 더 상관 관계가 있다면, 그들 사이의 체중을 증가시킵니다. 그리고 그것들보다 상관 관계가 덜한다면, 그들 사이의 무게를 줄입니다.”
.시냅스 수준에서,“이 알고리즘은 여러 가지 방법으로 구현 될 수있다”고 올해 초 오바마 행정부의 새로운 두뇌 이니셔티브의 고문이 된 Sejnowski는 뇌 연구를위한 새로운 기술을 개발하기위한 1 억 달러의 연구 노력이었다.
.그는 뇌가 볼츠만 알고리즘을 실행하는 가장 쉬운 방법은 낮 동안 시냅스에서 시냅스를 강화하는 것으로 전환하는 것이라고 말했다. 위스콘신-매디슨 대학교의 수면 및 의식 센터의 수장 인 Giulio Tononi는 시냅스 내부의 유전자 발현 이이 가설을 뒷받침하는 방식으로 변화한다는 것을 발견했습니다. 시냅스 성장에 관여하는 유전자는 하루 종일 수면 중에 더욱 활발합니다.
>.대안 적으로,“기준선은 수면 중에 계산 될 수 있고 낮에는 그에 비해 변화가 이루어질 수있다”고 Sejnowski는 말했다. 그의 실험실은 시냅스와 수면 중에 발사 통계를 수집하는 방법과 시냅스 강점을 변화시켜 차이를 반영하는 방법을 결정하기 위해 세부적인 시냅스 및 네트워크의 세부적인 컴퓨터 모델을 구축하고 있습니다.
.뇌 합병증
볼츠만과 같은 알고리즘은 뇌가 시냅스를 조정하기 위해 사용하는 많은 사람들 중 하나 일 수 있습니다. 1990 년대에, 몇몇 독립 그룹은 시각 시스템이 어떻게 망막을 때리는 정보의 홍수를 효율적으로 인코딩하는지에 대한 이론적 모델을 개발했습니다. 이론은 "스파 스 코딩"이라는 이미지 압축과 유사한 프로세스가 시각 피질의 가장 낮은 층에서 이루어졌으며 시각 시스템의 후반 단계가 더 효율적으로 만들어 졌다고 주장했다.
.모델의 예측은 점차 점점 더 엄격한 실험 테스트를 통과하고 있습니다. 5 월 PLOS 계산 생물학에 발표 된 논문에서, 영국과 호주의 계산 신경 과학자들은 2002 년 힌튼이 발명 한 전문가들의 스파 스 코딩에 대한 알고리즘을 사용하는 알고리즘을 사용하는 경우, 2002 년 힌튼이 발명 한 제품을 사용하는 경우 (예를 들어, 고양이와 신경망은 거의 동일한 비정상적인 시각 데이터에 노출된다는 것을 발견했다. 이상.
“정보가 시각 피질에 도달 할 때까지 우리는 뇌가이를 코드 코드로 표현하고 있다고 생각합니다. "따라서 희소 코드의 요소들 사이의 관계를 배우려고 머리 뒤쪽에 Boltzmann 기계가 앉아있는 것과 같습니다."
.Olshausen과 그의 연구팀은 최근 시각적 피질의 높은 계층의 신경망 모델을 사용하여 뇌가 이미지 움직임에도 불구하고 시각적 입력에 대한 안정적인 인식을 어떻게 만들 수 있는지 보여줍니다. 최근의 또 다른 연구에서, 그들은 흑백 영화를보고있는 고양이의 시각적 피질 전반에 걸쳐 뉴런 발사 활동이 Boltzmann 기계에 의해 잘 묘사된다는 것을 발견했습니다.
.그 작업의 잠재적 인 적용은 인공 망막과 같은 신경 보철물을 구축하는 것입니다. Olshausen은“뇌의 정보 형식을 이해하면서 누군가가 이미지를보고 있다고 생각하도록 뇌를 자극하는 방법을 알게 될 것”이라고 Olshausen은 말했다.
Sejnowski는 시냅스가 성장하고 축소되는 알고리즘을 이해하면 연구원들이 네트워크 기능이 어떻게 분류되는지 연구 할 수있게 해줍니다. "그러면 인간이 가지고있는 알려진 문제와 비교할 수있다"고 그는 말했다. “거의 모든 정신 장애는 시냅스의 문제로 추적 될 수 있습니다. 따라서 시냅스를 조금 더 잘 이해할 수 있다면 뇌의 정상적인 기능, 정보를 처리하는 방법, 학습 방법 및 정신 분열증이있을 때 무엇이 잘못되는지 이해할 수 있습니다.”
.뇌를 이해하기위한 신경망 접근법은 스위스 신경 과학자 인 헨리 마크 람 (Henry Markram)의 슈퍼 컴퓨터를 사용하여 인간 뇌의 정확한 시뮬레이션을 만들기위한 스위스 신경 과학자 인 헨리 마크 람 (Henry Markram)의 인간 뇌 프로젝트의 뇌 프로젝트와 급격히 대조됩니다. Hinton의 고도로 단순화 된 모델로 시작하고 점차 복잡하게 만드는 것과는 달리 Markram은 완전한 기능과 의식이 등장하기를 희망하여 처음부터 개별 분자에 이르기까지 가능한 한 많은 세부 사항을 포함시키기를 원합니다.
이 프로젝트는 1 월 유럽위원회로부터 13 억 달러의 자금을 받았지만, 힌튼은 아무도 아직 이해하지 못하는 너무 많은 움직이는 부분으로 인해 거대 시뮬레이션이 실패 할 것이라고 생각했다. (Markram은 의견 요청에 응답하지 않았습니다.)
보다 일반적으로, 힌튼은 뇌의 작동이 뇌 영상 연구의 세부 사항에서만 추론 될 수 있다고 생각하지 않습니다. 대신,이 데이터는 알고리즘을 구축하고 개선하는 데 사용해야합니다. Boltzmann Machine은“이론적으로 생각하고 학습 알고리즘의 공간을 탐색해야한다”고 말했다. 힌튼의 경우, 다음 단계는 층뿐만 아니라 뉴런을 연결하는 시냅스가있는 것과 같이 훨씬 더 뇌 같은 신경망을 훈련하기위한 알고리즘을 개발하는 것입니다. "주요 목표는 각 단계에서보다 복잡한 계산을 통해 계산적으로 얻는 것을 이해하는 것입니다."
가설은 더 많은 상호 연결성이 더 강력한 피드백 루프를 가능하게한다는 것입니다. Olshausen에 따르면, 아마도 뇌가 "지각 적 충전"을 달성하는 방법 일 것입니다. 여기서 높은 층이 부분 정보를 기반으로 낮은 층이 무엇을 감지하는지 추론하는 것입니다. 그는“이것은 의식과 밀접한 관련이있다”고 말했다
물론 인간의 뇌는 어떤 모델보다 훨씬 더 복잡합니다. 더 크고 밀도가 높고 효율적이며 상호 연결되어 있으며 더 복잡한 뉴런을 가지고 있으며 여러 알고리즘을 동시에 저글링합니다. Olshausen은 시각 피질에서의 활동의 15 % 만 이해하는 것으로 추정했습니다. 모델이 진보하고 있지만 신경 과학은 여전히“뉴턴 이전의 물리학과 비슷하다”고 말했다. 그럼에도 불구하고, 그는 이러한 알고리즘을 구축하는 과정이 언젠가 뇌의 궁극적 인 수수께끼를 설명 할 수 있다고 확신합니다. 감각 데이터가 어떻게 현실에 대한 주관적인 인식으로 변형되는지. Olshausen은 의식은“정말로 복잡한 볼츠 만 기계에서 나오는 것”이라고 말했다.
