신경계의 뉴런과 연결에서 광범위하게 영감을 얻은 인공 신경망을 포함한 오늘날의 인공 지능 시스템은 알려진 제약 조건이있는 작업에서 훌륭하게 수행합니다. 또한 많은 계산 능력과 방대한 양의 교육 데이터가 필요합니다. 그것은 모든 것이 체스를 플레이하거나 가서 고양이와 개 묘사를 차별화 할 때 체스를하거나 가서 가고 가면서 그들을 훌륭하게 만드는 역할을합니다. 펜실베이니아 대학교 (University of Pennsylvania)의 전산 신경 과학자 인 코 라드 코딩 (Konrad Kording)은“그러나 그들은 음악을 작곡하거나 단편 소설을 쓰는 데 다소 한심합니다. "그들은 세상에서 의미있게 추론하는 데 큰 어려움을 겪고 있습니다."
이러한 한계를 극복하기 위해 일부 연구 그룹은 신선한 아이디어를 위해 뇌로 돌아가고 있습니다. 그러나 소수의 사람들은 처음에는 출발점처럼 보일 수있는 것을 선택하고 있습니다 :냄새 감각 또는 후각. 유기체가 화학 정보를 처리하는 방법을 더 잘 이해하려고하는 과학자들은 AI의 문제와 관련하여 특히 관련된 코딩 전략을 발견했습니다. 더욱
컴퓨터 과학자들은 이제 기계 학습 상황에서 이러한 결과를 조사하기 시작했습니다.
Flukes and Revolutions
오늘날 사용 된 최첨단 기계 학습 기술은 적어도 부분적으로 정보의 계층 적 추출을 기반으로하는 시각 시스템의 구조를 모방하기 위해 구축되었습니다. 시각적 피질이 감각 데이터를 받으면 먼저 공간 매핑과 관련된 가장자리, 질감, 색상과 같은 작고 잘 정의 된 기능을 선택합니다. 신경 과학자 David Hubel과 Torsten Wiesel은 1950 년대와 60 년대에 시각 시스템의 특정 뉴런이 망막의 특정 픽셀 위치와 동등한 것으로 밝혀 졌다는 사실을 발견했습니다.
.시각적 정보가 피질 뉴런의 층을 통해 전달됨에 따라 가장자리와 질감과 색상에 대한 세부 사항은 모여 입력의 추상적 인 표현을 점점 더 많이 표현합니다. 대상은 인간의 얼굴이며 얼굴의 정체성은 제인이라는 것입니다. 네트워크의 모든 층은 유기체가 그 목표를 달성하는 데 도움이됩니다.
깊은 신경망은 비슷한 계층 적 방식으로 작동하도록 만들어져 기계 학습 및 AI 연구의 혁명으로 이어졌습니다. 이 그물이 얼굴과 같은 물체를 인식하도록 가르치기 위해 수천 개의 샘플 이미지를 공급받습니다. 이 시스템은 인공 뉴런 사이의 연결을 강화하거나 약화시켜 주어진 픽셀 모음이 얼굴의 더 추상적 인 패턴을 형성한다는 것을보다 정확하게 결정합니다. 충분한 샘플이 있으므로 새로운 이미지와 맥락에서는 얼굴을 인식 할 수 있습니다.
연구원들은 이미지 분류뿐만 아니라 음성 인식, 언어 번역 및 기타 기계 학습 응용 프로그램에서도 이러한 네트워크에서 큰 성공을 거두었습니다. 그럼에도 불구하고 워싱턴 대학의 전산 신경 과학 센터의 연구원 인 Charles Delahunt는“깊은 그물을화물 열차로 생각하고 싶습니다. “그들은 당신이 합리적으로 평평한 땅을 가지고있는 한, 트랙을 놓고 큰 인프라를 가질 수있는 한 매우 강력합니다. 그러나 우리는 생물학적 시스템이 모든 것이 필요하지 않다는 것을 알고 있습니다. 지금은 딥 네트가 지금 당장 할 수없는 어려운 문제를 처리 할 수 있습니다.”
.AI :자율 주행 자동차에서 뜨거운 주제를 가져 가십시오. 자동차가 새로운 환경을 실시간으로 탐색함에 따라 끊임없이 변화하는 환경, 소음과 모호함으로 가득 차 있습니다. 시각 시스템에서 영감을 얻은 딥 러닝 기술은 부족할 수 있습니다. 아마도 비전을 느슨하게 기반으로하는 방법은 올바른 방법이 아닙니다. 매사추세츠 기술 연구소 (Massachusetts Institute of Technology)의 생물 물리학자인 Adam Marblestone 은이 비전은 전혀 우연한 통찰력의 원천이었다. 과학자들이 이미지 기반 머신 러닝 작업에 대한 명확한 응용 프로그램으로 가장 잘 이해 한 시스템이었습니다.
그러나 캘리포니아의 Salk Institute for Biological Studies의 컴퓨터 과학자 인 Saket Navlakha는“모든 유형의 자극이 같은 방식으로 처리되지는 않습니다. “예를 들어 비전과 후각은 매우 다른 유형의 신호입니다. … 따라서 다른 유형의 데이터를 처리하기위한 다른 전략이있을 수 있습니다. 시각 시스템이 어떻게 작동하는지 연구하는 것 이상의 교훈이있을 수 있다고 생각합니다.”
그와 다른 사람들은 곤충의 후각 회로가 그 수업 중 일부를 가질 수 있음을 보여주기 시작했습니다. 그 당시 Columbia University의 생물 학자 Linda Buck과 Richard Axel이 냄새 수용체의 유전자를 발견 한 1990 년대까지는 NoTfaction Research가 시작되지 않았습니다. 그러나 그 이후로 후각 시스템은 특히 잘 특성화되었으며 파리와 다른 곤충에서 쉽게 연구 할 수있는 것입니다. 일부 과학자들은 시각 시스템이 일반적인 계산 문제를 연구하기위한 것이 아닌 방식으로 다루기 쉽다고 주장합니다. 일부 과학자들은 주장합니다.
Delahunt는“우리는 상대적으로 완전히 특성화 할 수있는 유한 시스템이기 때문에 후각에 대해 노력하고 있습니다. "당신은 싸우는 기회가 있습니다."
영국의 Hertfordshire University의 계산 신경 과학자 인 Michael Schmuker는“사람들은 이미 비전으로 환상적인 일을 할 수 있습니다. "어쩌면 우리는 후각으로 환상적인 일을 할 수 있습니다."
무작위 및 희소 네트워크
후각은 많은 전선의 시력과 다릅니다. 냄새는 구조화되지 않습니다. 가장자리가 없습니다. 그들은 우주에서 그룹화 할 수있는 객체가 아닙니다. 그것들은 다양한 구성과 농도의 혼합물이며, 서로 유사하거나 다른 분류가 어렵습니다. 그러므로 어떤 기능이 주목 해야하는지 항상 명확하지는 않습니다.
이러한 냄새는 시각적 피질보다 훨씬 덜 복잡한 얕고 3 층 네트워크로 분석됩니다. 후각 영역의 뉴런은 계층 구조의 특정 영역이 아닌 전체 수용체 공간을 무작위로 샘플링합니다. 그들은 Salk Institute의 신경 생물학자인 Charles Stevens가“Antimap”이라고 부르는 것을 고용합니다. 시각 피질과 같은 매핑 된 시스템에서, 뉴런의 위치는 그것이 가지고있는 정보의 유형에 대해 무언가를 보여줍니다. 그러나 후각 피질의 안티 맵에서는 그렇지 않습니다. 대신, 정보는 시스템 전체에 배포되며, 데이터를 읽는 데는 일부 최소 수의 뉴런에서 샘플링이 포함됩니다. 더 높은 차원 공간에서 정보의 드문 표현으로 알려진 안티 맵이 달성됩니다.
과일 파리의 후각 회로를 가져 가십시오. 50 프로젝션 뉴런은 각각 다른 분자에 민감한 수용체로부터 입력을받습니다. 단일 냄새는 많은 다른 뉴런을 자극 할 것이며, 각 뉴런은 다양한 냄새를 나타냅니다. 이 시점에서 50 차원 공간에 표시되는 정보의 혼란, 겹치는 표현의 혼란입니다. 그런 다음 정보는 2,000 개의 소위 케냐 세포로 무작위로 투사되어 특정 향기를 인코딩합니다. (포유류에서, piriform cortex로 알려진 세포는 이것을 처리합니다.) 치수의 40 배 확장을 구성하여 신경 반응의 패턴으로 냄새를 더 쉽게 구별 할 수 있습니다.
.Navlakha는“1,000 명이 있고 방에 넣고 취미로 조직하려고 노력한다고 가정 해 봅시다. “이 붐비는 공간 에서이 사람들을 그룹으로 구성 할 수있는 방법을 찾을 수 있습니다. 그러나 지금, 당신은 축구장에 그들을 퍼 뜨리십시오. 당신은 당신의 데이터를 가지고 놀고 구조 할 수있는이 모든 추가 공간을 가지고 있습니다.”
Fly의 후각 회로가이를 수행 한 후에는 겹치지 않는 뉴런과 뚜렷한 냄새를 식별하는 방법을 찾아야합니다. 데이터를 "스파이 션"하여이를 수행합니다. 2,000 개의 케냐 세포 중 약 100 명 (5 %)만이 주어진 냄새 (활성 세포가 덜 활성화 된)에 대한 반응으로 매우 활성화되어 각각 고유 한 태그를 제공합니다.
요컨대, 전통적인 깊은 네트워크 (다시 시각 시스템에서 신호를받는)는“학습”할 때 연결 강도를 끊임없이 바꾸는 반면, 후각 시스템은 일반적으로 투영 뉴런과 케냐 세포 사이의 연결을 조정하여 스스로 훈련하지 않는 것 같습니다.
.연구원들이 2000 년대 초에 후각을 연구함에 따라, 그들은 높은 차원에서 무작위 임베딩과 희소성이 계산 효율에 어떻게 도움이되었는지를 결정하기 위해 알고리즘을 개발했습니다. 샌디에고 캘리포니아 대학교 (University of California)의 서 섹스 대학교 (University of Sussex)의 토마스 노트 니 (Thomas Nowotny)와 샌디에고 (San Diego)의 Ramón Huerta의 한 과학자 한 쌍은 지원 벡터 머신이라는 다른 유형의 머신 러닝 모델과 연결을 그렸습니다. 그들은 복잡한 데이터를 효율적으로 표현하기 위해 임의의 조직과 차원 확장을 사용하여 자연 및 인공 시스템이 처리 된 정보가 공식적으로 동등하다고 주장했다. AI와 진화는 동일한 솔루션으로 독립적으로 수렴했습니다.
그 연결에 흥미를 느끼면서 Nowotny와 그의 동료들은 후각과 기계 학습 사이의 인터페이스를 계속 탐색하여 둘 사이의 더 깊은 연결을 찾고 있습니다. 2009 년에는 처음에는 냄새를 인식하기 위해 만들어진 곤충을 기반으로 한 후각 모델이 필기 숫자를 인식 할 수 있음을 보여주었습니다. 또한, 뇌 세포가 죽고 대체되지 않는 방식을 모방하기 위해 대부분의 뉴런을 제거하는 것은 성능에 너무 큰 영향을 미치지 않았습니다. Nowotny는“시스템의 일부는 내려갈 수 있지만 시스템 전체는 계속 작동 할 것입니다. 그는 가혹한 조건에서 작동 해야하는 화성 로버와 같은 유형의 하드웨어를 구현하는 것을 예견합니다.
그러나 한동안, 그 결과에 대한 후속 조치를 취하기 위해 많은 노력을 기울이지 않았습니다. 즉, 일부 과학자들이보다 구체적인 기계 학습 문제를 개선하는 방법에 대한 통찰력을 위해 후각의 생물학적 구조를 다시 방문하기 시작했을 때까지.
.유선 지식과 빠른 학습
Delahunt와 그의 동료들은 나방 후각 시스템을 기초로 사용하여 전통적인 기계 학습 모델과 비교 한 동일한 종류의 실험을 반복했습니다. 20 개 미만의 샘플이 주어지면 나방 기반 모델은 필기 숫자를 더 잘 인식했지만 더 많은 훈련 데이터를 제공 할 때 다른 모델은 훨씬 더 강력하고 정확한 것으로 판명되었습니다. Delahunt는“기계 학습 방법은 수많은 데이터를 고려할 때 매우 정확한 분류기를 제공하는 데 능숙하지만 곤충 모델은 매우 빠르게 분류하는 데 매우 능숙합니다.
학습 속도와 관련하여 후각은 더 잘 작동하는 것 같습니다.이 경우“학습”은 더 이상 특정 작업에 최적의 기능과 표현을 찾는 것이 아니기 때문입니다. 대신, 어떤 무작위 기능이 유용하고 그렇지 않은지 인식하는 것으로 줄어 듭니다. "한 번의 클릭만으로 훈련 할 수 있다면 훨씬 더 아름답습니까?" 중국 남부 의과 대학의 생물학자인 Fei Peng은 말했다.
사실상, 후각 전략은 세계에 대한 일반적인 이해가 우리의 두뇌에 딱딱한 것처럼 보이는 것처럼 모델에 기본적이고 원시적 인 개념을 제빵하는 것과 거의 같습니다. 구조 자체는 지시없이 간단하고 선천적 인 작업을 수행 할 수 있습니다.
작년에 Navlakha의 실험실에서 가장 인상적인 사례 중 하나가 나왔습니다. 그는 샌디에고 캘리포니아 대학교의 컴퓨터 과학자 인 Stevens 및 Sanjoy Dasgupta와 함께 유사성을 기반으로 검색을 수행 할 수있는 후각에서 영감을 얻은 방법을 찾고 싶었습니다. YouTube가 현재보고있는 내용에 따라 사용자를위한 사이드 바 비디오 목록을 생성 할 수 있듯이 유기체는 냄새를 식별 할 때 빠르고 정확한 비교를 할 수 있어야합니다. 비행은 잘 익은 바나나의 냄새에 접근하고 식초의 냄새를 피해야한다는 사실을 조기에 배울 수 있지만 환경은 복잡하고 소음으로 가득 차 있습니다. 다시는 같은 냄새를 경험하지 않을 것입니다. 그것이 새로운 냄새를 감지 할 때, 파리는 이전에 어떤 향기가 가장 닮은 냄새를 맡은 것을 파악하여 적용 할 적절한 행동 반응을 기억할 수 있도록해야합니다.
.Navlakha는 후각 기반 유사성 검색 알고리즘을 만들어 이미지의 데이터 세트에 적용했습니다. 그와 그의 팀은 그들의 알고리즘이 차원 감소 만 포함하는 전통적인 비 생물학적 방법뿐만 아니라 2 ~ 3 배보다 더 잘 수행된다는 것을 발견했습니다. Navlakha는이보다 표준 기술에서 객체는 몇 가지 기본 기능 또는 치수에 중점을 두어 비교되었습니다.) 플라이 기반 접근법은“비슷한 수준의 정확도를 얻기 위해 계산이 적은 계산 정도에 사용된다”고 말했다. "따라서 비용이나 성능이 이겼습니다."
Nowotny, Navlakha 및 Delahunt는 본질적으로 훈련되지 않은 네트워크가 이미 분류 계산 및 유사한 작업에 유용 할 수 있음을 보여주었습니다. 이러한 인코딩 체계를 구축하면 시스템이 후속 학습을보다 쉽게 만들 수 있습니다. 예를 들어 내비게이션 또는 메모리와 관련된 작업 (예 :변화하는 조건) (예 :방해가 된 경로)가 시스템을 배울 시간이 많거나 배울 수있는 많은 사례가없는 상황에 사용될 수 있습니다.
Peng과 그의 동료들은 그에 대한 연구를 시작하여 일련의 겹친 이미지에서 친숙한 경로를 탐색하는 방법에 대한 결정을 내릴 ALT 후각 모델을 만들었습니다.
현재 검토중인 작업에서 Navlakha는 과거에 수천 개의 유사한 물체에 노출 된 후에도 새로운 것으로 인식하는 유사한 후각 기반 방법을 적용했습니다.
.그리고 Nowotny는 후각 시스템이 혼합물을 처리하는 방법을 조사하고 있습니다. 그는 이미 다른 기계 학습 문제에 대한 적용 가능성을보고 있습니다. 예를 들어, 유기체는 일부 냄새를 단일 향기와 다른 냄새로 인식합니다. 사람은 수십 개의 화학 물질을 복용하고 장미 냄새를 맡았거나 근처의 빵집에서 같은 수의 화학 물질을 감지하고 커피와 크루아상을 구별 할 수 있습니다. Nowotny와 그의 팀은 분리 가능한 냄새가 동시에 인식되지 않는다는 것을 발견했습니다. 오히려 커피와 크루아상 냄새는 교대로 매우 빠르게 처리됩니다.
그 통찰력은 인공 지능에도 유용 할 수 있습니다. 예를 들어 칵테일 파티 문제는 시끄러운 환경에서 수많은 대화를 분리하는 것이 얼마나 어려운지를 나타냅니다. 방에 여러 스피커가 주어지면 AI는 사운드 신호를 매우 작은 시간 창으로 자르면이 문제를 해결할 수 있습니다. 시스템이 한 스피커에서 나오는 소리를 인식하면 다른 스피커의 입력을 억제하려고 시도 할 수 있습니다. 이렇게 번갈아 가면 네트워크가 대화를 풀 수 있습니다.
곤충 사이보그를 입력하십시오
지난 달 과학적 사전 인쇄 사이트 Arxiv.org에 게시 된 논문에서 Delahunt와 그의 워싱턴 대학 동료 J. Nathan Kutz는“곤충 사이보그”라고 부르는 것을 만들어 한 단계 더 나아가서 한 단계 더 발전했습니다. 그들은 나방 기반 모델의 출력을 기계 학습 알고리즘의 입력으로 사용했으며 이미지를 분류하는 시스템의 능력이 향상되었습니다. Delahunt는“기계 학습 알고리즘에 더 강력한 재료를 제공 할 수 있습니다. "나방 뇌에 의해 다른 종류의 구조가 꺼내고 있으며, 다른 종류의 구조를 갖는 것은 기계 학습 알고리즘에 도움이됩니다."
.일부 연구자들은 이제 다른 형태의 학습이 더 깊은 네트워크에서 어떻게 조정될 수 있는지 알아 내기 위해 후각으로 연구를 사용하기를 희망합니다. 펭은“그러나 지금 당장 우리는 조금만 다루었습니다. "현재 딥 러닝 시스템을 개선하는 방법은 잘 모르겠습니다."
시작해야 할 곳은 후각 기반 아키텍처를 구현할뿐만 아니라 시스템 입력을 정의하는 방법을 알아낼 수 있습니다. Science Advances 에 방금 출판 된 논문에서 , Salk Institute의 Tatyana Sharpee가 이끄는 팀은 냄새를 설명하는 방법을 찾았습니다. 이미지는 일종의 "시각적 공간"에서 픽셀 사이의 거리에 따라 다소 유사합니다. 그러나 이러한 종류의 거리는 후각에는 적용되지 않습니다. 구조적 상관 관계는 신뢰할 수있는 베어링을 제공 할 수 없다. 유사한 화학 구조를 가진 냄새는 매우 다른 것으로 인식 될 수 있으며, 매우 다른 화학 구조를 가진 냄새는 유사한 것으로 인식 될 수있다.
Sharpee와 그녀의 동료들은 대신 자연에서 얼마나 자주 발견되는지에 따라 냄새 분자를 정의했습니다 (연구의 목적을 위해 그들은 다양한 과일과 다른 물질의 샘플에서 얼마나 자주 발생하는지를 조사했습니다). 그런 다음 그들은 냄새 분자를 공동 활성화하는 경향이 있다면 냄새 분자를 더 가깝게 배치하여 맵을 만들었습니다. 그들은 도시가 구 (지구)에 맵핑되는 것처럼, 냄새 분자는 과장된 공간에 맵핑되며, 안장처럼 보이는 부정적인 곡률을 가진 구입니다.
.Sharpee는 기계 학습 알고리즘에 쌍곡 구조를 가진 공급 입력이 덜 구조화 된 물체의 분류에 도움이 될 수 있다고 추측했습니다. 그녀는“딥 러닝에서 입력이 유클리드 메트릭으로 수행되어야한다는 시작 가정이있다”고 말했다. "나는 그 지표를 쌍곡선으로 바꿀 수 있다고 주장 할 것이다." 아마도 그러한 구조는 딥 러닝 시스템을 더욱 최적화 할 수 있습니다.
공통 분모
지금, 이것의 대부분은 이론적으로 남아 있습니다. Navlakha와 Delahunt의 작업은 후각에서 영감을 얻은 모델이 차이를 만들어내는 지 여부를 결정하기 위해 훨씬 더 어려운 기계 학습 문제까지 확장되어야합니다. Nowotny는“이것은 여전히 여전히 떠오르고 있다고 생각합니다. "우리는 얼마나 멀리 갈지 볼 것입니다."
연구자들이 희망을주는 것은 후각 시스템의 구조가 많은 종, 특히 해마에 걸쳐 기억과 내비게이션에 연루된 해마 및 운동 제어를 담당하는 소뇌에 대한 뇌의 다른 영역에 대한 인상적인 유사성입니다. 후각은 박테리아의 화학 감각으로 거슬러 올라가는 고대 시스템이며, 모든 유기체에 의해 그들의 환경을 탐구하기 위해 어떤 형태로 사용됩니다.
.Marblestone은“이것은 우리가 일반적으로 피질이라고 부르는 모든 것들의 진화 적 기원 지점에 더 가깝게 보입니다. 후각은 학습을위한 공통 분모를 제공 할 수 있습니다. 컬럼비아의 신경 과학자 인 Ashok Litwin-Kumar는“이 시스템은 우리에게 다양한 유기체의 다양한 것들에 사용되는 정말 보존 된 건축물을 제공합니다. "학습에 좋은 근본적인 것이 있어야합니다."
후각 회로는 해마와 소뇌가 사용하는보다 복잡한 학습 알고리즘과 계산을 이해하고 AI에 그러한 통찰력을 적용하는 방법을 알아내는 관문 역할을 할 수 있습니다. 연구원들은 이미 현재 기계 학습 아키텍처 및 메커니즘을 개선 할 수있는 방법을 제공하기를 희망하면서 관심과 다양한 형태의 기억과 같은인지 과정으로 전환하기 시작했습니다. 그러나 후각은 그러한 연결을 단축하기 시작하는 더 간단한 방법을 제공 할 수 있습니다. Marblestone은“이것은 흥미로운 넥서스 포인트입니다. “차세대 신경 그물에 대해 생각하는 진입 점.”
