인공 지능은 우리가하지 않는 것들을 종종 그 손실에 본다. 기계는 이미지를 인식하는 데 엄청나게 능숙 해졌지만 여전히 속보는 것이 쉽습니다. 입력 이미지에 소량의 소음을 추가하면 인간의 눈에 감지 할 수 없으며 AI는 갑자기 스쿨 버스, 개 또는 건물을 타조와 같은 완전히 다른 물체로 분류합니다.
.6 월에 온라인으로 게시 된 논문에서 토론토 대학교의 Nicolas Papernot과 그의 동료들은 언어를 처리하는 다양한 종류의 머신 러닝 모델을 연구하고 인간이 보이지 않는 프로세스에서 입력 텍스트를 채취하여 그들을 속이는 방법을 찾았습니다. 숨겨진 지시 사항은 컴퓨터가 텍스트 뒤의 코드를 읽을 때만 글자를 메모리의 바이트에 매핑 할 때만 보입니다. Papernot의 팀은 공백을 인코딩하는 단일 문자와 같은 작은 추가조차도 모델의 텍스트 이해에 혼란을 일으킬 수 있음을 보여주었습니다. 그리고 이러한 믹스 업은 인간 사용자에게도 결과를 초래합니다. 한 예에서, 단일 문자로 인해 알고리즘이 사용자에게 잘못된 은행 계좌로 돈을 보내라고 지시하는 문장을 출력하게되었습니다.
.이러한 속임수 행위는 적대적 사례로 알려진 공격 유형이며, 알고리즘을 속이고 실수를 유발하도록 설계된 입력에 대한 의도적 인 변화입니다. 이 취약점은 2013 년 AI 연구에서 연구원들이 깊은 신경망을 속일 때 두드러졌습니다.
현재, 우리는 이미지, 텍스트 또는 기타의 적대적 예제에 대한 어리석은 솔루션이 없습니다. 그러나 희망이 있습니다. 이미지 인식을 위해, 연구원들은 의도적으로 적대적인 이미지로 깊은 신경 네트워크를 훈련시켜 더 편안하게 볼 수 있습니다. 불행히도, 적대적 훈련으로 알려진이 접근법은 모델이 본 적의 예에서만 잘 방어됩니다. 또한 비전자 이미지에서 모델의 정확도를 낮추고 계산 비용이 많이 듭니다. 최근에 인간 이이 같은 공격으로 인해 거의 속임수가 없다는 사실은 일부 과학자들이 우리 자신의 생물학적 비전에서 영감을 얻은 해결책을 찾게되었습니다.
브리스톨 대학교 (University of University of Bristol)의 계산 신경 과학자 인 벤자민 에반스 (Benjamin Evans)는“진화는 수백만 년 동안 많은 유기체를 최적화 해 왔으며 매우 흥미롭고 창의적인 솔루션을 발견했습니다. "그 솔루션을 엿볼 수 있고 우리가 그들을 리버스 엔지니어링 할 수 있는지 확인해야합니다."
.FOVEA
에 중점을 둡니다인간과 기계의 시각적 인식 사이의 첫 번째 눈부신 차이는 대부분의 인간이 우리의 눈을 통해 세상을 처리하고 깊은 신경망은 그렇지 않다는 사실로 시작합니다. 우리는 눈덩이 뒤의 동공 뒤에있는 작은 구덩이 인 Fovea의 위치로 인해 시야 중간에서 가장 명확하게 볼 수 있습니다. 그곳에서 빛을 감지하는 수백만의 광 수용체는 다른 어느 곳보다 더 조밀하게 함께 포장됩니다.
매사추세츠 기술 연구소 (Massachusetts Institute of Technology)의 계산 신경 과학자이자 뇌, 마인드, 머신 센터 (Massachusetts Institute of Technology)의 계산 신경 과학자 인 토마 소 포지오 (Tomaso Poggio)는“우리는 주변의 모든 것을 볼 수 있다고 생각하지만 그것은 환상이 크다고 생각합니다.
기계는 이미지에서 모든 픽셀의 색상과 밝기를 나타내는 숫자의 그리드를 분석하여“참조”합니다. 이것은 전체 시력 분야에서 동일한 시력을 가지고 있음을 의미합니다 (또는 오히려 숫자의 그리드). Poggio와 그의 공동 작업자들은 분명한 초점과 흐릿한 경계를 통해 우리의 눈과 같은 방식으로 이미지를 처리하는 것이 주변의 소음의 영향을 줄임으로써 대적 견고성을 향상시킬 수 있는지 궁금해했습니다. 그들은 한 곳에서 고해상도를 표시하기 위해 이미지를 편집하여 깊은 신경망을 훈련 시켰으며, 우리의 눈이 집중할 수있는 곳에서 흉내 내고 해상도가 줄어들면서 바깥쪽으로 확대되었습니다. 우리의 눈은 이미지의 여러 부분을 고정하기 위해 움직이기 때문에 고해상도의 다른 영역을 가진 동일한 이미지의 많은 버전도 포함되어 있습니다.
작년에 발표 된 그들의 결과는 "Foveated"이미지로 훈련 된 모델이 정확도가 떨어지지 않고 적대적인 예에 대한 성능을 향상 시켰다고 제안했습니다. 그러나 그들의 모델은 여전히 최상의 비 생물학적 솔루션 인 적대 훈련만큼 공격에 효과적이지 않았다. Poggio의 실험실에서 Arturo Deza와 Andrzej Banburski의 두 명의 박사후 연구원들은 우리의 주변 비전에서 발생하는 컴퓨터에 더 중점을 둔보다 복잡한 도포 컴퓨팅을 통합 하여이 작업 라인을 계속하고 있습니다.
.미러링 시각 뉴런
물론, 우리 눈의 세포에 부딪히는 빛은 첫 번째 단계 일뿐입니다. Photoreceptors의 전기 신호가 눈의 뒤에서 빠져 나가면, 그들은 뇌 뒤에서 시각적 가공의 자리에 도달 할 때까지 신경 섬유를 따라 이동합니다. 라인의 방향과 같은 시각적 특징을 나타내도록 개별 뉴런이 어떻게 계층 적으로 구성되어 있는지에 대한 초기 획기적인 획기적인 획기적인 것은 1980 년에 컴퓨터 과학자 Kunihiko Fukushima가 컴퓨터 과학자 Kunihiko Fukushima에게 영감을주었습니다. 이것은 현재 시각적으로 사용되는 이미지 처리에 널리 사용되는 기계 학습 모델의 유형입니다.
CNN은 이미지를 스캔하는 필터를 사용하여 객체의 가장자리와 같은 특정 기능을 추출합니다. 그러나 시각적 피질에서 발생하는 처리는 여전히 크게 다르고 더 복잡하며, 일부는 그것을 더 밀접하게 반영하면 기계가 우리처럼 더 많은 것을 볼 수 있다고 생각합니다.
MIT의 James Dicarlo의 실험실과 브리스톨 대학교의 Jeffrey Bowers 가이 일을 해왔습니다. (DiCarlo는 Simons Foundation으로부터 자금을 수신하는데,이 편집자 독립적 인 출판물에도 자금을 지원합니다.) 두 실험실 모두 단일 뉴런이 주요 시각 피질로 알려진 영역에서 단일 뉴런이 시각 정보를 추출하는 방법에 대한 특수 필터를 추가했으며 Dicarlo의 실험실은 뇌의 소음성 뉴런을 의미하는 소음 발전기와 같은 기능을 추가하여 Rmangle Times에서 화재를 일으켰습니다. 이러한 추가 사항은 텍스처 (일반적인 AI 문제)에 대한 과도한 관계를 지키고 흐릿함과 같은 이미지 왜곡에 어려움을 겪음으로써 기계 비전을 더 인간적인 것처럼 만들었습니다.
Dicarlo의 실험실이 적대적인 사례에 대해 수프 업 CNN을 시험해 보았을 때, 결과는 수정이 표준 CNN 모델에 비해 깨끗한 이미지에 대한 최소한의 정확도만으로 적대 이미지에 대한 정확도가 4 배나 높아 졌다고 제안했습니다. 또한 적대적인 훈련 방법보다 성능이 뛰어 났지만 훈련 중에 사용되지 않은 적대적 이미지의 유형에 대해서만 성능이 우수했습니다. 그들은 생물학적으로 영감을 얻은 모든 추가가 함께 공격을 방어하기 위해 함께 일했으며, 가장 중요한 것은 모든 인공 뉴런에 모델이 추가 된 임의의 소음입니다.
.11 월에 발표 된 새로운 회의 논문에서 Dicarlo의 실험실은 다른 팀과 협력하여 신경 소음의 영향을 더 연구했습니다. 그들은 우리의 청각 시스템에서 영감을 얻은 새로운 인공 신경망에 무작위 소음을 추가했습니다. 그들은이 모델이 또한 음성 소리에 대한 적대적인 예를 성공적으로 지키고 있다고 주장하며, 다시 임의의 소음이 큰 역할을했음을 발견했습니다. Dicarlo의 실험실의 박사 과정 학생이자 논문의 공동 저자 인 Joel Dapello는“우리는 여전히 소음이 다른 기능과 상호 작용하는 이유를 알지 못했습니다. “이것은 꽤 열린 질문입니다.”
수면 기계
우리의 눈이 닫히고 시각적 피질이 처리되지 않을 때 우리의 두뇌가하는 일은 외부 세계를 처리하는 것이 공격에 대한 생물학적 갑옷에게도 중요 할 수 있습니다. 샌디에고 캘리포니아 대학교 (University of California)의 전산 신경 과학자 인 Maksim Bazhenov는 우리가 잠을자는 동안 뇌에서 일어나는 일을 연구하는 데 20 년이 넘는 시간을 보냈습니다. 최근에 그의 실험실은 알고리즘에 잠을 자게하는 것이 적대적인 예를 포함하여 AI 문제를 해결할 수 있는지 조사하기 시작했습니다.
그들의 아이디어는 간단합니다. 수면은 기억 통합에 중요한 역할을하며, 이는 우리의 두뇌가 최근의 경험을 장기 기억으로 바꾸는 방법입니다. Bazhenov와 같은 연구원들은 수면이 우리가 매일 만나는 것에 대한 일반적인 지식을 구축하고 저장하는 데 기여할 수 있습니다. 이 경우, 비슷한 일을하는 인공 신경망은 주제에 대한 일반화 된 지식을 저장하는 데 더 나아질 수 있습니다.
Bazhenov는“수면은 뇌가 실제로 외부 입력을 끄고 내부 표현을 처리 할 시간이있는 단계입니다. "그리고 생물학적 시스템처럼 [기계]는 어느 정도의 수면이 필요할 수 있습니다."
.Bazhenov의 실험실은 대학원생 Timothy Tadros가 이끄는 2020 년 컨퍼런스 논문에서 이미지를 인식하도록 훈련 한 후 수면 단계를 통해 인공 신경 네트워크를 넣었습니다. 수면 중에 네트워크는 더 이상 역전으로 알려진 오류 최소화에 의존하는 일반적인 학습 방법에 따라 뉴런 간의 연결을 더 이상 업데이트하지 않았습니다. 대신, 네트워크는 감독되지 않은 방식으로 연결을 자유롭게 업데이트 할 수 있었으며, 뉴런이 Hebbian 소성이라는 영향력있는 이론에 따라 우리의 뉴런이 연결을 업데이트하는 방식을 모방했습니다. 수면 후, 신경망은 잠을 자지 못한 신경망과 비교하여 속보가되기 전에 적대적인 예에 더 많은 소음을 추가해야했습니다. 그러나 비분자 이미지에 대한 정확도가 약간 감소했으며 일부 유형의 공격에 대한 대적 훈련은 여전히 더 강력한 방어였습니다.
불확실한 미래
적대적 사례로부터 보호하기위한 생물학적으로 영감을 얻은 접근법을 개발하는 최근의 진보에도 불구하고, 입증 된 솔루션으로 받아 들여지기 전에 갈 길이 멀다. 다른 연구원이 이러한 방어를 물리 칠 수 있기까지는 시간 문제 일 수 있습니다.
모든 사람이 생물학이 볼 수있는 올바른 장소라고 확신하는 것은 아닙니다.
카네기 멜론 대학 (Carnegie Mellon University)의 컴퓨터 과학자 Zico Kolter는“저는이 범주의 공격에 의해 부정적인 영향을받지 않을 생물학적으로 영감을 얻은 시스템을 만드는 방법을 알기 위해 시스템의 이해 나 훈련 정도가 있다고 생각하지 않습니다. Kolter는 비 생물 학적으로 영감을 얻은 방어 방법을 적대적 사례에 대항하여 설계하는 데 큰 역할을했으며, 해결하기 어려운 문제가 될 것이라고 생각합니다.
.
Kolter는 가장 성공적인 경로는 훨씬 더 많은 양의 데이터에 대한 신경망을 훈련시키는 것이 포함될 것이라고 예측합니다.
