거리 측정은 천문학에서 중요한 도전입니다. 인근 별의 시차와 가장 먼 은하의 붉은 편이 사이에는 많은 단계가 있습니다. 다크 에너지 러쉬로 인해 여러 대형 천문학적 조사가 우주의 가속화 된 확장을 이해하려고 노력하고 있습니다. Dark Energy Survey (DES)는 지난 1 월 관측을 완료하여 수억 명의 은하를 분류했습니다.
이러한 많은 은하의 정확한 거리 측정을 얻는 것은 어려운 일입니다. 이 문제를 해결하기 위해, 천문학적 공동체는 광도적 적색 편이 (Photo-Z 's)를 크게 사용해 왔습니다. 분광 광보다 정확하지는 않지만, 노출 시간당 측정 된 은하의 수와 관련하여 저렴하고 빠르며, 따라서 관찰은 분광 관측의 신호 대 잡음비 한계를 넘어서도록 허용합니다.
.Photo-Z를 추정하는 완전한 절차에는 여러 단계가 포함됩니다. 먼저, 이러한 분광 데이터 세트의 소스와 광도 측량의 소스와 일치하는 수많은 분광 데이터 세트를 처리해야하며, 경험적 알고리즘 (예 :신경망 및 임의의 산림), 이러한 알고리즘 (E.G. :Bias and Variance)의 검증 및, 이 작업에서 우리는 DES Science Portal 인프라가 어떻게 이러한 모든 단계를 안정적인 환경에 연결하여 일관성과 출처 제어를 보장하는 솔루션으로 제시하는지 설명합니다. 포털은 웹 애플리케이션, 워크 플로 시스템, 컴퓨터 클러스터 및 2 개의 데이터베이스를 결합한 웹 기반 도구입니다. 그것은 많은 수의 IT와 과학 사람들이 브라질 전역에 지리적으로 퍼지는 과학 사람들이 GIT를 사용하여 공동으로 개발되었습니다. 우리는 또한 DES 참가 기관들 사이의 다른 여러 국가의 DES 회원들로부터 기부금이 있습니다.
위에서 언급 한 작업 체인은 스키마에 표시된 것처럼 다음 단계에 의해 중간 제품이 생성되고 소비되는 모듈 식 워크 플로로 포털에서 실행됩니다 (그림 1). 노란색 실린더로 표시되는 데이터는 하나 이상의 독립적 인 구성 요소 (흰색 상자)로 구성 될 수있는 자기 일관된 블록 인 파이프 라인 (녹색)을 통해 흐릅니다. 대형 샘플의 Photo-Z의 컴퓨팅과 같은 데이터 집약적 인 작업의 경우 이러한 구성 요소는 컴퓨터 클러스터 (점선으로 구분 된 구성 요소)에서 병렬로 실행됩니다.
우리는 Des Y1 내부 릴리스의 데이터를 사용하여 포털에서 Photo-Zs와 관련된 파이프 라인 체인을 실행하는 예를 설명합니다. 이 파이프 라인은 과학 준비 카탈로그를 만들고 (그림 2) 과학 워크 플로에 직접 연결하는 데 사용되는 더 큰 그룹의 일부입니다 (자세한 내용은 Fausti et al. 2018 참조). 하나의 Photo-Z 알고리즘을 예로 사용하여 다른 병렬화 구성을 탐색합니다. 우리는 실행 기간이 컴퓨터 노드에서 분석 한 데이터 청크의 크기에 어떻게 의존하는지 연구하여 향후 DES 데이터 릴리스에서 실행하기위한 최적의 선택을 예측합니다.
.
이 포털은 많은 수의 협업자와 관련된 장기 프로젝트에 유용한 플랫폼으로, 많은 양의 데이터 분석을 요구하고, 미래에 언제든지 복구 할 수있는 프레임 워크 내에서 실행 된 프로세스에 대한 중요한 정보 (입력 데이터, 코드 버전, 구성 매개 변수, 출력 파일 및 결과)를 유지합니다. LSST와 같은 프로젝트 시대의 강력한 도구입니다.
