Jumping Bytes and Hopping Bits
the church of tech
Menu

통계 쿼리 예제 August 2, 2019

► 분포 별 통계 쿼리 학습의 간단한 특성화. ► 불가지론 통계 쿼리 학습의 첫 번째 특성. ► 배포 별 모노톤에 대한 알고리즘은 모든 SQ 학습 클래스를 진화. ► 이차 손실과 연결의 진화 모노톤 알고리즘. 반면에 불가지론 학습은 SQ 모델에서 훨씬 더 어렵습니다: 계산 문제(중요하지만)는 불가지론 학습에 필요한 샘플 복잡성은 실제로 액세스 권한이 있는 경우 정확한 학습에 필요한 것과 거의 동일합니다. 데이터 포인트를 반면에, 불가지론 학습은 SQ 모델에서 훨씬 더 어려워집니다 – 당신은 일반적으로 모노톤 분리와 같은 간단한 클래스에 대해서도 초다각형으로 많은 쿼리를 만들어야합니다. Feldman (진화성에 응용 프로그램과 통계 쿼리 학습의 완전한 특성) 또는 Gupta et al.에 의해이 최근 논문에 의해이 논문을 참조하십시오 (개인적으로 연결 및 통계 쿼리 장벽을 해제) SQ 모델은 노이즈를 분석하기 위해 만들어졌다 관대 한 학습 – 즉 통계 쿼리를 만들어 작동하는 알고리즘은 분류 노이즈에서 작동합니다. Aaron이 말했듯이, 우리가 밝혀진 대부분의 PAC 알고리즘은 SQ 모델에서 등가물을 가지고 있습니다. 한 가지 예외는 학습 패리티에 사용되는 Gaussian 제거입니다 (분류 노이즈 모델에서 log(n)loglog(n) 크기 패리티를 배우기 위해 영리한 응용 프로그램을 사용할 수도 있습니다). 또한 통계 쿼리로 패리티를 학습할 수 없으며 의사 결정 트리와 같은 가장 흥미로운 클래스가 패리티 함수를 시뮬레이션할 수 있다는 것을 알고 있습니다. 따라서 의사 결정 트리, DNF 등과 같은 많은 흥미로운 클래스에 대한 PAC 학습 알고리즘을 얻기 위해 통계 쿼리 모델에서 작동하지 않는 근본적으로 새로운 학습 알고리즘이 필요하다는 것을 알고 있습니다.

Kearns의 통계 쿼리(SQ) 학습 모델은 학습 알고리즘이 예제의 통계적 특성에 대한 추정치를 얻을 수 있지만 예제 를 볼 수 없는 PAC 학습 모델의 자연스러운 제한입니다(Kearns, 1998[29]). SQ 학습 모델에서 학습의 복잡성에 대한 새롭고 간단한 특성화에 대해 설명합니다. SQ 학습에 이전에 알려진 경계와는 달리 (Blum, et al., 1994; 브슈피와 펠드먼, 2002; 양, 2005; 발카사르, 외, 2007; Simon, 2007년 [9], [11], [42], [3], [37]) 우리의 특성화는 학습의 정확성과 효율성을 유지합니다.

Categories: Uncategorized