[ML/DL]BO - Bayesian Optimization (240414, 공부기록 4일차)

작성자의 능지 수준

Bayesian Optimization이 그냥 하이퍼파라미터 최적값 찾아주는 라이브러리다~ 의 지식만 가지고 공부를 해 보고 기록한 내용입니다.

 

reference : https://www.youtube.com/watch?v=w9D8ozS0oC4

 

 

Overview

Probabilistic surrogate model과 acquisition function에 기반하여 판단

 

observeation : 이미 test해 봤던 hyperparameter set

• 실제 loss가 어떻게 될 것인가! surrogate model이 추정
  • 실선 : 추정값, 평균 포함
  • blue area : 오차범위 포함한 예상값
  • 기존 observation보다 성능 좋을 가능성이 가장 높은 위치
    • acquisition function이 주황색 그래프로 묘사 : acquisition max

 

Acquisition Function of Bayesian Optimization

phi는 normal distribution 나타내는거

Surrogate model이 존재한다고 가정.

- 임의의 hyperparameter set을 surrogate model에 입력했을 때, 예상치인 평균정확도(loss)와 그 분산을 출력해 주는 surrogate model

 

Expected Improvement

 μ( λ ), σ 알고 있을 때, 현재까지 관측된 가장 좋은 결과(f_min)와  μ( λ )차이를 기반으로 구성됨

 

exploration, exploitation

가능성이 높은 것을 탐색   |   아직 탐색해 보지 않은 곳 탐색   |   가장 결과가 좋은 것 더 탐색해서 최적화

를 분산, normal dist.를 통해 결정

 

 

 

Surrogate model of Bayesian Optimization

평균, 분산 기반으로 존재 가능한 함수의 distribution 예측 (through Gaussian Process)

 

Process of Bayesian Optimization

가장 performance높을 가능성이 있는 point를 acquitision function에서 뽑아냄

그 point의 hyperparameter기반으로 새롭게 학습 

새로운 결과를 관측하면 surrogate model, acquisition function바뀜 until out of budget

 

단점

Time complexity : O(n^3) (n : the number of observation)

hyperparameter너무 많아서 차원 너무 커지면 잘 적용 안 됨

min-max를 설정해서 특정 box-constraints에서만 탐색한다고 가정

 

 

 

수식적인 설명은 좀 어렵다 사실 전부 이해한 것도 아님

 

그래서 high-level한 정리

 

Surrogate model : 어떻게 모델이 스스로 사전 정보를 학습하고 자동으로 업데이트 할 것인가

Acquisition Function : 수집한(학습한) 정보 기반으로 다음에 탐색할 값 어떻게 찾을것인가