Bayesilainen optimointi

Bayesilainen optimointi on koneoppimismenetelmä, joka on suunniteltu tuntemattomien funktioiden globaaliin optimoimiseen iteratiivisesti . Menetelmä on tarkoitettu suuntaamaan näytteidenkeruu etsintäavarauuden lupaaville alueille ja soveltuu siksi erityisesti funktioille, joiden evaluoiminen on kallista. Menetelmää on käytetty monien erilaisten optimointiongelmien ratkaisemiseen .

Optimointistrategia

Bayesilaisessa optimoinnissa hyödynnetään Bayesin teoreemaa. Kohdefunktion arvoja ennustetaan probabilistisen sijaismallin (tyypillisesti stokastisiin prosesseihin kuuluva Gaussinen prosessi) avulla. Sijaismallia parannetaan iteratiivisesti keräämällä uusia näytteitä (mittauksia) pisteistä, jotka algoritmiin kuuluva näytteistysfunktio on osoittanut perustuen sijaismallin evaluaatioihin. Näytteistysfunktio määrittelee optimointialgoritmin näytteidenkeruustrategian, joka tasapainottaa tuntemattomien alueiden tutkimista ja lupaaviksi aiemmilla näytteidenkeruukierroksilla todettujen alueiden hyödyntämistä .

Lähteet

  1. ↑ Frazier, Peter I.: A Tutorial on Bayesian Optimization. Määritä julkaisu!8.7.2018.
  2. 1 2 3 Eric Brochu, Vlad M. Cora, Nando de Freitas: A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning. CoRR abs/1012.2599 (2010)
  3. ↑ Močkus, J.: Bayesian Approach to Global Optimization. Dordrecht: Kluwer Academic, 1989. ISBN 0-7923-0115-3
  4. ↑ Garnett, Roman: Bayesian Optimization. Cambridge University Press, 2023. ISBN 978-1-108-42578-0 Teoksen verkkoversio.
  5. ↑ Hennig, P.; Osborne, M. A.; Kersting, H. P.: Probabilistic Numerics, s. 243–278. Cambridge University Press, 2022. ISBN 978-1107163447 Teoksen verkkoversio.
  6. ↑ Matthew W. Hoffman, Eric Brochu, Nando de Freitas: Portfolio Allocation for Bayesian Optimization. Uncertainty in Artificial Intelligence: 327–336 (2011)