Line data    Source code

       1              : // SPDX-License-Identifier: Apache-2.0
       2              : /**
       3              :  * Copyright (C) 2024 Hyunwoo LEE <dlgusdn0414@snu.ac.kr>
       4              :  *
       5              :  * @file   lr_scheduler_cosine.h
       6              :  * @date   7 October 2024
       7              :  * @brief  This is CosineAnnealing Learning Rate Scheduler class
       8              :  * @see    https://github.com/nnstreamer/nntrainer
       9              :  * @author Hyunwoo LEE <dlgusdn0414@snu.ac.kr>
      10              :  * @bug    No known bugs except for NYI items
      11              :  *
      12              :  */
      13              : 
      14              : #ifndef __LEARNING_RATE_SCHEDULER_COSINE__
      15              : #define __LEARNING_RATE_SCHEDULER_COSINE__
      16              : #ifdef __cplusplus
      17              : 
      18              : #include <string>
      19              : 
      20              : #include <common_properties.h>
      21              : #include <lr_scheduler.h>
      22              : 
      23              : namespace nntrainer {
      24              : 
      25              : /**
      26              :  * @class   CosineAnnealing Learning Rate Scheduler class
      27              :  * @brief   class for CosineAnnealing Learning Rate Schedulers
      28              :  */
      29              : class CosineAnnealingLearningRateScheduler : public LearningRateScheduler {
      30              : 
      31              : public:
      32              :   /**
      33              :    * @brief Construct a new Cosine Annealing learning rate scheduler object
      34              :    *
      35              :    */
      36              :   CosineAnnealingLearningRateScheduler();
      37              : 
      38              :   /**
      39              :    * @copydoc LearningRateScheduler::getLearningRate(size_t iteration) const
      40              :    */
      41              :   virtual double getLearningRate(size_t iteration) override;
      42              : 
      43              :   /**
      44              :    * @copydoc LearningRateScheduler::finalize()
      45              :    *
      46              :    */
      47              :   virtual void finalize() override;
      48              : 
      49              :   /**
      50              :    * @copydoc LearningRateScheduler::exportTo(Exporter &exporter, const
      51              :    * ml::train::ExportMethods& method)
      52              :    */
      53              :   void exportTo(Exporter &exporter,
      54              :                 const ml::train::ExportMethods &method) const override;
      55              : 
      56              :   /**
      57              :    * @copydoc LearningRateScheduler::setProperty(const std::vector<std::string>
      58              :    * &values)
      59              :    */
      60              :   void setProperty(const std::vector<std::string> &values) override;
      61              : 
      62              :   /**
      63              :    * @copydoc LearningRateScheduler::getType() const
      64              :    *
      65              :    */
      66            0 :   const std::string getType() const override {
      67            0 :     return CosineAnnealingLearningRateScheduler::type;
      68              :   }
      69              : 
      70              :   static constexpr const char *type = "cosine";
      71              : 
      72              : private:
      73              :   std::tuple<props::MaxLearningRate, props::MinLearningRate, props::DecaySteps>
      74              :     lr_props;
      75              : };
      76              : 
      77              : } /* namespace nntrainer */
      78              : 
      79              : #endif /* __cplusplus */
      80              : #endif /* __LEARNING_RATE_SCHEDULER_COSINE__ */