Wei-Chen (Walon) Chiu's Website
基於能量模型（Energy-based model）是一種基於 能量函數 來定義機率模型的方式，能量函數是用來衡量變數的 可能性 ，為什麼這裡不是說是給出機率呢？因為能量函數的輸出是個實數，能量越小也代表可能性越高，如果要換算成機率就必須要考慮所有的可能性，除上 正規化項 才能讓這個值符合機率的要求，但求解這個正規化項往往是相當困難的
很多問題其實我們也不用真的去求出正規化項，能量函數已經足夠了，例如分類問題，實際上只需要讓你的目標類別是能量最低的，其他的類別能量提高即可，能量函數的設計相當彈性，所以很多問題其實都可以放入到 EBM 框架裡來解釋，Yann LeCun 大神在最近於 ICLR 2020 也給了個 Keynote 關於 Self-supervised learning 與 EBM 的 演講 ，與YT神人 Yannic Kilcher 線上討論 EBM ，還有最近有相當多的基於能量的生成模型，甚至都有 超越 GAN 的表現 ，這經典有點老派的 EBM 最近又熱了起來，趕緊來看看！
假設我們有一個參數為 $\theta$ 的能量函數 $E_\theta(x)$，將輸入變數$x$輸出一個代表能量的實數，所以可以定義出機率函數為
Wei-Chen (Walon) Chiu's Website