越來越多AI自我優化的技術出爐,Google Brain靠強化學習自動找出深度神經網路最佳化的規則

越來越多AI自我優化的技術出爐,Google Brain靠強化學習自動找出深度神經網路最佳化的規則 Google Brain近日發表了用強化學習開發出自動尋找神經網路優化器的方法,藉由兩個網路不斷交互學習的回饋機制,自動找出深度神經網路最佳化的規則,目前也已經在Tensorflow中加入這些新找到的最佳化規則 文/何維涓 | 2018-03-31發表 */Google Brain最近宣布靠著強化學習,開發出自動尋找神經網路優化器的方法,Google表示,這個模式與過去用AutoML,探索新的競爭神經網路架構的方法類似,為了協助開發人員訓練模型,Google已經在Tensorflow中加入這些新找到的最佳化規則。在許多Google的服務中都有深度學習模型的身影,像是Google搜尋引擎、翻譯是圖片,而在訓練深度學習模型時,如何選擇優化模型的方法是非常重要的。舉例來說,梯度下降(Stochastic gradient descent)在許多情況下都非常適用,但是特別是針對深度神經網路,若更用好的優化器,可以達到更佳的效能,而神經網路非凸(Non-convex )優化的問題,非常具有挑戰性,因此,Google Brain團隊嘗試開發出自動尋找優化器的方法。在過年發表的一篇論文中,Google Brain團隊開發出一套可以探索深度學習架構優化器的方法,藉由這個方法,研究團隊找到兩個新的優化器,分別是PowerSign和AddSign,這兩個優化器在多種不同的任務和架構下,都有非常好的表現,像是ImageNet分類和神經網路機器翻譯系統。神經網路優化器的搜尋方法是透過遞歸神經網路(Recurrent Neural Network,RNN) 控制器,來取得初始典型、相關的優化器,包含梯度、組合最佳化,利用強化學習的方式,控制器會先產生候選優化器,或是更新優化的規則,來訓練子卷積神經網路(Convolutional neural network,CNN),子網路計算出準確率後,再回饋給控制器,不斷重複找到將模型最佳化的優化規則。

更多訊息更多資料都在這裡喔!~SEO~健康食品~芙婷寶~葉黃素~網站排名~磷蝦油~蜂王漿~南極冰洋磷蝦油~關鍵字排名~保健食品~GOOGLE排名~超視王~PPLS~蜂王乳~婦貴寶~台灣綠蜂膠~智勝王~神經滋養物質

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *