> 資料科學和機器學習當前越來越熱，其中涉及的優化知識頗多。很多人在做機器學習或者資料科學時，對其中和優化相關的數學基礎，包括隨機梯度下降、admm、kkt條件，拉格朗日乘數法、對偶問題等，不太了解，一知半解地用，用著用著就出錯了。> > > 本文希望從基礎知識的角度，盡可能全地對最簡單的優化理論和演算法做乙個小結。內容涵蓋以下幾個方面：優化簡介、無約束優化、線搜尋方法、信賴域方法、共軛梯度方法、擬牛頓方法、最小二乘問題、非線性方程、約束優化理論、非線性約束優化演算法、二次規劃、罰方法......> > > 通過本文件的學習，相信你會掌握資料科學和機器學習中用到的優化基礎知識，以後再遇到優化問題，就不會再困惑了。>
閱讀全文:
最優化理論 機器學習基礎
目錄常見演算法 演算法分類 比喻說明 最優化理論研究的問題是判定給定目標函式的最大值 最小值 是否存在，並找到令目標函式取到最大值 最小值 的數值。人工智慧問題最後都會歸結為乙個優化問題的求解 在複雜環境與多體互動中做出最優決策。最優化演算法可能找到全域性最小值，也可能找到區域性最小值，理想情況下，...
機器學習 資料驅動的科學
引言 傳統上，計算機會按照我們輸入的指令一步步執行。而機器學習卻是通過輸入資料而不是指令來進行各種工作。本文選自 深入淺出深度學習 原理剖析與python實踐 機器學習，也被稱為統計機器學習，是人工智慧領域的乙個分支，其基本思想是基於資料構建統計模型，並利用模型對資料進行分析和 的一門學科。傳統上，...
資料科學和機器學習面試問題
背景 網上衝浪時看到了美國某機器學習研究者寫的文章，他在幾個月裡面試了許多大公司以及創業公司，所以也記錄了很多公司問他的面試問題，他做了乙個整理和分享，下面我做簡單翻譯並整理分享，也是自我學習反省。問題在這裡，您將真正了解您的研究與業務之間的聯絡。您是否有任何您所學到的技能或可能與您的業務或您申請的...