自動機器學習簡述
三、元學習 Meta Learning
元學習也就是＂學習如何學習＂，通過對現有的學習任務之間的性能差異進行系統的觀測，然后學習已有的經驗和元數據，用于更好的執行新的學習任務。這樣做可以極大的該靜機器學習流水線或者神經網絡架構的設計，也可以用數據驅動的方式取代手工作坊似的算法工程工作。
從某種意義上來說，元學習覆蓋了超參數優化，因為元數據的學習包含了：超參數，流水線的構成，神經網絡架構，模型構成，元特征等等。
機器學習的算法我們又稱為‘學習器’，學習器就是假定一個模型，該模型擁有很多未知參數，利用訓練數據和優化算法來找到最適合這些訓練數據的參數，生成一個新的算法，或者參數已知的模型，并利用該模型／算法來預測新的未知數據。如果說世界上只有一個模型，那么問題就簡單了，問題是模型有很多，不同的模型擁有不同的超參數，我們往往還會把模型和算法組裝在一起構成復合模型和機器學習的流水線，這個時候，我就需要知道解決不同的問題要構建那些不同的模型。元學習就在這個時候，我們可以把超參數，流水線，神經網絡架構這些都看成是一個新的模型的未知參數，把不同學習任務的性能指標看成是輸入數據，這樣我們就可以利用優化算法來找到性能最好的那組參數。這個模式可以一直嵌套，也就是說，你可以有‘元元元學習‘，當然我希望你不要走得太遠，找不到回來的路。
元學習的方法包括：
通過模型評估來學習
通過任務的屬性，元特征來學習
以下列出了一些常見的元特征
從現有的模型中學習，包括：
遷移學習
利用RNN在學習過程中修改自己的權重
元學習的一個很大的挑戰就是如果通過很少的訓練數據來學習一個復雜的模型，這就是one－shot或者few－shot的問題。
像人類的學習一樣，每次學習無論成功失敗，我們都收獲一定的經驗，人類很少從頭學習。在構建自動學習的時候，我們也應該充分利用已有的每一次的學習經驗，逐步的改進，使得新的學習更加有效。
四、神經網絡架構搜索
Neural Architecture Search
提起AutoML，其實大多數人都是因為Google的AutoML系統才知道這個故事的。隨著深度學習的流行，神經網絡的架構變得越來越復雜，越來越多的手工工程也隨之而來。神經網絡架構搜索就是為了解決這個問題。
NAS主要包含三個部分：
搜索空間 search space
搜索策略 search strategy
性能估計策略 performance estimation strategy
五、自動化特征工程
自動化特征工程可以幫助數據科學家基于數據集自動創建能夠最好的用于訓練的特征。
Featuretools是一個開源庫，用來實現自動化特征工程。它是一個很好的工具，旨在加快特征生成的過程，從而讓大家有更多的時間專注于構建機器學習模型的其他方面。換句話說，它使你的數據處于“等待機器學習”的狀態。
Featuretools程序包中的三個主要組件：
實體（Entities）
深度特征綜合（Deep Feature Synthesis ，DFS）
特征基元（Feature primitives）
一個Entity可以視作是一個Pandas的數據框的表示，多個實體的集合稱為Entityset。
深度特征綜合（DFS）與深度學習無關，不用擔心。實際上，DFS是一種特征工程方法，是Featuretools的主干。它支持從單個或者多個數據框中構造新特征。
DFS通過將特征基元應用于Entityset的實體關系來構造新特征。這些特征基元是手動生成特征時常用的方法。例如，基元“mean”將在聚合級別上找到變量的平均值。
六、其它自動機器學習工具集
以下列出一些開源的自動機器學習工具空大家參考、選擇
Auto－Sklearn
AutoKeras
TPOT
H2O AutoML
Python auto＿ml
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
