這次的讀書筆記主要介紹機(jī)器學(xué)習(xí)背景和基礎(chǔ)概念
1 機(jī)器學(xué)習(xí)背景
數(shù)據(jù)現(xiàn)狀
20世紀(jì)70年代曾遇巨大瓶頸,原因有計(jì)算能力 + 數(shù)據(jù)量的不足。隨著互聯(lián)網(wǎng)的普及和對(duì)用戶數(shù)據(jù)的大量采集,數(shù)據(jù)量不足的問題已逐漸彌補(bǔ),機(jī)器學(xué)習(xí)算法的價(jià)值越來越大。但在傳統(tǒng)領(lǐng)域,如建筑行業(yè),數(shù)據(jù)產(chǎn)生于工地的一磚一瓦,采集起來會(huì)更困難和麻煩,隨著圖像識(shí)別技術(shù)的進(jìn)步和普及,這樣的問題能夠慢慢解決,但不得不說,傳統(tǒng)領(lǐng)域的數(shù)據(jù)智能化仍然是比較慢的進(jìn)程。(這里可以自行了解下百度在傳統(tǒng)領(lǐng)域的AI技術(shù)落地情況)。目前主流的機(jī)器學(xué)習(xí)算法是監(jiān)督學(xué)習(xí)算法,該算法需要的是打標(biāo)過的數(shù)據(jù),而數(shù)據(jù)的打標(biāo)十分依賴人工標(biāo)記,之前在實(shí)習(xí)的時(shí)候,給短視頻的標(biāo)簽做標(biāo)記都能把我搞得頭昏腦漲。人工打標(biāo)有幾個(gè)問題:成本高 + 量級(jí)小
機(jī)器學(xué)習(xí)算法現(xiàn)狀
機(jī)器學(xué)習(xí)已滲透到生活的各個(gè)方面,特別是在互聯(lián)網(wǎng)領(lǐng)域。用網(wǎng)購(gòu)場(chǎng)景來舉例。
1)你在路上看到陌生人的一件T恤你很喜歡 → 使用淘寶的【拍立淘】(圖像識(shí)別技術(shù))
2)在淘寶搜索框語音輸入商品名稱(語音轉(zhuǎn)文字技術(shù))
3)商品的個(gè)性化推薦(推薦算法)
4)商品下單 → 若錢不夠用 → 借錢 → 貸款額度顯示(由機(jī)器學(xué)習(xí)算法計(jì)算)
5)下單后 → 短時(shí)間完成商品包裝、庫存發(fā)貨到中轉(zhuǎn)庫存、從低級(jí)倉庫到高級(jí)倉庫配送、向下分發(fā)(機(jī)器學(xué)習(xí)算法)
6)快遞員配送 → 系統(tǒng)設(shè)計(jì)最優(yōu)路線(機(jī)器學(xué)習(xí)算法規(guī)劃)
7)商品投訴 → 智能客服立即回復(fù)(文本的語義分析算法,精準(zhǔn)確定問題)
以上的過程涉及了模型的訓(xùn)練和預(yù)測(cè)、語義分析、文本情感分析、圖像識(shí)別以及語音識(shí)別技術(shù)
機(jī)器學(xué)習(xí)高頻場(chǎng)景
1)聚類場(chǎng)景
人群劃分和產(chǎn)品種類劃分等
2)分類場(chǎng)景
廣告投放預(yù)測(cè)和網(wǎng)站用戶點(diǎn)擊預(yù)測(cè)等
3)回歸場(chǎng)景
降雨量預(yù)測(cè)、商品購(gòu)買量預(yù)測(cè)和股票成交額預(yù)測(cè)等
4)文本分析場(chǎng)景
新聞標(biāo)簽提取、文本自動(dòng)分類和文本關(guān)鍵信息抽取
5)關(guān)系圖算法
社交網(wǎng)絡(luò)關(guān)系網(wǎng)絡(luò)關(guān)系挖掘和金融風(fēng)險(xiǎn)控制等
6)模式識(shí)別
語音識(shí)別、圖像識(shí)別和手寫字識(shí)別
總評(píng)
機(jī)器學(xué)習(xí)+ 是大趨勢(shì)
2 基本概念
機(jī)器學(xué)習(xí)流程
1)場(chǎng)景解析
把業(yè)務(wù)邏輯和算法進(jìn)行匹配
2)數(shù)據(jù)預(yù)處理
清洗數(shù)據(jù),將數(shù)據(jù)進(jìn)行歸一化或標(biāo)準(zhǔn)化,減少量綱和噪音。
3)特征工程
機(jī)器學(xué)習(xí)最重要步驟。在算法固定的情況下,特征的選擇決定了模型的效果
4)模型訓(xùn)練
訓(xùn)練數(shù)據(jù)經(jīng)過了預(yù)處理 + 特征工程后進(jìn)入訓(xùn)練階段。
5)模型評(píng)估
對(duì)各模型的預(yù)測(cè)結(jié)果評(píng)估
6)離線/在線服務(wù)
數(shù)據(jù)源結(jié)構(gòu)
1)結(jié)構(gòu)化數(shù)據(jù)
矩陣結(jié)構(gòu)存儲(chǔ),通常包含特征列+目標(biāo)列。機(jī)器學(xué)習(xí)算法通常只支持結(jié)構(gòu)化數(shù)據(jù)
2)非結(jié)構(gòu)化數(shù)據(jù)
圖像、文本或語音文件,不以矩陣機(jī)構(gòu)存儲(chǔ),是目前技術(shù)熱點(diǎn),通常將其轉(zhuǎn)化為二進(jìn)制存儲(chǔ)格式
3)半結(jié)構(gòu)化數(shù)據(jù)
典型的半結(jié)構(gòu)化數(shù)據(jù)是XML拓展名的存儲(chǔ)數(shù)據(jù)
算法分類
1)監(jiān)督學(xué)習(xí)
有特征值+目標(biāo)隊(duì)列,依賴打標(biāo),常用于回歸和分類算法
2)無監(jiān)督學(xué)習(xí)
無目標(biāo)值,不依賴數(shù)據(jù)的打標(biāo),通常用于聚類算法
3)半監(jiān)督學(xué)習(xí)
對(duì)樣本的部分進(jìn)行打標(biāo),一種半監(jiān)督算法 —— 標(biāo)簽傳播算法
4)強(qiáng)化學(xué)習(xí)
人工智能領(lǐng)域熱點(diǎn)。系統(tǒng)與外界不斷交互,從而決定自身的行為,如無人汽車駕駛和阿法狗下圍棋
使用機(jī)器學(xué)習(xí)算法常見問題
過擬合問題
算法結(jié)果評(píng)估
1、精確率、召回率、F1值
2、ROC和AUC
另外還需要了解的指標(biāo):TP、FP、TN、FN
總評(píng)
基礎(chǔ)概念的理解有利于幫助入門
來源:網(wǎng)絡(luò)整理 免責(zé)聲明:本文僅限學(xué)習(xí)分享,如產(chǎn)生版權(quán)問題,請(qǐng)聯(lián)系我們及時(shí)刪除。