從入學到入職
系統化全方位服務
助力直通架構師
人工智能算法班
對標阿里P7的線上職后課
千鋒(feng)教育-做有情懷、有良心、有品質(zhi)的(de)職(zhi)業教育機構
千鋒(feng)教育-做有情懷、有良心、有品質(zhi)的(de)職(zhi)業教育機構
一．特征向量和距離
1.人工智能技術綜述(shu)
1.1 人工智能和機器學習的關系
1.2 人工智能主要方向剖析
1.3 人(ren)工(gong)智(zhi)能學(xue)習路線規劃(hua)
2.特征提(ti)取：物理世界的數(shu)學描(miao)述
2.1 onehot和multihot
2.2 圖像(xiang)特征和邊緣提取
2.3 連續特征的正規化(hua)和分段
2.4 行為類特征(zheng)的向量化
2.5 社交(jiao)類(lei)特征的向(xiang)量化
2.6 離散特征(zheng)的向量化
3.向量之間的(de)距離(li)計算以及使用場景
3.1 歐(ou)氏距離(li)、海明(ming)距離(li)、閔可夫斯(si)基距離(li)
3.2 內積距離
3.3 雅克比相似度和雅克比距離
3.5 各類距離的比較以及優缺點
3.6 numpy入門(men)以及距(ju)離計算
二．線性回歸
1.線性回歸概述
1.1線(xian)性回(hui)歸的定(ding)義
1.2線性(xing)回歸(gui)的適用場(chang)景
1.3嶺回歸
2.模型評估
2.1線性(xing)回歸的(de)評測方(fang)法
2.2訓(xun)練集和測(ce)試(shi)集
2.3模型(xing)的泛(fan)化能力
3.模型學習方法
3.1損失函數MSE和最小二乘法
3.2導(dao)數的(de)定義和計算(suan)
3.4 極(ji)大值和極(ji)小值
3.5梯度下降法
3.6 從幾何角度理(li)解梯度下降法
4.sklearn框架
4.1 sklearn框架的介紹、安裝方(fang)法
4.2 使(shi)用sklearn完(wan)成線性(xing)回(hui)歸模型(xing)
5.深入(ru)理(li)解線性回歸(gui)
5.1多項式(shi)回歸(gui)解決非線性問題(ti)
5.2 特(te)征(zheng)冗(rong)余和噪(zao)音特(te)征(zheng)
5.3 線性(xing)回(hui)歸和正(zheng)態分布
三．邏輯回歸
1.分類任務和概率
1.1多分類和(he)二(er)分類
1.2 分類模(mo)型(xing)和概率模(mo)型(xing)
2.邏輯回歸
2.1感(gan)知器及其局限性
2.2 Sigmoid函數詳解
2.3 邏輯回歸在分類問題上的應用
2.4 模(mo)型的(de)正(zheng)則化
3.梯度下降法
3.1 Sigmoid函數的導數推導
3.2 邏輯回(hui)歸的損失函數KL距離
3.3 梯度下(xia)降(jiang)法在邏輯回(hui)歸(gui)上的應用
3.4 學(xue)習因(yin)子的設定
3.5 正則(ze)項在(zai)邏輯回歸中(zhong)的必要(yao)性
4.邏輯回歸實戰
4.1 使用sklearn實現邏輯回(hui)歸
4.2 使(shi)用TensorFlow實現邏輯回(hui)歸
4.4 邏輯回(hui)歸調參指南
5.損失函(han)數的選擇和對比
5.1KL距(ju)離和MSE的區別
5.2 KL距離背(bei)后的統計學(xue)原理
5.3 KL距離和交叉熵(shang)
6.邏(luo)輯(ji)回歸的統計(ji)學原理
6.1最大(da)似(si)然估計和(he)KL損失(shi)函數
6.2.邏輯回歸和(he)正態(tai)分布
7.模型的正則化
7.1 L1正(zheng)(zheng)則和L2正(zheng)(zheng)則的(de)異同
7.2正(zheng)則(ze)化和過擬合
7.3 從概率的角度理解正則化(hua)
7.4 sklearn如何進行正則化的實現
8.分類模型的評(ping)價(jia)指標(biao)
8.1 正確(que)率(lv)(lv)，準確(que)率(lv)(lv)和召回率(lv)(lv)
8.2 AUC和ROC
8.3 各類(lei)分類(lei)指標的優點(dian)、局限(xian)性
8.4 代(dai)碼(ma)實戰各(ge)類指標的計算
四、無監督模型
1.Kmeans模型(xing)
1.1聚類的目的和意(yi)義
1.2 Kmeans模型(xing)詳解以及參(can)數學習
1.3使(shi)用sklearn進行(xing)Kmeans模型實(shi)戰
1.4 Kmeans模型的缺點
1.5 Kmeans各類(lei)改進版(ban)本
1.6 EM算法詳(xiang)解
1.7 Kmeans算法和邏輯回歸(gui)
2.隱(yin)式(shi)主(zhu)題模(mo)型-LDA
2.1 LDA模型的原理
2.2 LDA模型(xing)的求(qiu)解
2.3 LDA主(zhu)題模型實(shi)戰(zhan)：推薦系(xi)統(tong)中的應用
2.4 LDA模(mo)型背后的概率意(yi)義
2.5.吉布斯采樣
2.6 LDA模型(xing)代(dai)碼實(shi)戰
五(wu)、因(yin)子(zi)分解模型(xing)-FM模型(xing)
1.特(te)征(zheng)交叉(cha)原理(li)和(he)FM模型
1.1 特征交叉的原理和意(yi)義(yi)
1.2特征交叉的數學(xue)實(shi)現
1.3通過內(nei)積簡化特征交(jiao)叉
1.4 FM模型(xing)原理詳解
1.5 FM模(mo)型和邏輯回歸(gui)異同解(jie)析(xi)
2.FM模型的數學推(tui)導
2.1 FM模型在數學上的化簡(jian)
2.2梯度下降法(fa)在FM模型中的應用
3.使(shi)用python進行(xing)FM模型實戰
六、深度神經網絡
1.深層模型的意義
1.1特征變換(huan)和特征提(ti)取
1.2 激活函數的(de)意義和必要性
1.3 深(shen)層模型(xing)架構(gou)
1.4 softmax函數(shu)和(he)多分類
1.5 深度(du)學習和(he)神經(jing)網絡(luo)
1.6 shortcut結構(gou)詳解
2.常見激活函數
2.1 sigmoid激活函數詳解(jie)
2.2 tanh激活函(han)數詳(xiang)解
2.3 relu激活函數詳解(jie)
2.4 relu函數的(de)改進版本詳解
3.softmax函數和多分(fen)類(lei)
3.1 softmax函數的(de)推導(dao)和onehot向量的(de)關系
3.2 softmax的導數推導
3.3多分類和多標簽
4.深度學習實戰
4.1主流機器學(xue)習框架平(ping)臺介紹
4.2 TensorFlow和keras框架詳(xiang)解
4.3如何調用(yong)自己的GPU
4.4深度學習實(shi)戰：用keras搭建自己的神經網絡(luo)
七、深度學習進階
1.梯度下降法
1.1 矩陣(zhen)和向量的求導法(fa)則
1.2 矩陣和向量(liang)的鏈式法則
1.3 梯(ti)度(du)下降法在(zai)深層(ceng)神(shen)經網絡中的推導(dao)和應用
1.4 梯度消失和梯度爆炸產生(sheng)原因(yin)分析以及(ji)解決方案
1.5 鞍點、局部(bu)極(ji)小、以及解決(jue)方案
2. 權重初始化
2.1權重的對稱性及(ji)其危害(hai)
2.2 隨機(ji)初始化權重的方法
3. 梯(ti)度下降法及其改進
3.1傳統梯度下降法的(de)缺點
3.2 SGD算法
3.3動量法
3.4 RMSprop算(suan)法
3.5 Adam算法(fa)
3.6改進型梯度下降法在keras中的(de)實現
4.輸入的標準化
4.1 標準化(hua)的意義(yi)
4.2 批標準化(hua)以及keras的實現
4.3 層標(biao)準化以及keras的實現
5.深度學習的正則化
5.1 L1正則和L2正則在深度(du)學習(xi)中的應用
5.2 dropout以及keras實(shi)現(xian)
八、序列神經網絡
1.循環神經網絡
1.1時序模型以及使用場景
1.2 RNN模型以及(ji)keras的實現
1.3 LSTM模型(xing)以及(ji)keras的實現
1.3.GRU模型以(yi)及keras的(de)實現
1.4.時序模型(xing)代(dai)碼實戰(zhan)
2.Attention神經網絡
2.1.seq2seq架(jia)構
2.2 Attention模型
2.3 常見注意力算法
2.4 self-attention
2.5多抽頭Attention
2.6 transformer架構
2.7 attention模(mo)型在圖(tu)像中的應(ying)用(yong)
九、自然語言處理
1.word2vec和(he)fasttext
1.1.自然語言處理和語言模型
1.2.詞向量模型word2vec
1.3.skipgram和(he)cbow構建方法
1.4.霍(huo)夫(fu)曼樹(shu)和(he)負采樣
1.5.fasttext模型和文本分類
1.6.子詞模型
1.7 word2vec和fasttext的代碼實戰(zhan)
2.大模型之(zhi)Bert
2.1.NLP的龍(long)骨模型-Bert
2.2.Bert模型的訓練(lian)方法(fa)
2.3.Bert模型的應用(yong)
2.4.Bert模型(xing)實戰
2.5.Bert常(chang)見的改進(jin)方法
十、計算機視覺
1.深入理解卷積層
1.1 卷(juan)積的物理意義
1.2 卷積(ji)層的操作(zuo)方法
1.3 卷積層步長和窗口選取技巧
1.4卷積層的keras實(shi)現
1.5.常見卷積改(gai)進方法
2.池化層
2.1 最大池化
2.2 均值池化
2.3 池化層的keras實現
3.圖像分類
3.1.圖像分類常(chang)用數據集(ji)介紹：coco、imagenet 等(deng)
3.2 多層卷積神經網絡在圖像分類中(zhong)的應用
4.卷積在文本(ben)分類中(zhong)的應用
4.1 卷(juan)積(ji)在文本特(te)征提(ti)取的(de)方法
4.2 textCNN詳(xiang)解(jie)
一. 推薦系(xi)統整(zheng)體(ti)架(jia)構(gou)
1.內容(rong)生產和內容(rong)理解
1.1 推薦系統的內容生產(chan)
1.2.內容(rong)審核和內容(rong)打標
1.3.內容有效期預(yu)測
2.內容分發
2.1 召(zhao)回階(jie)段的目的、意義和設計思想
2.2 排序階段的目(mu)的、意義(yi)和設計思想
3.推薦系統(tong)的評價指標
3.1推薦系統的商業價值
3.2 日活、CTR、人均時長等指(zhi)標(biao)分析
二. 召回模型
1.基(ji)于行為類的召回
1.1 協同過濾(lv)：itemCF
1.2 協同過(guo)濾(lv)：UserCF
1.3 隨(sui)機游走(zou)模型：node2vec
1.4 行(xing)為類召回的優勢、缺點總(zong)結
2.基于內容類的召回
1.1 基于文本embedding的召(zhao)回系統
2.2 基于(yu)標簽(qian)體系的(de)召回(hui)系統
2.3 基(ji)于(yu)up主(zhu)的召(zhao)回系統
2.4 微軟DSSM雙塔召回(hui)模型
2.5 最近鄰快速檢索工(gong)具annoy和faiss
3.YoutubeDNN召回系(xi)統
3.1 用戶行(xing)為特征(zheng)、自然屬性特征(zheng)的提取，預(yu)處理和歸一化
3.2 Item特征(zheng)提取，預處(chu)理和歸一化
3.3 負采樣：NCE和sampledSoftmax
3.4 youtubeDNN召回系統
4.交叉特征召回
4.1 FM模(mo)型在召回系統(tong)中的(de)應用
4.2 FFM模型在(zai)召回(hui)系(xi)統中的(de)應用(yong)
4.3 矩(ju)陣分解SVD在(zai)召回系統中的應用(yong)
三. 排序系統
1.CTR預估
1.1 排(pai)序指標精講
1.2 AUC和userAUC
2. Deep & Cross
2.1 模型結構精講
2.2 特征交叉詳解
2.3 使用(yong)keras實現Deep & Cross模型
3.xDeepFM
3.1 模型結構精講
3.2 CIN模塊
3.3 使(shi)用keras實現xDeepFM模型
4.邏輯(ji)回歸在排序模型(xing)中的(de)應(ying)用
4.1 邏輯回歸精(jing)講
4.2 詳(xiang)解大規(gui)模特征工程
4.3 邏輯回歸在百度鳳巢系統(tong)
5.阿里(li)巴(ba)巴(ba)DIN模型(xing)詳(xiang)解
5.1 Base模(mo)型詳(xiang)解
5.2 DIN模型詳(xiang)解(jie)
5.3 DIEN模型詳解(jie)
5.4 DSIN模型詳解
6.阿里CVR預估模型ESMM
6.1 CVR預估的場景和挑(tiao)戰
6.2 ESMM模型詳解
6.3 隱式學習pCVR
6.4 樣本選擇(ze)（BBS）問題的解決方案
6.5 樣本稀疏（DS）問題的解決方(fang)案
四. 推薦(jian)系統指(zhi)標體系構(gou)建
1.AB測試
1.1 流量(liang)分桶(tong)的(de)原理(li)
1.2 AB測試置信度計算
1.3 基(ji)于分層的AB測試(shi)
2.指標評價體系
2.1 推薦系統(tong)的(de)商業價值
2.2 ctr提升的方法
2.3 人(ren)均時長(chang)提升方(fang)法
五. 微信視頻號推薦(jian)實戰
1.特征提取
1.1 文本內容特征提(ti)取
1.2 短視頻內容embedding抽取
1.3 短視(shi)頻(pin)畫(hua)面embedding抽取(qu)
1.4 短(duan)視頻多模態embedding抽取
2.推薦系統核心代(dai)碼實(shi)戰
2.1 召(zhao)回系統代碼實戰
2.2 排序系統代(dai)碼實戰
一. 序列神經網絡
1.循環神經網絡
1.1 時序模型以及使(shi)用(yong)場景(jing)
1.2 RNN模型以及(ji)keras的實現
1.3 LSTM模型以及keras的實現(xian)
1.3 GRU模型以(yi)及keras的實現
1.4 時(shi)序模型代碼實戰(zhan)
2.Attention神經網絡
2.1 seq2seq架構(gou)
2.2 Attention模(mo)型
2.3 常(chang)見注意力算法(fa)
2.4 self-attention
2.5 多抽頭Attention
2.6 transformer架構(gou)
2.7 attention模型在(zai)圖像中的應(ying)用
二. 自然語言處理入門
1.word2vec和fasttext
1.1 自然語言(yan)(yan)處理和(he)語言(yan)(yan)模型
1.2 詞(ci)向量模(mo)型word2vec
1.3 skipgram和(he)cbow構建方(fang)法
1.4 霍夫(fu)曼(man)樹和負(fu)采樣
1.5 Facebook 的(de)fasttext模(mo)型(xing)和文本分類(lei)
1.6 子詞模型
1.7 word2vec和fasttext的代碼實戰
2.卷積(ji)在文本(ben)分類中的應用
2.1 卷積在文本特征提(ti)取的方(fang)法
2.2 textCNN詳解
三. 大規模預(yu)訓練模型(xing)
1.Google Bert模型(xing)精講
1.1 NLP的龍骨模型-Bert
1.2 Bert模型的訓練方法(fa)
1.3 Bert模型的應用
1.4 Bert模型實戰
2.Bert模(mo)型改進(jin)
2.1 Elmo模型精講
2.2 GPT1.0~GPT2.0精講模(mo)型(xing)
2.3 XLNet模型精講
2.4 RoBERT模型精講
2.5 ALBert模型精(jing)講
2.6 T5模型(xing)精講
四. 中文自然語言處理
1.百(bai)度ernie模型
1.1 paddle框架(jia)學(xue)習
1.2 知識(shi)圖(tu)譜(pu)構建
1.3 ernie大模型訓練精講
1.4 ernie大模型使用(yong)場景(jing)精講
2.中文分詞精講
1.1 序列標注與深度學習
1.2 HMM模型精(jing)講
1.3 CRF模(mo)型精講(jiang)
1.4 CRF和LSTM結(jie)合精(jing)講
1.5 中文分詞代碼實戰
3.新詞發現
1.1 信息(xi)熵和大數據
1.2 中文信息(xi)熵計算(suan)
1.3 基于(yu)信(xin)息熵(shang)的中文新(xin)詞發現
五. 自然語(yu)言處理項目(mu)精講
1.京(jing)東客服：智能聊天(tian)機器(qi)人
1.1 智能聊天(tian)機器人整體(ti)框架(jia)
1.2 文本匹(pi)配(pei)模(mo)型
1.3 深度語義理解模型(xing)
1.4 Attention和語義匹配
1.5 度量(liang)學習和語義快速檢索
2.騰訊新(xin)聞(wen)：內容平臺的文本分(fen)類
2.1 文本分類(lei)任務：多標簽和多分類(lei)
2.2 情感分析實戰
2.3 垃圾過(guo)濾實戰
2.4 樣本不(bu)均衡(heng)和解決(jue)方案
3.騰(teng)訊(xun)百(bai)萬級(ji)實(shi)體知識圖(tu)譜(pu)精講(jiang)
3.1 結構化數據的抽取
3.2 neo4j數據庫介(jie)紹和常見查詢語句
3.3 transE模型及其改(gai)進
3.4 大規(gui)模圖隨機游走算法
3.5 知識(shi)圖譜的落地場景和實際應用
4.騰訊新(xin)聞內容(rong)理解-長文(wen)本標簽(qian)抽取(qu)實戰
4.1 標簽(qian)抽取和關(guan)鍵(jian)詞抽取
4.2 基(ji)于(yu)textrank的標簽抽取
4.3 異質標簽(qian)的歸(gui)一化(hua)
4.4 基于雙塔模型的(de)標簽抽(chou)取
4.5 基于(yu)分(fen)類模(mo)型的標簽抽(chou)取(qu)
5.新浪(lang)輿(yu)情系統-文本摘(zhai)要抽取
5.1 抽取式摘要抽取
5.2 基于(yu)Bert的(de)摘要抽取
5.3 基(ji)于大模型的生成式摘要
