⑴ RBF神經網路是什麼
RBF神經網路：探索徑向基函數的力量與應用
徑向基函數（RBF）神經網路以其獨特的激活函數在神經網路世界中占據一席之地。它以衡量點與中心點距離的數學概念為根基，與傳統的BP神經網路在前向傳播過程有所區別。RBF神經網路的核心在於其獨特的拓撲結構，包括中心向量C和寬度向量D，它們共同決定隱單元的計算和參數更新過程。
在具體實現中，Keras庫提供了一個便捷的入口，比如通過KMeans聚類演算法來確定中心點。通過構建KMeans層和RBF層，開發者可以輕松地在代碼中應用RBF神經網路。2020年11月2日的更新記錄了這些改進，想要深入了解的讀者可以參考個人博客和Matlab教程進行學習。
在實際操作中，RBF層的構建是這樣進行的：初始時，權重隨機分配於RandomUniform(0.0, 1.0)范圍，隨後根據centers和betas權重計算輸出，運用指數函數處理距離信息。在訓練過程中，輸入數據會經過標准化處理，然後計算與中心點的距離。
訓練集的創建並非復雜，比如我們可以生成兩個Gaussian分布的樣本，對應兩個類別標簽，如0和1。測試集則包括隨機生成的樣本點，通過預測結果用小圓點標記，藍色代表預測為0，綠色代表預測為1，直觀展示RBF神經網路的決策邊界。
模型訓練階段，我們構建一個基礎模型，包含RBF層和全連接層，選擇Adam優化器，進行1000輪迭代的訓練。訓練數據點和預測結果的可視化，為我們提供了模型性能的直觀反饋。
進一步研究，RBF神經網路在某些高級應用中也有所體現，例如在《Phase-Functioned Neural Networks for Character Control》中，它被用於精細化的控制模型。2020年12月14日，有新的研究發現，RBF網格編輯技術在特定場景下有著簡化實現的可能，感興趣的讀者可以在[Efreeto/FaceMorph]和[1165048017/BlogLearning]的資源中發現更多實用技巧和案例。
總之，RBF神經網路以其靈活性和強大的局部響應特性，在機器學習領域發揮著不可或缺的作用，是值得深入研究和實踐的工具之一。
⑵ SPSS統計分析案例:多層感知器神經網路
SPSS統計分析案例:多層感知器神經網路
神經網路模型起源於對人類大腦思維模式的研究，它是一個非線性的數據建模工具， 由輸入層和輸出層、 一個或者多個隱藏層構成神經元，神經元之間的連接賦予相關的權重， 訓練學習演算法在迭代過程中不斷調整這些權重，從而使得預測誤差最小化並給出預測精度。
在SPSS神經網路中，包括多層感知器（MLP）和徑向基函數（RBF）兩種方法。
本期主要學習多層感知器神經網路，要把它講清楚是比較困難的，為了能直觀感受它的功能，首先以一個案例開始，最後再總結知識。
案例數據
該數據文件涉及某銀行在降低貸款拖欠率方面的舉措。該文件包含 700 位過去曾獲得貸款的客戶財務和人口統計信息。請使用這 700 名客戶的隨機樣本創建多層感知器神經網路模型。銀行需要此模型對新的客戶數據按高或低信用風險對他們進行分類。
第一次分析：菜單參數
要運行「多層感知器」分析，請從菜單中選擇：
分析 > 神經網路 > 多層感知器
如上圖所示，MLP主面板共有8個選項卡，至少需要設置其中"變數"、"分區"、"輸出"、"保存"、"導出"等5個選項卡，其他接受軟體默認設置。
▌ "變數"選項卡
將"是否拖欠"移入因變數框；
將分類變數"學歷"移入因子框，其他數值變數移入"協變數"框；
因各協變數量綱不同，選擇"標准化"處理；
▌ "分區"選項卡
在此之前，首先在 "轉換 > 隨機數生成器"菜單中設置隨機數固定種子為9191972（此處同SPSS官方文檔，用戶可以自由設定），因為"分區"選項卡中，要求對原始數據文件進行隨機化抽樣，將數據劃分為"訓練樣本"、"支持樣本"、"檢驗樣本"3個區塊，為了隨機過程可重復，所以此處指定固定種子一枚；
初次建模，先抽樣70%作為訓練樣本，用於完成自學習構建神經網路模型，30%作為支持樣本，用於評估所建立模型的性能，暫不分配檢驗樣本；
▌ "輸出"選項卡
勾選"描述"、"圖"；
勾選"模型摘要"、"分類結果"、"預測實測圖"；
勾選"個案處理摘要"；
構成"自變數重要性分析"；
這是第一次嘗試性的分析，主要參數設置如上，其他選項卡接受軟體默認設置，最後返回主面板，點擊"確定"按鈕，軟體開始執行MLP過程。
第一次分析產生的結果：
主要看重點的結果，依次如下：
個案處理摘要表，700個貸款客戶的記錄，其中480個客戶被分配到訓練樣本，佔比68.6%，另外220個客戶分配為支持樣本。
模型摘要表，首次構建的MLP神經網路模型其不正確預測百分比為12.7%，獨立的支持樣本檢驗模型的不正確百分比為20.9%，提示"超出最大時程數"，模型非正常規則中止，顯示有過度學習的嫌疑。
判斷：首次建立的模型需要預防過度訓練。
第二次分析：菜單參數
首次分析懷疑訓練過度，所以第二次分析主要是新增檢驗樣本以及輸出最終的模型結果。
運行「多層感知器」分析，請從菜單中選擇：
分析 > 神經網路 > 多層感知器
▌ "分區"選項卡
對樣本進行重新分配，總700樣本，支持樣本繼續30%，訓練樣本由原來的70%縮減至50%，另外的20%分配給獨立的檢驗樣本空間；
▌ "保存"選項卡
保存每個因變數的預測值或類別；
保存每個因變數的預測擬概率；
▌ "導出"選項卡
將突觸權重估算值導出到XML文件；
給XML模型文件起名並制定存放路徑；
其他選項卡的操作和第一次分析保持一致。返回主面板，點擊"確定"開始執行第二次分析。
第一次分析產生的結果：
總樣本在3個分區的分配比例。
MLP神經網路圖，模型包括1個輸入層、1個隱藏層和1個輸出層，輸入層神經元個數12個，隱藏層9個，輸出層2個。
模型摘要表，模型誤差在1個連續步驟中未出現優化減少現象，模型按預定中止。模型在3個分區中的不正確預測百分比較接近。
模型分類表，軟體默認採用0.5作為正確和錯誤的概率分界，將3大分區樣本的正確率進行交叉對比，顯示出預測為NO，即預測為不拖欠的概率高於拖欠，模型對有拖欠的貸款客戶風險識別能力較低。
預測-實測圖，按照貸款客戶是否拖欠與預測結果進行分組，縱坐標為預測概率。以0.5為分界時，對優質客戶的識別效果較好，但是有較大的概率在識別有拖欠客戶上出錯。
顯然以0.5作為分界並不是最優解，可以嘗試將分界下移至0.3左右，此操作會使第四個箱圖中大量欠貸客戶正確地重新分類為欠貸者，提高風險識別能力。
自變數重要性圖，重要性圖為重要性表格中值的條形圖，以重要性值降序排序。其顯示與客戶穩定性（employ、address）和負債（creddebt、debtinc）相關的變數對於網路如何對客戶進行分類有重大影響；
最後來看導出的XML模型文件：
以XML文件存儲了第二次構建的MLP神經網路模型，可以用於新客戶的分類和風險識別。
新客戶分類
假設現在有150名新客戶，現在需要採用此前建立的模型，對這些客戶進行快速的風險分類和識別。
打開新客戶數據，菜單中選擇：
實用程序 > 評分向導
型"XML文件，點擊"下一步"：
檢查新數據文件變數的定義是否准確。下一步。
選擇輸出"預測類別的概率"、"預測值"。完成。
新客戶數據文件新增3列，分別給出每一個新客戶的預測概率和風險分類（是否欠貸）。
多層感知器神經網路 總結
一種前饋式有監督的學習技術；
多層感知器可以發現極為復雜的關系；
如果因變數是分類型，神經網路會根據輸入數據，將記錄劃分為最適合的類別；
如果因變數是連續型，神將網路預測的連續值是輸入數據的某個連續函數；
建議創建訓練-檢驗-支持三個分區，網路訓練學習將更有效；
可將模型導出成 XML 格式對新的數據進行打分；