神經網路和密碼學

1. 神經網路與深度神經網路有什麼區別

深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分布式特徵表示。
多層神經網路是指單計算層感知器只能解決線性可分問題，而大量的分類問題是線性不可分的。克服單計算層感知器這一局限性的有效辦法是，在輸入層與輸出層之間引入隱層（隱層個數可以大於或等於1）作為輸入模式「的內部表示」，單計算層感知器變成多（計算）層感知器。
補充：
深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關系減少參數數目以提高訓練性能。
深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。

2. 中國唯一一點陣圖靈獎獲得者，是怎麼獲獎的

憑他個人的實力跟了解獲獎的。2020年7月9日的時候，2020 世界AI大會召開。姚期智院士，中國科學院講話闡述理解AI。姚期智院士是唯一獲得圖靈獎的中國人，他比較擅長密碼學，計算復雜性和量子計算。清華著名的姚期班正是他 2005年在清華創辦的計算機科學實驗班，曠視科技，Pony．AI 等AI領域的明星公司。

假設有幾個不同的合作夥伴，每個合作夥伴都有一些秘密數據，只有把它們收集在一起，人工智慧才能被用來挖掘一些結果，但問題是沒有一個合作夥伴希望其他人知道他們的秘密。

關於以上的問題今天就講解到這里，如果各位朋友們有其他不同的想法跟看法，可以在下面的評論區分享你們個人看法，喜歡我的話可以關注一下，最後祝你們事事順心。

3. 西南交通大學信息科學與技術學院的專業設置

學院現有1個一級學科博士點（信息與通信工程）、5個二級學科博士點（交通信息工程及控制、通信與信息系統、信號與信息處理、計算機應用技術、信息安全）；8個碩士點（交通信息工程及控制、計算機應用技術、通信與信息系統、信號與信息處理、計算機軟體與理論、密碼學、控制理論與控制工程、微電子學與固體電子學）以及2個工程碩士點（計算機技術、電子信息工程）；
學院現設8個本科專業和專業方向：計算機科學與技術、網路工程、軟體工程、通信工程、信息安全、自動化、交通信息工程及控制、微電子技術。 該校早在60年代初就由已故中科院院士曹建猷教授等創辦了計算技術專業，是全國最早設辦該專業的高等學校之一。後因故停辦，1978年恢復招生。1981年又首批獲得該專業碩士學位授予權。已培養出該專業本科生2000餘人。
該專業培養具有良好的科學素養，較好地掌握計算機科學與技術（硬體、軟體）的基本理論和基本技能與方法，能在科研部門、教育單位、企業、事業、技術和行政管理部門等單位從事計算機教學、科學研究和應用的計算機科學與技術學科的高級專業技術人才。
畢業生具有計算機軟、硬體技術分析研究、系統設計、技術開發能力，能從事多媒體信息處理、數字通信、計算機網路及資料庫開發應用和管理方面的工作。
該專業屬計算機科學與技術系，現有教師20餘人，其中教授6人，副教授10人。 我院於1993年開辦通信工程專業，現屬通信工程系。經過短短幾年的建設和發展，該專業已形成了涵蓋2個博士點、3個碩士點，包括教授14人，副教授14人在內的30餘人的師資隊伍以及通信工程實驗室和通信實驗基地在內的良好的辦學條件。現已畢業5屆本科生300餘人，目前在校研究生100餘人，本科生800餘人。
通信工程專業師資力量雄厚，在30餘名教師中，有10餘人具有博士學位，有國家傑出青年科學基金獲得者、國家有突出貢獻中青年專家、博士生導師、現任院長范平志教授，國家級有突出貢獻專家、國家首屆發明獎金獎獲得者、全國「五一」勞動獎章獲得者、國內外知名資訊理論與編碼專家、神經網路與計算機專家、博士生導師靳蕃教授，知名密碼專家何大可教授。另外，學院還聘請了中科院院士陳芳允教授、王守覺教授、朱中梁教授、保錚教授、簡水生教授、中國工程院院士李樂民教授、葉尚福教授、吳佑壽教授等國內外著名專家、學者任名譽教授和兼職教授、客座教授。
本專業教師主要研究方向有：移動通信、衛星通信、光通信與光通信器件、通信編碼、通信保密與安全。
通信工程專業培養具有通信技術、通信系統和通信網路等方面的知識、能在通信領域從事研究、設計、製造、運營及在國民經濟各部門和國防工業中從事開發、應用通信技術與設備的高級工程技術人員。
畢業生具有計算機系統分析、設計和開發應用能力、能從事通信領域的程式控制交換、移動通信和光纖通信系統工程設計、技術開發和企業管理方面的工作。 我院於1976年開辦自動控制專業，該專業在新頒布的專業目錄中為自動化專業。20多年來，已培養該專業本科畢業生700餘人，其中不少已成為路內外技術骨幹。
本專業培養具備電工技術、電子技術、控制理論、自動檢測與儀表、信息處理、系統工程、計算機技術與應用和網路技術等領域的知識，能在運動控制、工業過程式控制制、電力電子技術、檢測與自動化儀表、電子與計算機技術、信息處理、管理與決策等領域從事系統分析、設計、運行和科技開發與研究等方面工作的高級工程技術人才。
畢業生具有計算機自動控制系統分析、設計和開發應用能力，能從事自動檢測、自動控制、過程式控制制、鐵路、公路及城市交通信號控制等方面的工程設計、技術開發和企業管理工作。
該專業屬自動化系，現有教師近20人，其中教授3人，副教授3人。 我院於1986年開辦信息工程專業，該專業在新頒布的專業目錄中為電子信息工程專業。現已培養出該專業本科生300餘人，深受路內外用人單位歡迎和好評。
本專業培養在電子信息控制和信息處理工程中應用微計算機技術、信息處理技術及電子技術的高級工程技術人才。
畢業生可在交通運輸、各類工業和技術部門從事電子技術和計算機信息處理方面的應用研究、設計運用、技術管理等工作，並可從事相關教學和科學研究工作。
該專業屬電子信息工程系。現有教師10餘人，其中教授2人，副教授4人。 我國目前只有少數高等院校設置信息安全課程，教學內容尚無法涵蓋信息安全的全部領域。另一方面，在一個較長時期內，金融、商業、公安、軍事和政府部門對信息安全人才的需求量是很大的。目前，信息安全人才嚴重供不應求。為此，以西南交通大學密碼學碩士點數年的建設為基礎，西南交通大學計算機與通信工程學院開設了信息安全本科專業，專門培養信息安全高級技術人才。
信息安全是一門綜合性學科，它涉及資訊理論、計算機科學、通信和密碼學等多方面知識，其主要任務是研究計算機系統和通信網路及其所承載的信息的保護方法，以實現系統內信息的安全、保密、真實完整和可用。信息安全的核心是密碼技術。西南交通大學1996年獲得密碼學碩士學位點授權，並在通信與信息系統博士點設有信息安全研究方向，有能力在信息安全領域進行各層次學位的人才培養，並且已經培養出一批信息安全方面的研究生。學院還設有計算機安全與通信保密研究所和信息安全與國家計算網格實驗室（省重點實驗室），承擔了國家及省部級信息安全課題取得成果，形成了一支穩定的中青年教師隊伍。包括西南交通大學國家高性能計算中心（成都中心）在內的實驗環境能夠滿足信息安全專業的實驗教學需求。
歡迎有志於信息安全領域的青年報考本專業。 本專業培養在信息產業部門從事軟體工程項目的分析設計、開發和項目工程管理工作，以及在企事業單位從事管理信息系統的設計開發、管理維護工作的中、高級專業技術人才。具有扎實的專業技術基礎，良好的規范化的軟體工程設計開發素養，較強的軟體設計開發能力，較好的外語水平，能夠解決軟體工程中的實際問題。本專業學生主要學習軟體工程的基本理論和方法，具有扎實的數學基礎和較好的外語水平，熟練掌握多種常用的軟體設計開發工具，受到軟體工程設計開發的專門訓練，具有在信息產業部門從事軟體工程項目的設計開發、項目管理和系統管理維護的能力。
畢業生面向信息產業部門從事軟體工程項目的系統設計、開發和項目工程管理工作；可在企事業單位從事管理信息系統的設計開發、管理維護工作；或從事相關專業的教學、科研工作。具有扎實的專業基礎，良好的規范化的軟體工程設計開發素養，較強的軟體設計開發能力，較好的外語水平。是在信息產業部門從事軟體設計、開發、管理，以及教學科研的中、高級專門人才。
西南交通大學從1978年開始恢復招收計算機應用本科生，是首批獲得國家計算機應用專業碩士學位授權單位之一。目前有三個相關專業的博士學位點和六個碩士學位點。已培養計算機大類本科生近3000人，碩士、博士研究生500餘人；目前在校計算機科學與技術專業本科生1000餘人，計算機應用專業碩士研究生200餘人。在長期的教學、科研中，建設了一支教學經驗豐富、科研能力強、結構合理的師資隊伍。計算機與通信工程學院所屬的國家高性能計算中心、計算機中心、軟體實驗室、電子信息中心擁有較為先進的教學實驗設備，可保證學生的實驗實習條件。
學校有先進完善的圖書信息系統，可提供多種資料和網路查詢，能夠滿足師生的教學和科研需求。該校擁有國內一流的校園網路，已連接到每個教工住宅和學生宿舍，可為學生提供網路化、數字化的學習環境。該校與四川省內的信息產業企業，邁普、托普、銀海等有長期的緊密合作關系，可為學生的實習、實踐提供良好的環境。 西南交通大學通信工程專業實驗室隨著1993年通信工程專業的恢復招生而成立。短短的十餘年來，在留英回國專家范平志教授及一大批教師的辛勤努力下，以「通信與信息系統」一級學科碩士點、「通信與信息系統」和「信息與信號處理」一級學科博士點、「信息與通信工程」一級學科博士點和「信息與通信工程」博士後流動站為依託，通信工程專業實驗室得到了發展壯大。
2005年至2006年期間，通信工程專業先後被評為首批「校品牌專業」和「四川省品牌專業」。在通信工程品牌專業的建設經費支持下，建立了「無線Mesh網路實驗系統」和「無線感測器網路實驗系統」，並與深圳市安泰信電子有限公司共同建立「西南交通大學—安泰信射頻微波實驗室」，從而通信工程專業實驗室在設備規模、實驗環境、運行機制等方面都得到了綜合發展。
2005年信息科學與技術學院依據「西南交通大學實驗室工作三年規劃」，優化配置、資源共享，聯合通信工程專業、網路工程專業和信息安全專業共同申報 建設「現代通信網路及信息安全實驗平台」，成為第一批專業323實驗室建設項目，並於2006年得到教育部專項資金修購項目經費支持。該平台的建成，將使通信工程專業實驗室更加完善，為不同層次的學生提供認知環境、測試環境、綜合調試、研發和個性化實驗環境，培養學生對實際工程設計、調試、維護和管理能力，對新技術的研究開發能力。 西南交通大學信息科學與技術學院綜合自動化實驗中心前身——自動控制專業實驗室成立於1978年，是我院歷史悠久的實驗室之一，從事自動化專業技術課程的實驗教學。經過自動化系教師和實驗室工作人員多年來的認真工作，特別是近年來，在該校專項資金的重點支持和建設下，以厚實的國家級重點學科——交通信息工程及控制學科為依託，綜合自動化實驗中心在實驗環境、儀器設備規模、運行機制等方面得到綜合發展，形成了以鐵路自動化為特色、實驗教學與科研並舉的實驗教學特點。
綜合自動化實驗中心座落於該校犀浦校區，建築面積約600平方米，擁有固定資產近300萬元；實驗設備150餘台套，其中自製與監制教學設備與實驗裝置20餘套。中心定編人員1名，兼職人員4名，平均年齡40歲。其中高級職稱3人，中級職稱2人，具有博士學位1人，碩士學位3人。每年都有多名教師與實驗人員共同開發新實驗、自製實驗設備並指導實驗，曾多次榮獲校、院教學改革優秀獎。圖1為自製的微機數控系統模擬實驗台。 軟體工程系實驗室是以計算機與通信工程學院微機實驗室為基礎組建而成。該實驗室已經建成軟體應用基礎實驗、PASCAL語言、C語言、C++、網頁設計、SQL SERVER資料庫實驗環境；可以隨時提供Matlab數學類科技應用軟體、EDA電子自動化軟體、 System view通信模擬軟體實驗環境。
實驗室建設的目標是：建立與計算機科學與技術發展相適應的的軟體應用基礎實驗環境；建立與軟體工程專業培養目標相適應的專業實驗環境。該環境支持多媒體實驗教學、支持網路軟體開發和軟體工程訓練、支持工程實踐項目和畢業設計的開展，並形成具有一定特色的軟體工程專業實習的主要基地。
軟體工程系實驗室具有豐富的軟體基礎實驗資源，制度完善的實驗室開放機制，實行每周7天開放制，並提供優質的實驗服務。歡迎廣大師生來該實驗室完成你的實驗！ 信息安全實驗室隨著2005年學校第一批專業323實驗室建設項目的開展而成立，並於2006年得到教育部專項資金修購項目經費支持。短短幾年來，在中國密碼學會理事何大可教授及一大批教師的辛勤努力下，以「信息安全」一個博士點，「密碼學」和「信息安全」兩個碩士點，以及「信息安全」一個本科專業為依託，信息安全專業實驗室逐漸發展起來，並於2007年秋季學期投入使用。
信息安全實驗室作為本科專業教學型實驗室，主要面向信息安全、網路工程、計算機、通信工程、軟體工程等學科專業，開設有《信息安全綜合實驗》課程，並承擔《密碼學》、《認證理論及應用》、《計算機網路安全技術》、《電子商務安全》、《信息系統安全工程》等專業理論課程的配套實驗。主要設備有網路信息安全教學實驗系統、指紋採集儀、智能卡讀寫器、數據密碼卡等。信息安全實驗室以專業性強，注重培養學生的興趣和能力為特色，並努力建成一個具有優良的實驗環境、高水平的師資隊伍、體現學科最新發展方向的專業性實驗室。 隨著計算機網路應用的逐漸普及，社會對網路方面的人才需求不斷增加。為了滿足社會需求，培養有特色專業的急需人才，提高畢業生的就業率，該校於2000年開始設置網路工程方向，並於2002年成立網路工程專業，開始招生。
在所制定的網路工程專業教學計劃中，《計算機網路》是網路工程等全院所有八個專業（含專業方向）的必修課；《網路工程與設計》是網路工程專業的必修課；《計算機網路安全技術》是網路工程和信息安全專業的必修課；《網路編程技術》是網路工程、軟體工程和信息安全專業的限選課；《計算機網路（綜合）實驗》是網路工程、計算機科學與技術、信息安全、軟體工程、交通信息控制、自動化等專業的必修課，是通信工程專業的限選課。為了滿足學科的發展，加強實踐教學環節的培養，在學校、學院的努力下，與2002年成立了計算機網路實驗室。
實驗室建設之初，學院、學校共同投資30餘萬元，購買了一批網路實驗設備，雖然設備型號比較齊全，但數量較少，大多數實驗同學不能親自動手操作，主要用於教師講解演示。但正是通過這些設備的應用，在幾個任課教師的努力下，成功地探索出了網路室建設方案，逐步形成了完善的計算機網路實驗大綱，發表了多篇較高質量的教改論文，進行了多項實驗教改項目。並於05年在清華大學出版社出版了《網路工程技術與實驗教程》，該教材入選普通高等教育「十一五」國家級教材。實驗室的軟體環境建設取得可喜成績。
2006年，為了整合資源，共謀發展，學院把<通信工程實驗室>、<網路工程實驗室>、<信息安全實驗室>合並成《現代通信網路與信息安全實驗中心》。在「國家教育資金專項修購」項目、學校「323」項目、「計算機品牌專業建設」等項目的支持下，學校、學院共投資150多萬元用於購買計算機網路綜合實驗設備，建成了功能完備的 萬兆全IPv6計算機網路實驗室，實驗室設備的數量和種類基本可以完成與網路專業相關課程的所有實驗項目。網路實驗室的硬體條件也位於全國高校先進行列。 隨著微電子行業的高速發展，社會對微電子方面的人才需求不斷增加，IC設計人才奇缺。為滿足學科發展，培養高質量微電子專業人才，信息科學與技術學院於2006年元月成立微電子技術專業實驗室，承擔微電子技術專業和全校與微電子技術相關專業的課程實驗、生產實習、課程設計和畢業設計等任務。
實驗室位於X6404，面積約65m2,硬體平台由3台SUN工作站（2台Blade2000、1台Ultra45） 、1台IBM伺服器、26台PC設計終端構成的區域網絡組成， 其上可運行Cadence、Synopsys、Mentor Graphic等著名公司的大型IC設計軟體，可供28人同時設計或模擬驗證電路。

4. 深度學習與神經網路有什麼區別

深度學習與神經網路關系

2017-01-10

最近開始學習深度學習，基本上都是zouxy09博主的文章，寫的蠻好，很全面，也會根據自己的思路，做下刪減，細化。

五、Deep Learning的基本思想

假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn => O，如果輸出O等於輸入I，即輸入I經過這個系統變化之後沒有任何的信息損失（呵呵，大牛說，這是不可能的。資訊理論中有個「信息逐層丟失」的說法（信息處理不等式），設處理a信息得到b，再對b處理得到c，那麼可以證明：a和c的互信息不會超過a和b的互信息。這表明信息處理不會增加信息，大部分處理會丟失信息。當然了，如果丟掉的是沒用的信息那多好啊），保持了不變，這意味著輸入I經過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。現在回到我們的主題Deep Learning，我們需要自動地學習特徵，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統S（有n層），我們通過調整系統中參數，使得它的輸出仍然是輸入I，那麼我們就可以自動地獲取得到輸入I的一系列層次特徵，即S1，…, Sn。

對於深度學習來說，其思想就是對堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現對輸入信息進行分級表達了。

另外，前面是假設輸出嚴格地等於輸入，這個限制太嚴格，我們可以略微地放鬆這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個放鬆會導致另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。

六、淺層學習（Shallow Learning）和深度學習（Deep Learning）

淺層學習是機器學習的第一次浪潮。

20世紀80年代末期，用於人工神經網路的反向傳播演算法（也叫Back Propagation演算法或者BP演算法）的發明，給機器學習帶來了希望，掀起了基於統計模型的機器學習熱潮。這個熱潮一直持續到今天。人們發現，利用BP演算法可以讓一個人工神經網路模型從大量訓練樣本中學習統計規律，從而對未知事件做預測。這種基於統計的機器學習方法比起過去基於人工規則的系統，在很多方面顯出優越性。這個時候的人工神經網路，雖也被稱作多層感知機（Multi-layer Perceptron），但實際是種只含有一層隱層節點的淺層模型。

20世紀90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。這些模型的結構基本上可以看成帶有一層隱層節點（如SVM、Boosting），或沒有隱層節點（如LR）。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下，由於理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期淺層人工神經網路反而相對沉寂。

深度學習是機器學習的第二次浪潮。

2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton和他的學生RuslanSalakhutdinov在《科學》上發表了一篇文章，開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要觀點：1）多隱層的人工神經網路具有優異的特徵學習能力，學習得到的特徵對數據有更本質的刻畫，從而有利於可視化或分類；2）深度神經網路在訓練上的難度，可以通過「逐層初始化」（layer-wise pre-training）來有效克服，在這篇文章中，逐層初始化是通過無監督學習實現的。

當前多數分類、回歸等學習方法為淺層結構演算法，其局限性在於有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定製約。深度學習可通過學習一種深層非線性網路結構，實現復雜函數逼近，表徵輸入數據分布式表示，並展現了強大的從少數樣本集中學習數據集本質特徵的能力。（多層的好處是可以用較少的參數表示復雜的函數）

而為了克服神經網路訓練中的問題，DL採用了與神經網路很不同的訓練機制。傳統神經網路（這里作者主要指前向神經網路）中，採用的是back propagation的方式進行，簡單來講就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前輸出和label之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。而deep learning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果採用back propagation的機制，對於一個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度擴散）。這個問題我們接下來討論。

八、Deep learning訓練過程

8.1、傳統神經網路的訓練方法為什麼不能用在深度神經網路

BP演算法作為傳統訓練多層網路的典型演算法，實際上對僅含幾層網路，該訓練方法就已經很不理想。深度結構（涉及多個非線性處理單元層）非凸目標代價函數中普遍存在的局部最小是訓練困難的主要來源。

BP演算法存在的問題：

（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小；

（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）；

（3）一般，我們只能用有標簽的數據來訓練：但大部分的數據是沒標簽的，而大腦可以從沒有標簽的的數據中學習；

8.2、deep learning訓練過程

如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合（因為深度網路的神經元和參數太多了）。

2006年，hinton提出了在非監督數據上建立多層神經網路的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網路，二是調優，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是：

1）首先逐層構建單層神經元，這樣每次都是訓練一個單層網路。

2）當所有層訓練完後，Hinton使用wake-sleep演算法進行調優。

將除最頂層的其它層間的權重變為雙向的，這樣最頂層仍然是一個單層神經網路，而其它層則變為了圖模型。向上的權重用於「認知」，向下的權重用於「生成」。然後使用Wake-Sleep演算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那麼所有人臉的圖像應該激活這個結點，並且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep演算法分為醒（wake）和睡（sleep）兩個部分。

1）wake階段：認知過程，通過外界的特徵和向上的權重（認知權重）產生每一層的抽象表示（結點狀態），並且使用梯度下降修改層間的下行權重（生成權重）。也就是「如果現實跟我想像的不一樣，改變我的權重使得我想像的東西就是這樣的」。

2）sleep階段：生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是「如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念」。

deep learning訓練過程具體如下：

1）使用自下上升非監督學習（就是從底層開始，一層一層的往頂層訓練）：

採用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網路區別最大的部分（這個過程可以看作是feature learning過程）：

具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網路的隱層），由於模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特徵；在學習得到第n-1層後，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；

2）自頂向下的監督學習（就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網路進行微調）：

基於第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網路的隨機初始化初值過程，由於DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功於第一步的feature learning過程。

5. 神經網路演算法原理

4.2.1 概述

人工神經網路的研究與計算機的研究幾乎是同步發展的。1943年心理學家McCulloch和數學家Pitts合作提出了形式神經元的數學模型，20世紀50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函數的概念提出了神經網路的一種數學模型，1986年，Rumelhart及LeCun等學者提出了多層感知器的反向傳播演算法等。

神經網路技術在眾多研究者的努力下，理論上日趨完善，演算法種類不斷增加。目前，有關神經網路的理論研究成果很多，出版了不少有關基礎理論的著作，並且現在仍是全球非線性科學研究的熱點之一。

神經網路是一種通過模擬人的大腦神經結構去實現人腦智能活動功能的信息處理系統，它具有人腦的基本功能，但又不是人腦的真實寫照。它是人腦的一種抽象、簡化和模擬模型，故稱之為人工神經網路（邊肇祺，2000）。

人工神經元是神經網路的節點，是神經網路的最重要組成部分之一。目前，有關神經元的模型種類繁多，最常用最簡單的模型是由閾值函數、Sigmoid 函數構成的模型（圖 4-3）。

儲層特徵研究與預測

以上演算法是對每個樣本作權值修正，也可以對各個樣本計算δ_j後求和，按總誤差修正權值。

6. 神經網路、深度學習、機器學習是什麼有什麼區別和聯系

深度學習是由深層神經網路+機器學習造出來的詞。深度最早出現在deep belief network（深度（層）置信網路）。其出現使得沉寂多年的神經網路又煥發了青春。GPU使得深層網路隨機初始化訓練成為可能。resnet的出現打破了層次限制的魔咒，使得訓練更深層次的神經網路成為可能。

深度學習是神經網路的唯一發展和延續。在現在的語言環境下，深度學習泛指神經網路，神經網路泛指深度學習。

在當前的語境下沒有區別。

定義

生物神經網路主要是指人腦的神經網路，它是人工神經網路的技術原型。人腦是人類思維的物質基礎，思維的功能定位在大腦皮層，後者含有大約10^11個神經元，每個神經元又通過神經突觸與大約103個其它神經元相連，形成一個高度復雜高度靈活的動態網路。

作為一門學科，生物神經網路主要研究人腦神經網路的結構、功能及其工作機制，意在探索人腦思維和智能活動的規律。

人工神經網路是生物神經網路在某種簡化意義下的技術復現，作為一門學科，它的主要任務是根據生物神經網路的原理和實際應用的需要建造實用的人工神經網路模型，設計相應的學習演算法，模擬人腦的某種智能活動，然後在技術上實現出來用以解決實際問題。

因此，生物神經網路主要研究智能的機理；人工神經網路主要研究智能機理的實現，兩者相輔相成。

7. 關於遺傳演算法，模糊數學，神經網路三種數學的區別和聯系

樓上說的不錯，只是你說的這三項里，只有模糊數學是數學的一個分支，遺傳演算法和神經網路都屬於智能計算方法，不屬於數學的一個分支，是涉及到多門學科的一類計算方法。

8. 關於密碼學的問題

混沌流密碼研究
胡漢平1 董占球2
（華中科技大學圖像識別與人工智慧研究所/圖像信息處理與智能控制教育部重點實驗室
中國科學院研究生院，）

摘要：在數字化混沌系統和基於混沌同步的保密通信系統的研究中存在一些亟待解決的重要問題：數字化混沌的特性退化，混沌時間序列分析對混沌系統安全性的威脅等，已嚴重影響著混沌流密碼系統的實用化進程。為此，提出了通過變換的誤差補償方法克服數字混沌的特性退化問題；構建混沌編碼模型完成對混沌序列的編碼、采樣，由此得到滿足均勻、獨立分布的驅動序列；引入非線性變換，以抵抗對混沌流密碼系統安全性的威脅。

關鍵詞：混沌流密碼系統；特性退化；非線性變換；混沌時間序列分析

1. 引言
隨著以計算機技術和網路通信技術為代表的信息技術的不斷發展和迅速普及，通信保密問題日益突出。信息安全問題已經成為阻礙經濟持續穩定發展和威脅國家安全的一個重要問題。眾所周知，密碼是信息安全的核心，設計具有自主知識產權的新型高性能的密碼體制是目前最亟待解決的重要問題。
混沌是確定性系統中的一種貌似隨機的運動。混沌系統都具有如下基本特性：確定性、有界性、對初始條件的敏感性、拓撲傳遞性和混合性、寬頻性、快速衰減的自相關性、長期不可預測性和偽隨機性[1]，正是因為混沌系統所具有的這些基本特性恰好能夠滿足保密通信及密碼學的基本要求：混沌動力學方程的確定性保證了通信雙方在收發過程或加解密過程中的可靠性；混沌軌道的發散特性及對初始條件的敏感性正好滿足Shannon提出的密碼系統設計的第一個基本原則――擴散原則；混沌吸引子的拓撲傳遞性與混合性，以及對系統參數的敏感性正好滿足Shannon提出的密碼系統設計的第二個基本原則――混淆原則；混沌輸出信號的寬頻功率譜和快速衰減的自相關特性是對抗頻譜分析和相關分析的有利保障，而混沌行為的長期不可預測性是混沌保密通信安全性的根本保障等。因此，自1989年R.Mathews, D.Wheeler, L.M.Pecora和Carroll等人首次把混沌理論使用到序列密碼及保密通信理論以來，數字化混沌密碼系統和基於混沌同步的保密通信系統的研究已引起了相關學者的高度關注[2]。雖然這些年的研究取得了許多可喜的進展，但仍存在一些重要的基本問題尚待解決。

1.1 數字混沌的特性退化問題
在數字化的混沌密碼系統的研究方向上，國內外學者已經提出了一些比較好的數字混沌密碼系統及其相應的密碼分析方法：文獻[3]提出基於帳篷映射的加解密演算法；文獻[4]1998年Fridrich通過定義一種改進的二維螺旋或方形混沌映射來構造一種新的密碼演算法；文獻[5,6]提出把混沌吸引域劃分為不同的子域，每一子域與明文一一對應，把混沌軌道進入明文所對應的混沌吸引域子域的迭代次數作為其密文；在文獻[7]中，作者把一個位元組的不同比特與不同的混沌吸引子聯系起來實現加/解密；文獻[8]較為詳細地討論了通過混沌構造S盒來設計分組密碼演算法的方法；文獻[9,10]給出了混沌偽隨機數產生的產生方法；英國的SafeChaos公司將混沌用於公鑰密碼體制，推出了CHAOS+Public Key (v4.23)系統[11]；等等。但是，這些數字混沌系統一般都是在計算機或其它有限精度的器件上實現的，由此可以將混沌序列生成器歸結為有限自動機來描述，在這種條件下所生成的混沌序列會出現特性退化：短周期、強相關以及小線性復雜度等[12-15]，即數字混沌系統與理想的實值混沌系統在動力學特性上存在相當大的差異。它所帶來的混沌密碼系統安全的不穩定性是困擾混沌密碼系統進入實用的重要原因[16]。盡管有人指出增加精度可以減小這一問題所造成的後果，但其代價顯然是非常大的。

1.2 對混沌流密碼系統的相空間重構分析
目前，對混沌保密通信系統的分析工作才剛剛起步，主要方法有：統計分析（如周期及概率分布分析和相關分析等）、頻譜分析（包括傅立葉變換和小波變換等）和混沌時間序列分析[17]。前兩者都是傳統的信號分析手段，在此就不再贅述，而混沌時間序列是近20年來發展的一門紮根於非線性動力學和數值計算的新興學科方向。
從時間序列出發研究混沌系統，始於Packard等人於1980年提出的相空間重構（Phase Space Reconstruction）理論。眾所周知，對於決定混沌系統長期演化的任一變數的時間演化，均包含了混沌系統所有變數長期演化的信息（亦稱為全息性），這是由混沌系統的非線性特點決定的，這也是混沌系統難以分解和分析的主要原因。因此，理論上可以通過決定混沌系統長期演化的任一單變數的時間序列來研究混沌系統的動力學行為，這就是混沌時間序列分析的基本思想。
混沌時間序列分析的目的是通過對混沌系統產生的時間序列進行相空間重構分析，利用數值計算估計出混沌系統的宏觀特徵量，從而為進一步的非線性預測[18]（包括基於神經網路或模糊理論的預測模型）提供模型參數，這基本上也就是目前對混沌保密通信系統進行分析或評價的主要思路。描述混沌吸引子的宏觀特徵量主要有：Lyapunov指數（系統的特徵指數）、Kolmogorov熵（動力系統的混沌水平）和關聯維（系統復雜度的估計）等[17]。而這些混沌特徵量的估計和Poincare截面法都是以相空間重構以及F.Takens的嵌入定理為基礎的，由此可見相空間重構理論在混沌時間序列分析中的重大意義。

1.3 對混沌流密碼系統的符號動力學分析
我們在以往的實驗分析工作中都是針對混沌密碼系統的統計學特性進行研究的，如周期性、平衡性、線性相關性、線性復雜度、混淆和擴散特性等，即使涉及到非線性也是從混沌時間序列分析（如相圖分析或分數維估計等）的角度出發進行研究的。然而，符號動力學分析表明，混沌密碼系統的非線性動力學分析同樣非常主要，基於實用符號動力學的分析可能會很快暴露出混沌編碼模型的動力學特性。基於Gray碼序數和單峰映射的符號動力學之間的關系，文獻[20]提出了一種不依賴單峰映射的初始條件而直接從單峰映射產生的二值符號序列來進行參數估計的方法。分析結果表明，基於一般混沌編碼模型的密碼系統並不如人們想像的那麼安全，通過對其產生的一段符號序列進行分析，甚至能以較高的精度很快的估計出其根密鑰（系統參數或初始條件）。
上述結論雖然是針對以單峰映射為主的混沌編碼模型進行的分析，但是，混沌流密碼方案的安全性不應該取決於其中採用的混沌系統，而應該取決於方案本身，而且單峰映射的低計算復雜度對於實際應用仍是非常有吸引力的。因此，我們認為，如果希望利用混沌編碼模型來設計更為安全的密碼系統，必須在混沌編碼模型產生的符號序列作為偽隨機序列輸出（如用作密鑰流或擴頻碼）之前引入某種擾亂策略，這種擾亂策略實質上相當於密碼系統中的非線性變換。
該非線性變換不應影響混沌系統本身的特性，因為向混沌系統的內部注入擾動會將原自治混沌系統變為了非自治混沌系統，但當自治混沌系統變為非自治混沌系統之後，這些良好特性可能會隨之發生較大的變化，且不為設計者所控制。這樣有可能引入原本沒有的安全隱患，甚至會為分析者大開方便之門。
上述非線性變換還應該能被混沌編碼模型產生的符號序列所改變。否則，分析者很容易通過輸出的偽隨機序列恢復出原符號序列，並利用符號動力學分析方法估計出混沌編碼模型的系統參數和初始條件。因此，非線性變換的構造就成了設計高安全性數字混沌密碼系統的關鍵之一。

2. 混沌流密碼系統的總體方案
為克服上述問題，我們提出了如下的混沌流密碼系統的總體方案，如圖1所示：

在該方案中，首先利用一個混沌映射f產生混沌序列xi，再通過編碼C產生符號序列ai，將所得符號序列作為驅動序列ai通過一個動態變化的置換Bi以得到密鑰流ki，然後據此對置換進行動態變換T。最後，將密鑰流（即密鑰序列）與明文信息流異或即可產生相應的密文輸出（即輸出部分）。圖1中的初始化過程包括對混沌系統的初始條件、迭代次數，用於組合編碼的順序表以及非線性變換進行初始化，初始化過程實質上是對工作密鑰的輸入。
在圖1所示的混沌編碼模型中，我們對實數模式下的混沌系統的輸出進行了編碼、采樣。以Logistic為例，首先，以有限群論為基本原理對驅動序列進行非線性變換，然後，根據有限群上的隨機行走理論，使非線性變換被混沌編碼模型產生的驅動序列所改變。可以從理論上證明，我們對非線性變換採用的變換操作是對稱群的一個生成系，所以，這里所使用的非線性變換的狀態空間足夠大（一共有256！種）。

3. 克服數字混沌特性退化的方法
增加精度可以在某些方面減小有限精度所造成的影響，但效果與其實現的代價相比顯然是不適宜的。為此，周紅等人在文獻[22]中提出將m序列的輸出值作為擾動加到數字混沌映射系統中，用於擴展數字混沌序列的周期；王宏霞等人在文獻[23]中提出用LFSR的輸出值控制數字混沌序列輸出，從而改善混沌序列的性質；李匯州等人在文獻[24]中提出用雙解析度的方法解決離散混沌映射系統的滿映射問題。上述方法又帶來新的問題：使用m序列和LFSR方法，混沌序列的性質由外加的m序列的性質決定；使用雙解析度時，由於輸入的解析度高於輸出的解析度，其效果與實現的代價相比仍然沒有得到明顯的改善。
為此，我們提出了一種基於Lyapunov數的變參數補償方法。由於Lyapunov數是混沌映射在迭代點處斜率絕對值的幾何平均值，所以，可以將它與中值定理結合對數字混沌進行補償。以一維混沌映射為例，該補償方法的迭代式為：
（1）
式中， 為Lyapunov數，ki是可變參數。
參數ki的選擇需要滿足下面幾個條件：
（1）ki的選取應使混沌的迭代在有限精度下達到滿映射；
（2）ki的選取應使混沌序列的分布近似地等於實值混沌的分布；
（3）ki的選取應使混沌序列的周期盡可能的長。
根據上述幾個條件，我們已經選取了合適的80個參數，並且以Logistic為例對該變參數補償方法輸出的混沌序列進行了分析。在精度為32位的條件下，我們計算了混沌序列的周期，其結果如下：

除周期外，我們還對復雜度、相關性和序列分布進行了檢測。從結果可知，該變參數補償方法，使得在不降低混沌的復雜度基礎上，增長其周期，減弱相關性，使其逼近實值混沌系統。該方法不僅非常明顯地減小了有限精度所造成的影響，使數字混沌序列的密度分布逼近實值混沌序列的理論密度分布，改善數字混沌偽隨機序列的密碼學性質，而且極大地降低實現其方法的代價。

4. 非線性變換
為克服符號動力學分析對混沌密碼系統的威脅，我們根據有限群上的隨機行走理論提出了一種非線性變換方法，並對引入了非線性變換的混沌密碼系統進行了符號動力學分析，分析結果表明，引入了非線性變換的模型相對一般混沌編碼模型而言，在符號動力學分析下具有較高的安全性。以二區間劃分的模型為例，我們選用Logistic映射作為圖1中的混沌映射f，並根據符號動力學分析中的Gray碼序數[20,21]定義二進制碼序數，見2式。
（2）
二值符號序列S的二進制碼序數W(S)∈(0, 1)。注意，這里的Wr(xi)並不是單值的，因為同樣的狀態xi可能對應不同的置換Bi。

圖2 在2區間劃分下產生的二值符號序列的Wr(xi)分析

圖2中的Wr(xi)為參數r控制下從當前狀態xi出發產生的二值符號序列的二進制碼序數。圖2（a）是未進行非線性變換時的情形，可以看出，其它三種進行非線性變換時的情形都較圖2（a）中的分形結構更為復雜。由此可見，引入了非線性變換的混沌模型相對一般混沌編碼模型而言，在符號動力學分析下具有較高的安全性。

5. 混沌流密碼系統的理論分析和數值分析結果
5.1 理論分析結果
密鑰流的性質直接關繫到整個流密碼系統的安全性，是一個極為重要的指標。我們對密鑰流的均勻、獨立分布性質和密鑰流的周期性質給出了證明，其結果如下：
（1）密鑰留在0,1,…,255上均勻分布。
（2）密鑰流各元素之間相互獨立。
（3）密鑰流出現周期的概率趨向於零。
（4）有關密鑰流性質的證明過程並不涉及改變非線性變換的具體操作，也不涉及具體的驅動序列產生演算法，僅僅要求驅動序列服從獨立、均勻分布，並且驅動序列和非線性變換之間滿足一定的條件，這為該密碼系統，特別是系統驅動部分的設計和改進留下餘地。
總之，該密碼系統可擴展，可改進，性能良好且穩定。

5.2 數值分析結果
目前，基本密碼分析原理有：代替和線性逼近、分別征服攻擊、統計分析等，為了阻止基於這些基本原理的密碼分析，人們對密碼流生成器提出了下列設計准則：周期准則、線性復雜度准則、統計准則、混淆准則、擴散准則和函數非線性准則。
我們主要根據以上准則，對本密碼系統的密鑰流性質進行保密性分析，以證明其安全性。分析表明：混沌流密碼系統符合所有的安全性設計准則，產生的密鑰序列具有串分布均勻、隨機統計特性良好、相鄰密鑰相關性小、周期長、線性復雜度高、混淆擴散性好、相空間無結構出現等特點；該密碼系統的工作密鑰空間巨大，足以抵抗窮舉密鑰攻擊。並且，由於我們採用了非線性變換，所以該密碼系統可以抵抗符號動力學分析。

6. 應用情況簡介
該混沌流密碼系統既有效的降低了計算復雜度，又極大的提高了密碼的安全強度，從而為混沌密碼學及其實現技術的研究提供了一條新的途徑。該系統已於2002年10月30日獲得一項發明專利：「一種用於信息安全的加解密系統」（00131287.1），並於2005年4月獲得國家密碼管理局的批准，命名為「SSF46」演算法，現已納入國家商用密碼管理。該演算法保密性強，加解密速度快，適合於流媒體加密，可在銀行、證券、網路通信、電信、移動通信等需要保密的領域和行業得到推廣。該加密演算法被應用在基於手機令牌的身份認證系統中，並且我們正在與華為公司合作將加密演算法應用於3G的安全通信之中。

9. 深度學習和神經網路的區別是什麼

從廣義上說深度學習的網路結構也是多層神經網路的一種。
傳統意義上的多層神經網路是只有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。
而深度學習中最著名的卷積神經網路CNN，在原來多層神經網路的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。
輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- .... -- 隱藏層 -輸出層
簡單來說，原來多層神經網路做的步驟是：特徵映射到值。特徵是人工挑選。
深度學習做的步驟是 信號->特徵->值。 特徵是由網路自己選擇。

10. 什麼叫神經網路

神經網路是新技術領域中的一個時尚詞彙。很多人聽過這個詞，但很少人真正明白它是什麼。本文的目的是介紹所有關於神經網路的基本包括它的功能、一般結構、相關術語、類型及其應用。
「神經網路」這個詞實際是來自於生物學，而我們所指的神經網路正確的名稱應該是「人工神經網路（ANNs）」。在本文，我會同時使用這兩個互換的術語。
一個真正的神經網路是由數個至數十億個被稱為神經元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網路。人工神經網路就是嘗試模擬這種生物學上的體系結構及其操作。在這里有一個難題：我們對生物學上的神經網路知道的不多！因此，不同類型之間的神經網路體系結構有很大的不同，我們所知道的只是神經元基本的結構