❶ 人工神經網路的發展
現代意義上對神經網路（特指人工神經網路）的研究一般認為從1943年美國芝加哥大學的生理學家W.S. McCulloch和W.A. Pitts提出M-P神經元模型開始，到今年正好六十年。在這六十年中，神經網路的發展走過了一段曲折的道路。1965年M. Minsky和S. Papert在《感知機》一書中指出感知機的缺陷並表示出對這方面研究的悲觀態度，使得神經網路的研究從興起期進入了停滯期，這是神經網路發展史上的第一個轉折。到了20世紀80年代初，J.J. Hopfield的工作和D. Rumelhart等人的PDP報告顯示出神經網路的巨大潛力，使得該領域的研究從停滯期進入了繁榮期，這是神經網路發展史上的第二個轉折。
到了20世紀90年代中後期，隨著研究者們對神經網路的局限有了更清楚的認識，以及支持向量機等似乎更有前途的方法的出現，「神經網路」這個詞不再象前些年那麼「火爆」了。很多人認為神經網路的研究又開始陷入了低潮，並認為支持向量機將取代神經網路。有趣的是，著名學者C.-J. Lin於2003年1月在德國馬克斯·普朗克研究所所做的報告中說，支持向量機雖然是一個非常熱門的話題，但目前最主流的分類工具仍然是決策樹和神經網路。由著名的支持向量機研究者說出這番話，顯然有一種特殊的意味。
事實上，目前神經網路的境遇與1965年之後真正的低潮期相比有明顯的不同。在1965年之後的很長一段時期里，美國和前蘇聯沒有資助任何一項神經網路的研究課題，而今天世界各國對神經網路的研究仍然有大量的經費支持；1965年之後90%以上的神經網路研究者改變了研究方向，而今天無論是國際還是國內都有一支相對穩定的研究隊伍。實際上，神經網路在1965年之後陷入低潮是因為當時該領域的研究在一定意義上遭到了否定，而今天的相對平靜是因為該領域已經走向成熟，很多技術開始走進生產和生活，從而造成了原有研究空間的縮小。
在科學研究中通常有這么一個現象，當某個領域的論文大量涌現的時候，往往正是該領域很不成熟、研究空間很大的時候，而且由於這時候人們對該領域研究的局限缺乏清楚的認識，其熱情往往具有很大的盲目性。從這個意義上說，過去若干年裡各領域研究者一擁而上、各種專業刊物滿眼「神經網路」的風光，其實是一種畸形繁榮的景象，而對神經網路的研究現在才進入了一個比較理智、正常的發展期。在這段時期中，通過對以往研究中存在的問題和局限進行反思，並適當借鑒相關領域的研究進展，將可望開拓新的研究空間，為該領域的進一步發展奠定基礎。