作者：董 雪 許東遠

2024年的諾貝爾物理學獎垂青的成果，令物理學界無不意外，居然是“為推動利用人工神經網絡進行機器學習作出的基礎性發現和發明”。人工神經網絡到底是什么?它的潛力，真的可以與基礎物理科學相提并論嗎?

讓我們從數十年前說起……

從數學說起

1943年，神經學家沃倫·麥卡洛克和數學家沃倫·皮茨提出一種以數學建模模擬人腦神經元處理信息的系統，稱為“多層感知機”。

上海交通大學自然科學研究院和數學科學學院副教授王宇光介紹，“多層感知機”可視為人工神經網絡的一個簡化版本，它可以有很多層，每一層含有眾多神經元，每個神經元都是一個信息處理器。這一系統的原理頗近于數學中的復合函數，不同的層可以看作不同的函數。

王宇光展示團隊研發的人工智能模型 許東遠 攝

當年，多層感知機已經可以學習比較常見的映射。比如人看到一張圖片會分辨其類別，多層感知機大體能建立這種從圖片到類別的映射，前提是層數和神經元足夠多，并且數據量充足，訓練得比較好。

不過，早期人工神經網絡的訓練其實頗具挑戰性，系統參數量大幅增加，難免左支右絀。直到杰弗里·辛頓取法微積分的鏈式法則設計了反向傳播算法，人工神經網絡得以自動調整輸入的海量數據的權重，科學家才看到了重大升級的曙光。

不過，前方的路會一直是坦途嗎?

走向深度學習

上世紀末，受制于算力稀缺等現實因素，人工神經網絡一度陷于沉寂。直到21世紀初，這一領域才風云再起。英偉達研發的GPU極大提升了計算機的并行計算能力，互聯網的普及更令人工神經網絡的訓練如虎添翼。

一個標志性的轉機發生在2007年，斯坦福大學教授李飛飛帶領團隊整理并構建了名為ImageNet的大規模圖像數據集，包含約1000萬張圖片，覆蓋1000個不同的類別，這一基礎工作為接下來的圖像識別研究樹立了驗證算法是否有效的標準。為了帶動更多人投入驗證，ImageNet挑戰賽應運而生。

這一挑戰賽可謂是人工神經網絡革命的催化劑，多層感知機在比賽中表現不佳，一步步淡出歷史舞臺，接力棒交給了AlexNet，時間在2012年。這一年，也就是我們今天耳熟能詳的“深度學習”閃亮登場的時刻。

AlexNet最重要的革新，就是引入卷積層，由此構建的卷積神經網絡能較好緩解梯度消失問題。誤差梯度逐層減小乃至消失，以致無法獲得足夠梯度信息用以學習，是上一代人工神經網絡頗覺為難的事。卷積神經網絡的勝利，讓更有效率的深度學習成為可能。

模型百花齊放

過去10余年，神經網絡模型可謂百花齊放。最具知名度的，可能是戰勝圍棋大師的AlphaGo、預測蛋白質結構的AlphaFold，二者均出自DeepMind。DeepMind總部位于英國倫敦，那里是劍橋大學和牛津大學畢業生的聚集地，多學科人才通力合作，激發了許多創新火花。目前，劍橋大學的科學家已嘗試開發基于圖神經網絡的擴散模型，用于蛋白質序列設計。中國科學家也參與其中。

值得一提的是，AlphaFold斬獲2024年諾貝爾化學獎，DeepMind于11月11日宣布AlphaFold3開源，科學家可以免費下載軟件代碼，并將AlphaFold3用于非商業用途。

自然語言大模型是備受矚目的另一條路線。自然語言處理脫胎于計算語言學，與人工神經網絡“合體”后，進展日新月異，尤其是Transformer架構的提出，為一系列新模型探索奠定了基礎，你我都不陌生的，就是OpenAI的ChatGPT了，可謂人工智能應用的一座里程碑。

編輯：范鐘秀