數學 AI視角下的語義和智能 20241001，今天聊數學與AI，依舊是萬維鋼老師的《拐點》這本書，內容主要在第一章第四節，我會用最簡單、最白話的方式來解釋，包括：語義與數學結構、GPT推理與多語言、向量空間模型、語義自學與多模態、數學在AI中的潛力等等。
數學 AI視角下的語義和智能 影片
數學 AI視角下的語義和智能
- 語義與數學結構
- GPT推理與多語言
- 向量空間模型
- 語義自學與多模態
- 數學在AI中的潛力
嗨我是亞瑟我有三高。今天想跟大家聊聊「數學 AI視角下的語義與智能」，聽起來是不是有點複雜？別擔心，我會用最簡單、最白話的方式來跟大家解釋。這次的討論依舊是來自萬維鋼老師的《拐點》這本書，內容主要在第一章第四節。
那我們就不多說，直接開始吧！
語義與數學結構
- 語義可用數學來組織
- 智能具有數學結構
- 數學能幫助理解智能
- Trasformer模型
- 數學建構人工智能
加州立法限制AI
https://www.cw.com.tw/article/5132133
萬維鋼老師提出了語義，即語言的意思，可以用數學的方式來組織和表達，並指出智能具有某種數學結構，而不是隨機排列。這暗示了智能 AI 其實是有規律可循的，數學是探索 AI 智能本質的重要工具。
這聽起來有點艱澀，像是教授在上課，但簡單來說，其實就是在講 Transformer 模型的白話版。我之前也試著解釋過 Transformer 模型，有興趣的可以參考之前的內容。
萬維鋼老師用圖像化的方式來解釋，我覺得還不錯。延伸元讀提到，最近加州認為 AI 很神秘無法理解，因此想立法管制。但其實 AI 是有規律可循的，它的創造、運作、數據和關聯都可以被分析，只是我們需要用更簡單的方式來解讀它的思維。
GPT推理與多語言
- GPT 使用語義推理而非語言
- 不同語言不需要翻譯
- 語義向量模型讓AI理解語義
- 人類使用同一套思考結構
- 不同語言只是溝通的表象
語言本能
https://www.books.com.tw/products/0010697897
這一節討論了 GPT 對語言的推理能力，強調 GPT 並不是依賴特定語言來進行推理。它基本上是使用向量模型來理解、處理、歸納和分析語義，因此能夠在不同語言之間自由切換，並給出同樣準確的答案。它打破了語言本身的限制，對全球化的交流具有巨大潛力。
AI 的這一些進步，其實與近年來語言學的研究密不可分。語言學發現，人類基本上是使用同一套思考結構，語言只是溝通的表象。就像 GPT 模型，儘管不同語言的表達形式不同，但它們共享同樣的語義結構。
這樣的研究也體現在《語言本能》一書中，有興趣的話可以看看這本書，了解大致內容。這本書不好讀， 但是書摘的內容，跟網路的介紹就已經能夠表達這個結論了。
向量空間模型
- 根據語義在向量排列
- GPT自動學習語義關聯
- 通過訓練調整語義位置
- 標籤雲概念的擴大
- 關鍵詞的字體和顏色
標籤雲產生器
https://cloud.odportal.tw/
萬維鋼老師在這一節討論了向量空間模型，將不同的詞彙放置在一個多維度空間中，形成一個立體的語義結構雲。各種詞彙就像天空中的星星，根據語義的不同，它們在空間中的位置和亮度也有所不同。而隨著模型的訓練，這些詞語的位置會不斷調整，最終形成穩定的語義關係。
GPT 模型的作用，就是計算衡量這些語義之間的聯繫，並分析不同語義之間的權重，來解析人類語言中的意義。
附圖的標籤雲，就是這一篇文章的大綱， 語言模型和標籤雲類似，字體越大、顏色越鮮豔的詞代表著我更在意的內容，但是更為龐大與複雜。
GPT 不僅能理解這些詞，還會分析每個詞之間的關聯，並給每個連結一個評分，不同的上下內文，也會產生不同的權狀計算，這是 GPT 理解人類語言和智能的基本方式。
語義自學與多模態
- 從大量數據中學習語義
- 多種模式如圖片與聲音
- 向量模型統一不同媒介
- AI從圖片中理解現實
- 空間關係上下左右前後
空間讓AI理解世界
https://www.ted.com/talks/fei_fei_li_with_spatial_intelligence_ai_will_understand_the_real_world
GPT 不僅限於處理文字資料，還能夠處理圖片、聲音等不同模態的資料，這進一步提升了 GPT 的理解能力。例如，原本的語言模型只能從，文字片面去理解空間關係，但加入圖片之後，模型就能理解上下、左右等空間概念，讓它對人類的世界有更深入的理解。
李飛飛教授的 TED 演講《空間讓 AI 理解世界》很值得一看，她在演講中討論了 AI 如何通過空間理解現實。
這也解釋了GPT-3，到 GPT-4 的提升，GPT-4 能夠理解圖片，讓它對世界的認識更加準確。最近的 o1 版本甚至可以理解人類的聲音，進一步感知情緒和反應，證明智能源自語言，語言延伸出一切。
數學在AI中的潛力
- 提出語義幾何學的概念
- 可能隱藏未發現的語義
- 化學元素週期表為例子
- 人類智力受限於語言表達
- 擴展語意可以理解更多
語言如何影響「思考」
https://www.thenewslens.com/article/72361
這一段是本章節的總結。萬維鋼老師提出了「語義幾何學」的概念，通過數學方法研究智能和語義結構，並推測語義空間中可能還有大量未被發現的語義。
這就像化學週期表中那些未被發現的元素，隨著科學的發展，人類最終找到了它們。同樣，AI 可能能夠幫助我們發現人類語言中尚未探索的智慧，擴展我們的語義範疇。
當我們對語言的理解加深，我們對世界的認知也會隨之提升，進而促進人類智能的進化。語言影響思考，這一點在《語言本能》一書中也有提到。不過，這本書較難理解，所以我推薦一篇更易讀的文章來解釋，語言如何影響一個民族的思維習慣，甚至影響他們對世界的認知。
AI 語言模型不會限制人類語言的發展，反而能整合所有的人類語義，並發現我們尚未理解的部分。當我們能夠標識出這些未理解的語義時，我們就能更深入地認識世界，這對哲學、物理、運算，甚至量子世界的研究都有深遠的影響。AI 可能成為人類下一次思維大爆炸的工具。
