AI智力來自語言 期貨乞丐策略 20240710，AI智能的主體其實是在語言學的研究，這幾年語言學研究的重大突破，再加上深層學習理論、AI神經運算實作的水到渠成，所以才有現在爆發性的成長，這篇文章將用很簡單的方式，解釋自然語言模型如何理解人類的語言，並且產生人類的智能。
AI智力來自語言 期貨乞丐策略 影片
AI智力來自語言
- 期貨乞丐策略
- AI智能和語言關係
- AI深度學習
- 語言學的進展
- 語言模型的突破
- 小朋友的理解方法
- 語言學過渡到AI
嗨我是亞瑟我有三高
今天的日期是2024年7月10號
今天要來講的事情是
AI的智力來自於語言
另外還講一下我最近的
期貨乞丐策略繼續使用
這一次的內容非常的多
那我也試著想辦法
去理解一個我原本不理解的東西
所以如果講得不好要請各位原諒
那為什麼講AI智能呢
因為最後我想得出個結論
那就是AI的主體其實是在
語言學的研究上面
期貨乞丐策略20240710
- 台積電每一跳5元
- 影響指數約40點
- 緊盯台積五檔成交
- 預先買進或賣出
- 賺幾萬塊的價差
現在是7月10號
最近的台積電已
經漲到一千多塊以上了
所以現在台積電
每跳一跳就是五塊錢
而且它每跳一跳就會
影響我們的大盤40點
所以換句話說
我們現在整個大盤
就呈現一種跳啊跳的狀態
現在紅色的部分就是大盤
大盤就呈現成毛毛蟲狀態
那這很難做真的非常難做
最近我的想法就是
我緊盯著這個五檔策略
就是一直看著台積電成交五檔
覺得好像快要快要漲的時候
我就預先買進或預先賣出
這樣賺了一點點小小的價差
這種賺法不一定都會贏
因為有時候市場
並不是照著指數來的
所以偶爾會賺偶爾會賠
但是整天下來大概還會賺一點點錢
所以就賺個幾萬塊
算是這個乞丐策略
拜託市場給我錢賺謝謝
AI智能和語言關係
- 語言是人類思考主要方式
- 語言作為認知工具
- AI模擬語言處理能力
- 由此模擬人類認知過程
- 自然語言處理NLP
接下來我要談一下
這一次我想談的重點
那就是AI智能和語言的關係
這一整個系列最後會達到就是
AI的重點主體在於語言學的進展
語言是人類思考和交流的主要方式
它不僅僅是我們溝通的工具
它更是我們認知世界的關鍵
所以當我們說話跟寫作的時候
語言會幫我們整理思緒
傳遞訊息跟表達感情
而我們在想事情的時候
也是用語言為根基
而這個模型是建立在
我們的大腦裡面的
對於AI來說
模擬這樣子的語言處理能力
跟模擬這樣子想事情的方式
就會是我們認為
智力來源的重要的一步
目前我們會認為AI越來越聰明
是因為他們現在懂得處理自然語言
自然語言是讓AI
能夠理解和生成語言的過程
它讓AI去模擬人類語言的結構
去理解語言的樣子
然後再生成我們人類
覺得合理的語言模式
所以現在的AI之所以會有智能
其實就是來自於它對
人類語言的深入了解
AI深度學習
- 傳統資料庫僅二次元
- 神經網路模擬人腦
- 神經元-輸出輸入
- 輸入層、隱藏層和輸出層
- 權重-連接的重要性
可是如果AI只是
了解人類的語言那還不夠
因為人類語言非常的複雜
所以我們要讓電腦讓AI
去學習我們人類的語言
傳統上來講我們看電腦的時候
我們對電腦的理解
它就像是Excel一樣
就是一個二維資料庫
一個橫軸一個縱軸
但是我們人腦在想事情的時候
它是一個非常多元的神經元
互相交替而來的
所以我們如果說希望
讓AI要能夠模擬人腦的話
那麼AI就必須要去學會
神經網路的思考模式
神經網路它是由多層神經元組成的
包含了輸入層、隱藏層和輸出層
而每個神經元就像
人腦中的神經細胞一樣
它負責接收輸入
也負責處理訊息也負責輸出
而這些神經元之間
又通過了不同的連結方式
不同權重的方式
而又有了重點或不重點的狀況
更甚至隱藏層還有額外的意義在
總而言之就是在學習過程當中
神經網路會通過不斷的學習
不斷的調整
去理解人類在講什麼
而且透過權重的調整
去了解什麼才是我們想要強調的重點
而這個部分就像人類的學習記憶
跟反應就會越來越像
首先我們如果看到一個單純的句子
一整串上去就是一堆字這樣子
所以前面的電腦
並不是真的知道我們在講什麼
AI會想辦法找出我們一整個句子裡面
比較重要的提示或說是關鍵字
這些關鍵字有一些不是那麼重要
有一些卻很重要
所以我用大小不同的方式標示出來
這些不同的關鍵字中間
他們又有不同的連結
小關鍵字跟中關鍵字之間有連結
大的跟小的也有連結
他們之間都有互相的關係對吧
這是我們人類語言中複雜的成分
可是這些連結中又不是那麼單純
因為連結又有強連結跟弱連結
有一些連結很強有些關聯性很強
有些關聯性很弱
這些東西是靠著語境
是要靠著我們講話的內容
是要靠著我們上下文的銜接
去展示出來的
更甚至再多一點點
這些不同的內容裡面
又含有不同的隱含意義
這個隱含意義
才是我們所謂的智能的展示
下一集跟AI有關的那一集
我會展示如何呈現電腦的智能
語言學的進展
- 諾姆·喬姆斯基 Noam Chomsky
- 生成語法理論
- 內在的語言能力
- 語言深層和表層結構
- 深層結構通用人類語系
有了語言學的研究之後
才有現在的AI的產生
所以現在AI的中心在於語言學
一開始要提出一個很厲害的人
他叫做洛姆喬姆斯基
他算是現在語言學的始祖
在之前語言學比較像資料庫
比較像列表比較像分類學
喬姆斯基提出一種叫做生成語法的理論
他認為我們所有的人類所講的語言
都是有共通的一種內在語言能力
而這種內在的語言能力
讓我們可以生成出無限的語句
以及無限的語言
喬姆斯基也認為語言的生成結構
是所有人都有的
而表層結構就是我們現在講的語文
它本身是生成的語言結構
表現在外面的實體表現
喬姆斯基的這個想法
改變了整個語言學的研究
也開發出了現在整個AI生態鏈
- 史蒂芬·平克 Steven Pinker
- 語言本能 The Language Instinct
- 語言是人類的本能
- 語言建構基本認知
- 智能大部份來自語言模組
喬姆斯基他是個學者
他的論文非常的困難
他的學生史蒂芬.平克
針對我們這些一般人
有做一些額外的寫作
讓我們能夠了解
語言學進展到什麼地步
在這邊就要展現一下
這本了不起的著作《語言本能》
在這本書裡面平克研究完之後認為
語言是人類的本能
它是我們DNA裡面寫進去的
也就是你出生了長大之後
我們的語言結構內在語言結構
就內建在我們大腦裡面了
我們的語言是內建的一個能力
它就像是鳥類築槽
或是蜘蛛結網的行為一樣
就是內建的能力
這個內建能力還順便
塑造了我們對邏輯
對推理對世界認知的基本樣貌
所以人類大多數的智力
是來自於語言結構的模組裡面的
這個理論又來自於另外一本書
那就是史蒂芬平克的《思想本質》
這書誰啃得完呢
如果有機會我把它啃完和大家分享
所以我承認這兩本書
我只讀過書摘而已不好意思啊各位
語言模型的突破
- 提示學習 Prompt-based learning
- 提示引導模型生成
- 簡化問題
- 使用簡化標籤
- 模型解釋提示
因為有了一些語言模型的研究的突破
所以使得語言學的
這些假設可以實作出來
這幾年來語言模型的發展
有了重大的突破
最重要的事情就是提示學習
Prompt-based learning
這東西其實是由Google的
Transformer模型所提出來的
它用提示的方式去引導模型生成
也就是說它把所有的問題都把它簡化
用標籤用提示
或是用很多的分類很多種的集合
讓所有事情能夠做好分類
用這些簡化過的提示
去幫助電腦或幫助AI去理解人類社會
去理解現實生活中的關係
這個講的有一點複雜對不對
那我們後面來舉點例子
小朋友的理解方法
- 簡單分類理解世界
- 什麼東西會跑
- 什麼東西會飛
- 上下文和經驗
- 知識應用到情境中
AI去理解人類思考方式的做法
其實和小朋友理解世界方法是很像的
我們剛才前面說提示學習法
其實說出來就是無限制的分類法
小朋友也是透過
簡單的分類法去認識世界的
我們只是把分類越分越細
越分越細越分越細
有了不同的集合之後
才架構出一整個對世界的認知
例如說我們會讓小朋友學會
什麼東西會跑
車子會跑、馬會跑、人會跑
其實飛機也會跑
什麼東西會飛
鳥會飛、飛機會飛
那麼當我們提到什麼東西會跑
什麼東西會飛
或什麼東西又會跑又會飛的時候
這個時候就會根據上下文
還有過往我們對人類的經驗
去理解到我們在提的東西是什麼東西
舉個例子來說
如果今天出現一樣
從來沒看過的東西叫直升機好
那它可能就被分類在
會飛、不是動物、鐵做的、
不會跑、需要加汽油
這個時候雖然我不知道什麼是直升機
但是因為我有各種不同的分類
各種不同的提示
所架構出來的一個大環境
我就可以稍微去理解說
那直升機應該是個怎麼樣的東西
同樣如此AI也是這樣子
它透過了不斷不斷的訓練
透過了一大堆的資訊
去做無限制的分類無限制的提示
把它準備好各種各樣
已經整理過後的預提式的世界
而用這東西去理解我們現在的世界
或是理解你語氣中所講的事情
對於孩子來講或對於AI而言
一個事情裡面所有的東西都是互相相連的
我們人腦是這樣思考事情的
當所有東西都互相相連的時候
就會集合出一個神經網路
而這些神經網路又彼此之間
有些連結是很重有些連結是不重的
而有些連結有其他的含義在
這就造成了形成了我們現在
人類所認知的智慧
語言學過渡到AI
- Transformer-Vaswani(2017)
- BERT-Google(2018)
- GPT-OpenAI(2018)
- PaLM-Google Research(2022)
- CLIP-OpenAI(2021)
螢幕上的這五樣東西
是從語言的研究
過渡到現在AI的實際實作中
有哪一些非常厲害的
跟重要的轉折點跟理論
光是第一樣Transformer模型
就已經把我搞死了
希望我有一天能夠用更簡單的方式
了解它並且解釋給各位聽
那當然剩下幾個也是
希望有機會我可以把它講一講
留到後面做pending用
但是總而言之言而總之
從Transformer模型開始
奠定了現在AI真正的核心
基礎才可以跑
然後有Google的BERT模型
我們大家熟悉的GPT
還有PaLM模型
它的語言詞彙已經高達天文數字
再來就是OpenAI的CLIP模型
就是它創造影像跟動畫的那個模型
特別提這個來剛好來做結語
那就是這一些東西
是生成AI最重要的核心
AI的發展都是靠這些理論的
發展跟實作而來的
那我們今天到這邊
下一集我們會舉一個實例
來理解一下來看一下
AI怎麼去理解我們人類世界的語境
跟我們隱含的意義
下次見～掰
