大規(guī)模購(gòu)入顯卡這件事兒，微軟和OpenAI絲毫沒有對(duì)外保密，甚至搞的格外高調(diào)。這邊剛一做完決定，立即就搞得滿世界都盡人皆知了。

    “這……”紀(jì)弘看到相關(guān)消息，簡(jiǎn)直有些哭笑不得：預(yù)測(cè)模型這么準(zhǔn)的嗎？

    想想很離譜，但仔細(xì)一分析，確實(shí)也在情理之中——因?yàn)槲④泬焊鶅壕蜎]有第二條路可以走。

    耳語(yǔ)系統(tǒng)雖然沒有表現(xiàn)出超強(qiáng)的攻擊力，卷耳智能科技甚至都沒有為它開過一個(gè)發(fā)布會(huì)，有點(diǎn)兒并不重視的樣子，但它的戰(zhàn)斗力就在那，任誰(shuí)都沒法忽視。

    哪怕根本就沒有正式在美歐地區(qū)銷售，就已經(jīng)開始慢慢的侵襲微軟的Windows市占率了。

    如果下一個(gè)版本還不能扭轉(zhuǎn)過局勢(shì)來(lái)，那劣勢(shì)瞬間就會(huì)轉(zhuǎn)化為敗勢(shì)！

    生態(tài)是護(hù)城河不假，但被護(hù)城河淹死在城內(nèi)的可是有先例——當(dāng)年諾基亞塞班系統(tǒng)市占率高吧？現(xiàn)在再看看，哪里還能看到它的影子！

    護(hù)城河是對(duì)同級(jí)產(chǎn)品而言的，過于落后，掉到河里的只會(huì)是自己。

    紀(jì)弘也是想到了這兒，隨后又看了看那個(gè)預(yù)測(cè)類AI模型：如果變量過多，時(shí)間很長(zhǎng)，對(duì)它來(lái)說(shuō)確實(shí)難度很大。

    但如果變量很少，就像這次，預(yù)測(cè)GPU行業(yè)，單單就這一個(gè)行業(yè)，預(yù)測(cè)某些公司的短期動(dòng)向，看起來(lái)還是很靠譜的。

    “這東西包裝一下也是一個(gè)非常強(qiáng)大的產(chǎn)品！”紀(jì)弘這么想著：“先拿去給陳繼業(yè)做企業(yè)分析試試?！?br/>
    “微軟這邊……”決心下的那么大，所有人都看出微軟要做什么了，紀(jì)弘當(dāng)然也不例外，這個(gè)時(shí)候，他在思考這樣一個(gè)問題：

    “現(xiàn)在他們的大模型，Transformer這類的，靠無(wú)限制的堆積算力，就能無(wú)限的提高模型能力嗎？”

    紀(jì)弘對(duì)此還真沒有研究——先前在創(chuàng)界，主要利用別家平臺(tái)進(jìn)行接口對(duì)接開發(fā)，后來(lái)自己創(chuàng)業(yè)，上來(lái)就是類思考模型，對(duì)T模型屬于降維打擊，并不存在這樣的問題。

    他對(duì)此沒有什么研究，但有一個(gè)人一直在關(guān)注著這方面——這個(gè)人就是孫博。

    “靠無(wú)限制的堆積算力獲得高性能大模型，短期內(nèi)是可行的。”

    孫博也是看到了微軟的行動(dòng)，在CSDNBlog跟一群人正在探討相關(guān)的話題：

    “長(zhǎng)期的話，倒不是有上限，真要有魄力不計(jì)成本無(wú)限制的去堆積算力，理論上是真的能夠獲得無(wú)限制的性能提升的。

    “但也僅僅只是理論上，這里邊有一個(gè)巨大的問題，根據(jù)我的研究，它的增長(zhǎng)不是線性的。

    “我大約計(jì)算過，實(shí)際的增長(zhǎng)曲線就不說(shuō)了，很復(fù)雜，但大約可以簡(jiǎn)化為這個(gè)函數(shù)：y=c·log（e）·（X+1）。

    “這里邊y指的是性能，X你們就姑且理解為算力堆積的基本單位，大約趨勢(shì)如下圖。”

    就算是對(duì)數(shù)學(xué)再不懂的人，看到這個(gè)公式也該看出來(lái)了，因?yàn)檫@個(gè)函數(shù)的曲線到最后，幾乎就是一條平平的橫線。

    也就是說(shuō)，當(dāng)顯卡堆積達(dá)到一定規(guī)模之后，就算再堆積硬件，性能雖然也會(huì)增加，但增加的也會(huì)十分有限，到最后甚至肉眼都不可見了。

    這么說(shuō)著，孫博還舉例道：“以現(xiàn)在的GPT4為例，如果想要一個(gè)2倍GPT4參數(shù)的大模型，對(duì)算力的需求大約會(huì)是多少呢？

    “我計(jì)算過，大約需要十幾倍。而且公式計(jì)算的只是理論效果，而更大規(guī)模的集群，片間互聯(lián)的損失肯定也會(huì)更大，實(shí)際效果只會(huì)更差?！?br/>
    孫博很是熱情，只要不涉及他自己工作的機(jī)密和核心，只要他在的時(shí)候，那幾乎是有問必答的。

    紀(jì)弘也正好翻看到這兒，他沒有過多的驚訝，片間互聯(lián)損失這一塊兒本身就不好解決，要不然超大規(guī)模智算中心也不至于這么稀有了——河州大學(xué)搞的那個(gè)還是純國(guó)產(chǎn)第一例。

    “按你這么說(shuō)，微軟這孤注一擲的效果，不一定會(huì)好??！”有人這么回了一句。

    “效果不好是一定的，花費(fèi)兩倍的價(jià)格，可能能得到1.5倍的性能，最多也就如此了，想要趕上耳語(yǔ)的能力，我覺得不大行。

    “其實(shí)OpenAI自己肯定也清楚，GPT4乃至后續(xù)沒有發(fā)布的4.5版本，之所以沒這么堆規(guī)模，就是在卡能效比的兩個(gè)節(jié)點(diǎn)。

    “再堆規(guī)模下去，性價(jià)比會(huì)越來(lái)越低不高。但現(xiàn)在不是被耳語(yǔ)逼的沒辦法了嗎？”

    孫博本就是研究前沿理論的，現(xiàn)有模型的理論上限他清楚的很，哪個(gè)算力節(jié)點(diǎn)卡一下性價(jià)比最高他大約也都清楚。

    到了一定程度，盲目的加規(guī)模肯定得不償失。除非迫不得已，一般不會(huì)這么干的。

    紀(jì)弘一邊看著孫博的回復(fù)，一邊分析這個(gè)人，越分析越是感興趣了——這是一個(gè)有真材實(shí)料的理論家。

    “如果能挖來(lái)卷耳科技，將會(huì)是一個(gè)巨大的臂助。”

    ……

    紀(jì)弘在念叨孫博的時(shí)候，孫博也在念叨他——起因就是紀(jì)弘發(fā)的那個(gè)私信。

    “最優(yōu)化理論的一個(gè)分支，目的是為了解決大模型之間交流的問題，這人該不會(huì)是卷耳智能科技的創(chuàng)始人紀(jì)弘吧？”

    孫博看了好一會(huì)兒，想到了紀(jì)弘在河州大學(xué)采訪時(shí)說(shuō)的一個(gè)兩個(gè)三個(gè)多個(gè)模型串聯(lián)得出更精準(zhǔn)更切合先說(shuō)你的結(jié)果，那些話。

    “這是實(shí)現(xiàn)AGI通用人工智能的一個(gè)思路嗎？”

    孫博看的有些迷，是因?yàn)楹芏嚓P(guān)鍵點(diǎn)紀(jì)弘都給他略去了，但大致的框架還在，他知道這東西在解決什么問題。

    事實(shí)上，他本人也在研究這個(gè)。

    “但是，大模型之間的交流是以數(shù)據(jù)和信息為載體的，通常來(lái)說(shuō)，交流只是擴(kuò)大了信息量?！?br/>
    比如可以利用一個(gè)大模型的數(shù)據(jù)去快速的訓(xùn)練另一個(gè)大模型——這一點(diǎn)大家都知道，千尋的文心一言用過GPT的數(shù)據(jù)。

    后來(lái)，谷歌的大模型也被爆出過用了文心一言的訓(xùn)練數(shù)據(jù)，大家利用來(lái)利用去的，這都不是些稀罕事兒。

    “但這還是要走訓(xùn)練過程的啊，只是少了數(shù)據(jù)清洗和標(biāo)定過程以及相關(guān)的人力成本而已，兩個(gè)模型的能力并不能直接相加，能利用的只是數(shù)據(jù)而已！”

    “除非……”一個(gè)大膽的想法在孫博腦海里漸漸的浮現(xiàn)出來(lái)：“除非，有辦法讓智慧化的能力直接交流甚至融合。這……”

    饒是只是一個(gè)想法，孫博也被自己嚇了一跳：如果兩個(gè)模型的智慧能力本身能夠融合和共同利用，但這可能嗎？相當(dāng)于人之間的交流了啊這！

    “類思考……”

    剛還想著絕不可能呢，但類思考三個(gè)字一出來(lái)，孫博腦袋直接“嗡”的一聲，這已經(jīng)有先例了：“這人絕對(duì)是紀(jì)弘沒跑，他這是對(duì)我有興趣？”