廣告區

2025年2月7日 星期五

2月7日!AI使用者爆增就需要更多的算力!

新聞說:上月底用戶量超越Google的Gemini,昨天DeepSeek停止API服務充值,外界憂算力不足,據研究公司SimilarWeb估計,DeepSeek網站的用戶數量超越Google的Gemini聊天機械人。值得留意是,DeepSeek昨日暫停API服務充值,引發外界猜測DeepSeek是否出現算力不足的情況。高出Gemini訪問量60%SimilarWeb 數據顯示,在1月31日,DeepSeek.com在美國的日訪問量為240萬次,較Gemini 網站的150萬次高出60%,Gemini已面世接近兩年。不過,OpenAI的ChatGPT仍是最多人使用,當日的日訪問量為1930萬次。而在1月28日,DeepSeek曾創下490萬次的的最高訪問量。在美國以外,DeepSeek 和 Gemini 的訪問量差距更大,1月31日DeepSeek 全球(基本不包括中國)的訪問量為2920萬次,是Gemini的三倍多。另外有統計指,DeepSeek應用程式上線20天,日活躍用戶已突破2000萬,超越ChatGPT上線初期的情況,成為全球增速最快的AI應用。「當前服務器資源緊張」,不過DeepSeek爆紅後,新用戶蜂擁而至,可能已出現算力緊張的情況。據報DeepSeek在2月6日突然暫停其API服務充值,按鈕顯示灰色不可用狀態。隨後,DeepSeek表示,「當前服務器資源緊張,為避免對您造成業務影響,我們已暫停API服務充值。存量充值金額可繼續調用,敬請諒解!」DeepSeek暫停API服務充值,引發外界猜測DeepSeek是否出現算力不足。春節期間,DeepSeek仍推出多款產品,令用戶量在短時間內飆增。國泰君安有分析師推算,假設DeepSeek的日均訪問量為1億次、每次提問10次,每次提問的回覆用到1000個token,1000個token大概對應750個英文字母,則DeepSeek每秒的推理算力需求為1.6乘以1019TOPs。在這種普通推理情境下,假設DeepSeek采用的是FP8精度的H100卡做推理,利用率50%,那麽推理端H100卡的需求為16177張,A100卡的需求為51282張。需求日增難免要投資基建國泰君安進一步指,以DeepSeek為首的低成本推理模型的逐漸普及下,推理成本及價格大幅削減,將帶來應用側的蓬勃發展,反過來還會拉動成倍數的總算力需求提升。分析指,隨著用戶量持續增長,DeepSeek或難以滿足日益增長的需求。長此下去,DeepSeek亦只能參考OpenAI做法,加大對基礎設施的投資。另外值得留意是,DeepSeek的部分API服務目前仍在「特價時段」。據官方價目表,deepseek-chat模型優惠期至北京時間2月8日的24:00,優惠結束後將按每百萬tokens輸入價2元,每百萬輸出價格tokens 8元收費。

ChatGPT接受愈多使用者提問題需要更多的AI伺服器提供算力嗎?

ChatGPT 說:是的,ChatGPT接受愈多使用者的提問,的確需要更多AI伺服器來提供算力,以維持服務的正常運作與使用者體驗。為什麼需要更多伺服器呢?即時處理需求:每個使用者的提問都需要模型即時生成回應,這需要大量的算力。模型負載:大型語言模型(例如ChatGPT)需要高性能GPU和CPU來處理自然語言理解與生成的計算任務。延遲與可靠性:為了降低回應延遲並提高系統的穩定性,隨著使用量增加,擴展伺服器群組是必要的。分散式架構:伺服器需要分布於不同的地區,以滿足全球用戶的需求。如何解決高流量需求?動態擴展:許多AI平台會根據需求動態調整算力資源(雲端運算技術,如AWS、Google Cloud等)。模型優化:透過模型壓縮與運算加速技術來降低每次推理所需的計算資源。負載平衡:透過負載平衡系統分配請求,避免單一伺服器過載。這樣的架構與設計能確保即使使用者數量大幅成長,也能維持高效的回應速度與系統穩定性。

A大回答:前一兩周DeepSeek出來時,市場有一派人擔心高階AI晶片需求會減少,另一派人覺得DeepSeek起來會讓AI算力更便宜,這樣邊緣裝置就會加速普及,而且AI算力變的便宜,這樣能讓消費者更願意在日常生活中使用,這一周四大雲端大廠已經開出資本支出了,並沒有像市場認為的大幅度減少資本支出,不但沒有減少,還大幅度的增加,微軟計劃在2025年投入約800億美元,谷歌2025年將資本支出提高至750億美元,Meta計劃在2025年投入600億至650億美元,亞馬遜2025年的資本支出預計約為1050億美元,所以市場認為短期高階AI晶片會減少的推測,現在已經被四大雲端大廠的資本支出給推翻了,這是擺在你眼前的事實,沒有什麼討論及模糊的空間,去年市場認為AI概念股能拿到多少的GB200訂單,經過四大雲端大廠宣布的資本支出後,確定就是持續強勁,這也和我之前推測的一樣,那時我說雲端大廠沒有膽量去減少支出的,目前高階AI晶片供不應求,你只要把訂單砍掉,那你就是要重新去排隊,加上蓋AI資料中心沒有一般散戶想的這麼簡單,你想要蓋AI資料中心,你除了要排隊買高階AI晶片外,你還要找一個地方,在該地方還要有足夠的電力,如果四大雲端大廠的其中一家大幅度減少資本支出,其它的雲端大廠先去蓋,先蓋的雲端大廠就會把該地區及國家的電力先預約及簽約掉,大家看鴻海旗下的夏普要蓋AI資料中心,一樣要去向輝達排隊AI晶片,接著要蓋AI資料中心,之所以夏普能順利的蓋AI資料中心,那是因為之前夏普的面板廠就有簽下長期的電力合約,之前這對鴻海及夏普來說是負擔,轉型成AI資料中心後,這電力合約就變成很寶貴的資源,這就引得軟銀及KDDI要和夏普合作AI資料中心,當你蓋了AI資料中心,你一樣要去找相關的人才,如果你不先蓋,別的雲端大廠先蓋好,就把市場上大部份的人才都找走,後面你想要去找人才,那也會相當的困難,這就是我當初認為雲端大廠不會停下腳步的原因,最終證明我是正確的,另一個原因大家應該也能從DeepSeek發覺的困境中找到解答,當初我說DeepSeek能提供較便宜的AI,這樣就會讓大量的使用者進來使用AI工具,大家以為訓練完後就能讓無數的使用者進來使用AI小工具了嗎?當然是不可能,上面ChatGPT明確的回答,接受愈多使用者的提問,的確需要更多AI伺服器來提供算力,以維持服務的正常運作與使用者體驗。為什麼需要更多伺服器呢?即時處理需求:每個使用者的提問都需要模型即時生成回應,這需要大量的算力,最近DeepSeek太多人註冊及使用,就使得算力不夠,所以DeepSeek就要想辦法多去買一些AI伺服器,大家看DeepSeek有多少用戶,也才2000萬人,每天接受的訪問也才240萬次,最熱門的ChatGPT一天也僅有1930萬次,這是什麼搞笑的次數,大家要記得一件事,全球有八十億人口,未來AI如果夠普及,有可能每一個人每一天都會使用無數次ChatGPT,我一天就要使用很多次了,大家看目前註冊的數量及AI工具被使用的情況,就知道目前距離AI算力飽和還差的很遠,未來有可能一天AI被訪問的次數就是幾百億次,幾千億次,這需要多少的AI伺服器算力,這也是為什麼AI的年複成長會很高,目前AI被訪問的次數還是很搞笑的少,全球這麼多人,未來也許你出門搭個公車或捷運,你就會隨口問AI,公車什麼時候會到,我還有多少分鐘能走過去,未來連這麼小的事都很有可能會問AI,大家想想,一天AI能被使用的量會有多恐怖。

新聞說:怕被DeepSeek超過?Google急推Gemini 2.0,多版本夾殺搶佔AI巨頭,DeepSeek推出後,引起各國關注,尤其是原本已經遙遙領先的AI巨頭,都對此AI感到頭疼。對此,Google 在6日正式推出Gemini 2.0,除了之前就釋出專給開發人員的Gemini Flash 2.0版本外,更推出「Gemini 2.0多版本」,針對不同使用者可使用不同的AI模組,繼續延燒AI大戰的戰場。Google在 6日於官方部落格宣布「Gemini 2.0 全面推出」,在上個月Google開啟代理式 AI 的時代,推出了 Gemini 2.0 Flash 的實驗版本:它是一款高效的工具模型,專為開發人員設計,具有低延遲和增強的效能。2025年1月同樣在 Google AI Studio 中更新了 2.0 Flash Thinking Experimental,它結合了 Flash 的速度和處理更複雜問題的推理能力,進而提高了效能。或許是受到DeepSeek搶盡鋒頭刺激, 6日 Google宣布透過 Google AI Studio 和 Vertex AI,讓所有人都能用得到更新後的 Gemini 2.0 Flash;開發人員現在就可以使用 2.0 Flash 打造生產力應用程式。同時也推出了 Gemini 2.0 Pro 的實驗版本,這是目前在寫程式的效能和複雜的提示上表現最好的模型。開發者可以在 Google AI Studio 和 Vertex AI 使用它,Gemini Advanced 用戶也可在 Gemini 的應用程式上使用。此外,還有推出了一款全新模型 Gemini 2.0 Flash-Lite,是Google Gemini目前成本效益最高的模型,並在 Google AI Studio 和 Vertex AI 以公開預覽的形式提供。最後,Gemini 應用程式的使用者,也能在桌機和行動裝置的模型選單中找到 2.0 Flash Thinking Experimental。所有這些模型在發布的時候都會支援多模態的輸入和文字輸出,更多模態的支援也會在未來幾個月內全面推出。關於定價等更多資訊。展望未來,Google強調將持續為 Gemini 2.0 系列模型帶來更多更新和改進的功能。

個人股市研究觀察記錄文章目