平衡可持續(xù)性與風險:CIO為何需要考慮小型語言模型
GenAI確實有不可否認的前景,但大型語言模型(LLM)可能并不是在企業(yè)中應用它的最佳方式。未來有望出現(xiàn)基于特定數(shù)據(jù)的、更節(jié)能的小型模型,這些模型允許IT部門保持控制。
隨著GPT-4通過圖靈測試,微軟將其AI助手Copilot推向企業(yè)產品,谷歌宣布在意大利的手機上推出Gemini應用,CIO們正在研究GenAI技術以保持最新進展——但不會被技術熱情或商業(yè)提議所分心。
“GenAI可以帶來許多好處,但不能在沒有適當考慮的情況下被采用,”GARR(意大利研究和教育社區(qū)的寬帶網(wǎng)絡)的CTO兼基礎設施部門主管Massimo Carboni說,“炒作非常強烈,但高估其可能性的風險同樣高。在數(shù)字世界中,我們必須更加小心,AI和GenAI的第一個風險就是過度信任?!?/p>
此外,Gartner最近估計全球企業(yè)在GenAI技術上的支出并不重要。在預計今年總計5萬億美元的IT投資中,比2023年增長8%,GenAI所占的比例并不多。支出將由更傳統(tǒng)的力量推動,例如經典的IT服務,這將價值超過1.5萬億美元,同比增長9.7%。
相比之下,大型服務提供商正在增加對支持GenAI項目的技術投入,預期即將到來的繁榮,AI應用服務器將在2024年代表超大規(guī)模服務器總投資的近60%,然而,企業(yè)更加謹慎。Gartner看到GenAI的“故事、計劃、執(zhí)行”周期:2023年討論,2024年計劃實施,2025年執(zhí)行。
GenAI在CIO的審查下
inewa(Elevion Group的成員,一家活躍于沼氣和生物甲烷生成及能效領域的認證ESCO)的CIO Edoardo Esposito,目前正處于測試Copilot的規(guī)劃階段,因為inewa的IT系統(tǒng)全部基于微軟系統(tǒng),這款GenAI產品與Office套件完美集成。他的實驗與其他經理如CFO、法律總監(jiān)和機構關系及監(jiān)管總監(jiān)一起進行。
“我們正在測試金融方面的使用,例如收入和支出的財務分析,”Esposito說,“我認為這是最大的機會所在,目前我不認為法律方面的使用有前景,但我們正在嘗試使用GenAI來管理合同和研究法律?!?/p>
當然,AI不提供法律建議,但它有助于導航不斷更新或更改的大量規(guī)則。
“即使是用AI生成的新法律的簡單要點總結,發(fā)送給高管審閱也有幫助,”他說,“對我們這樣的小企業(yè)來說,每月30美元就像辦公室里多了一個人?!?/p>
盡管他對自動化簡單任務毫不猶豫,Esposito并不認為GenAI可以完全自動化復雜任務,除此之外還有其他擔憂。“這些模型對我來說似乎不可持續(xù)。它們有巨大的參數(shù),訓練需要大量能源?!彼f。
AI的不可持續(xù)性
Carboni還強調了AI的高能耗及其增加了技術的高成本。
“全球的ICT占總能源成本的9%,即約3000億美元(2023年),”他說,“這一比例在過去10年中增加了多達60%,并且注定會進一步增長?!?/p>
然后,在培訓方面存在一個問題,據(jù)Carboni說,“GenAI正在顛覆傳統(tǒng)以人為中心的方法,”他說,“今天,不是人們訓練模型,然后改變公司組織,而是人們必須適應從市場上來的模型,這對我來說是一個風險。GenAI玩家越少,越會造成依賴和公司失去控制?!?/p>
此外,Carboni補充道,AI風險在于將數(shù)字功能限制在少數(shù)決定行為和成本的主體上,因為GenAI的進入門檻很高,大多數(shù)公司只能購買服務,卻沒有能力區(qū)分不同產品之間的差異,選擇很少,風險在于產品的標準化。“所以在我看來,繼續(xù)在內部構建一些東西總是更好?!?/p>
與大型科技公司競爭
公司之間的競爭正在加劇,許多人,包括Carboni在內,認為一些大供應商的銷售模式在許多方面都不公平,因為某些市場參與者具備其他公司不具備的能力。
“像Microsoft和Google這樣的公司擁有產品生態(tài)系統(tǒng),這種控制多達80%數(shù)據(jù)市場的寡頭壟斷對其他公司有巨大優(yōu)勢,”他說,“大型科技公司的策略還旨在收購初創(chuàng)公司,以增強其對數(shù)據(jù)的主導地位。”所以很難想到能夠與之競爭的新進入者。確實存在提供替代產品的初創(chuàng)公司,這是開發(fā)算法的好方法,但這還不足以取得成功。
對Carboni來說,這并不意味著GenAI的失敗,而是希望深入研究和管理它?!拔艺J為AI非常重要,我們將在GARR上研究它,因為我們有大量數(shù)據(jù)可以利用,”他補充道,“目的是導出一個GenAI模型,以更好地定義我們的內部知識庫,這目前還不是公開的,但如果我們想公開,就必須為外部閱讀開發(fā)它,我們可以為此目的使用一個小型語言模型。”
SLMs:CIO尋找控制的途徑
小型語言模型(SLMs)是ML算法,訓練在比大型語言模型(LLMs)更小、更具體的數(shù)據(jù)集上。初步測試表明,它們在任務上更高效、成本更低、準確性更高。實際上,Esposito也在關注SLMs的發(fā)展,并認為它們在商業(yè)用途上更有前途,也更可持續(xù)。大型產品訓練優(yōu)秀,但通用,而公司需要垂直應用。
“通過API使用大型GenAI模型來訓練自己的GenAI產品,需要大量的能源資源,”Esposito說,“這就像把一個數(shù)字同事帶進你的家,但這個同事成本很高,你必須用你特定的公司信息來訓練他,不斷提供新數(shù)據(jù)以保持更新,你還需要大量電力來為他提供動力,這就是為什么我對大型語言模型不感興趣,但對小型語言模型非常感興趣,公司需要更有針對性、風險更小的偏見和隱私侵犯。”
例如,Esposito說,IT可以隔離一個狹窄的語言任務,使用一個SLM,將其放在云端,并僅允許其訪問公司文件數(shù)據(jù)庫,從那里,它只回答與這些文件相關的問題。
“從初步實驗來看,似乎不僅能減少能耗,還能降低出現(xiàn)幻覺的概率,”他說,“畢竟,企業(yè)的AI模型不需要知道所有事情,只需對特定應用作出響應。小型語言模型(SLMs)仍然可以進行翻譯、執(zhí)行市場趨勢分析、自動化客戶服務、管理IT工單、創(chuàng)建商業(yè)虛擬助手等等。限制領域并使其專業(yè)化,同時保持在IT的控制下,對我來說似乎更有效率?!?/p>
衡量GenAI業(yè)務和小型模型
控制是關鍵。Bruno Kessler基金會增強中心主任Alessandro Sperduti表示,在AI領域,我們面臨私人公司的主導風險。“過去,世界上最重要的AI系統(tǒng)是由大學開發(fā)的,而現(xiàn)在不是了,因為私人技術巨頭已經崛起,他們的支出能力是公共領域無法競爭的。”他說。
事實上,在科學界,有些人希望通過政治干預將AI重新置于控制之下,就像高能物理和CERN的建立那樣,CERN是一個將多個國家聯(lián)合起來合作進行粒子物理理論和實驗的機構,但其他研究人員認為,只要政府對AI工具的使用進行監(jiān)管,就像歐盟通過AI法案那樣,一些私人企業(yè)的霸權并不會帶來風險。
“與物理世界發(fā)生的事情不同,那里沒有大生意,而在AI領域,有巨大的利潤,”Sperduti說,“這就是為什么像Microsoft和Google這樣的公司今天競爭激烈。每天我們都能看到新的目標被實現(xiàn),超越了之前的成績。雖然存在一些初創(chuàng)公司,但與其他領域相比,這些公司很少,因為所需的投資非常巨大。因此,我不認為它們能真正威脅當前參與者的主導地位并創(chuàng)造強有力的競爭動態(tài)?!?/p>
然而,在小型模型方面,Sperduti強調了檢索增強生成(RAG)系統(tǒng)的存在,這些系統(tǒng)使用大型語言模型(LLMs)回答存儲在本地數(shù)據(jù)庫中的文件問題。通過這種方式,文件保持私密,不會交給提供LLM的組織。RAGs為公司提供了更多的數(shù)據(jù)控制,并且成本更低。
“但它們需要本地管理,”他強調說,“你也可以本地使用開源語言模型,這些模型比LLMs小,但性能較低,因此可以視為SLMs?!?/p>
關于成本的可持續(xù)性,Sperduti表示,LLMs由大型科技公司作為公用事業(yè)服務進行管理,就像我們購買電力一樣,而擁有一個SLM意味著在家中保持渦輪機發(fā)電?!耙虼耍仨氝M行經濟評估,”他說,“如果模型的使用頻繁,這可能是有利的,但這是一個必須經過仔細分析后做出的選擇,考慮到模型的成本、更新的成本、工作在其上的人員等?!?/p>
掌舵的CIO:治理和專業(yè)知識
Carboni還警告說,如果選擇SLM,IT的任務將更重,CIO的生活不一定會簡化。
“在LLMs中,大部分數(shù)據(jù)處理是通過統(tǒng)計方法完成的,然后IT部門會針對特定主題訓練模型以糾正錯誤,提供有針對性的高質量數(shù)據(jù),”他說,“SLMs成本更低,需要的數(shù)據(jù)也更少,但正因為如此,其統(tǒng)計計算效果不如LLMs,因此需要非常高質量的數(shù)據(jù),同時數(shù)據(jù)科學家也需要投入大量工作,否則,使用通用數(shù)據(jù)模型可能會產生許多錯誤。”
此外,SLMs對于公司來說非常有前景和吸引力,甚至大科技公司也在提供和宣傳它們,如Google的Gemma和Microsoft的Phi-3。因此,根據(jù)Esposito的說法,治理仍然是基礎,模型應該保持為封閉系統(tǒng)。
“SLM更容易管理,并且成為公司從AI中提取附加價值的重要資產,”他說,“否則,使用大型模型和開放系統(tǒng)時,你必須同意與Google、Microsoft和OpenAI共享公司的戰(zhàn)略信息,這就是為什么我更喜歡與可以開發(fā)定制化方案并提供封閉系統(tǒng)的系統(tǒng)集成商合作,僅供內部使用。我認為讓員工使用通用產品并將公司數(shù)據(jù)輸入其中是不明智的,這些數(shù)據(jù)可能也具有敏感性。數(shù)據(jù)和AI治理對公司來說至關重要。”
同樣重要的是CIO的能力。
“在我的工作中,我認為不僅要評估服務的接入成本,還要考慮我對服務的影響能力,”Carboni說,“CIO必須建立自己的技術知識背景,并配備一支有能力的團隊,包括一部分年輕人,能夠在現(xiàn)代環(huán)境中使用云原生技術工作。這樣,CIO不僅僅是購買產品并期待其表現(xiàn),而是能夠對該產品或服務進行操作和影響?!?/p>
因此,CIO仍然掌握著方向盤。無論GenAI的發(fā)展軌跡如何,IT主管希望能夠決定方向、應用和目標。