CIO越來越多地開始以更清晰的商業(yè)價值為重點審查生成式AI項目，特別是關(guān)注生成式AI技術(shù)的成本及其潛在優(yōu)勢。

這與生成式AI的早期有所不同，當時企業(yè)主要關(guān)注探索這項技術(shù)的可能性并孵化大量用例創(chuàng)意。隨著組織尋求將生成式AI擴展到初始試點之外，這項技術(shù)的商業(yè)案例現(xiàn)在變得越來越重要。企業(yè)采用者中出現(xiàn)了兩個相關(guān)的要求：確定投資回報率前景最好的用例，發(fā)現(xiàn)可能侵蝕財務(wù)收益的生成式AI成本。

在這種情況下，生成式AI遵循傳統(tǒng)IT部署的路線，理想情況下，取決于財務(wù)原理和內(nèi)部成本控制。

Insight Enterprises是一家位于美國亞利桑那州錢德勒的解決方案集成商，該公司北美首席技術(shù)官Juan Orlandini表示：“去年，我們看到了很多實驗項目。今年，我們終于開始把生成式視為一種新的功能，我們?nèi)匀恍枰獋鹘y(tǒng)企業(yè)應(yīng)用的論證和投資回報率?！?/p>

這對于那些生成式AI團隊規(guī)模很小、預(yù)算有限、且容錯空間很小的公司來說尤其重要。

Quility是一家總部位于美國北卡羅來納州斯旺諾阿的在線保險（或保險科技）公司，該公司首席信息官Danielle Conklin表示，公司擁有一個包括她在內(nèi)的兩人數(shù)據(jù)科學團隊。Conklin表示，Quility公司并沒有局限于使用現(xiàn)成的大型語言模型來開發(fā)生成式AI，而是瞄準了創(chuàng)建自己的高級模型，早期用例包括客戶參與和CRM。但她補充說，成本和投資回報率是他們的關(guān)鍵考慮因素。

Conklin說：“要達到較高的水平需要時間、人力和資源，兩個人只能專注于一兩件事。我們必須確保我們選擇的是能夠帶來高投資回報的事情?！?/p>

她說，成本涉及的不僅僅是兩個人的時間初始投資：“我們需要使用其他供應(yīng)商嗎？還是第三方數(shù)據(jù)？我們需要數(shù)據(jù)清理工具和數(shù)據(jù)質(zhì)量工具嗎？而且維護模型[和]更新模型也需要長期成本?！?/p>

揭示生成式AI的成本：管理變更和準備數(shù)據(jù)

IT領(lǐng)導者在更詳細地研究生成式AI的經(jīng)濟效益時，可能會發(fā)現(xiàn)支出要高于預(yù)期。麥肯錫公司高級合伙人Aamer Baig表示，企業(yè)可能會被生成式AI相對較低的啟動成本所吸引。麥肯錫的研究發(fā)現(xiàn)，生成式AI模型僅占典型項目成本的15%左右。

但與傳統(tǒng)IT計劃相比，其他不太明顯的成本可能會太高項目的成本。

Baig在今年早些時候的2024年麻省理工學院斯隆CIO研討會上表示：“我們都是在成本估算的某些正統(tǒng)觀念中成長起來的。我們發(fā)現(xiàn)，很多正統(tǒng)觀念對于生成式AI來說并不適用。”

Baig以變更管理為例，這是數(shù)字化轉(zhuǎn)型項目的一大預(yù)算項目，對生成式AI的要求更高。

“幾年前，我們說你需要為變更管理投入與開發(fā)一樣多的預(yù)算，這引起了不小的轟動?，F(xiàn)在[有了生成式AI]，我們發(fā)現(xiàn)變更管理的投資高達[開發(fā)成本的]三倍?！?/p>

Baig表示，生成式AI與數(shù)字化轉(zhuǎn)型一樣，需要在工作流程、業(yè)務(wù)流程、政策和KPI方面做出改變。但生成式AI還涉及一些新的變革管理考慮因素，例如提示工程和專業(yè)的AI培訓。

芝加哥技術(shù)咨詢公司Thoughtworks首席AI官Mike Mason也提到了變革管理在生成式AI項目中的重要性。

“我們看到組織對變革管理關(guān)注得不夠，當你談?wù)摳淖內(nèi)祟惞ぷ鞣绞降臅r候，你不能忽視其中的變革管理方面?！?/p>

Mason還指出，AI準備就緒度是組織應(yīng)在計算中包括的成本，其中包括數(shù)據(jù)是否準備好支持AI應(yīng)用。他說，數(shù)據(jù)必須是可用的，而不是局限于存儲孤島中，并且在輸入生成式AI系統(tǒng)之前必須經(jīng)過清理。IT部門可能需要升級基礎(chǔ)設(shè)施才能實現(xiàn)這一點。Mason補充說，采取的步驟可能包括云遷移和采用現(xiàn)代數(shù)據(jù)平臺。

他分享了Thoughtworks生命科學客戶的例子，這家客戶追求數(shù)據(jù)現(xiàn)代化，以使數(shù)據(jù)更易獲得，并支持生成式AI在藥物研發(fā)中的應(yīng)用。Mason解釋說，這家公司的臨床前試驗數(shù)據(jù)分散在諸多數(shù)據(jù)存儲中。因此，藥物研究人員很難找到有關(guān)公司之前實驗的信息，從而產(chǎn)生了不必要的重復測試成本。這家生命科學公司部署了一個數(shù)據(jù)網(wǎng)格，提供了一個統(tǒng)一的平臺來訪問實驗和試驗的數(shù)據(jù)。

“對現(xiàn)有數(shù)據(jù)的可視性，可以打造一個非常強大的投資回報案例，”Mason說。

與此同時，Quility也將數(shù)據(jù)作為自己生成式AI工作的一部分。這家保險公司使用Snowflake作為自己的企業(yè)數(shù)據(jù)倉庫，使用Apache Kafka開源分布式事件流平臺，支持組織中的數(shù)據(jù)管道和數(shù)據(jù)集成。

Conklin說：“我們希望成為一家數(shù)據(jù)驅(qū)動型公司，我們希望在決策時向員工提供信息?！?/p>

超越傳統(tǒng)的運行成本與構(gòu)建成本

運營生成式AI應(yīng)用的持續(xù)費用，可能是阻礙投資回報的另一項意外成本。Baig表示，在數(shù)字化轉(zhuǎn)型中，一個被普遍接受的預(yù)測是，運行應(yīng)用的成本占構(gòu)建成本的15%到30%。

“有了生成式AI，我謙虛地建議你把這個拋到九霄云外，”他指出，生成式AI模型的運行成本可能等于構(gòu)建成本，具體取決于用例。

CIO們在大規(guī)模部署生成式AI時應(yīng)該考慮到隱性成本。

Mason表示，運行模型和推理過程（模型解釋新數(shù)據(jù)）的成本通常會使訓練模型的成本相形見絀。還有一些成本可能是難以預(yù)測的，例如，生成式AI供應(yīng)商為大型語言模型定價API調(diào)用方式，使定價和成本預(yù)測變得十分復雜。供應(yīng)商使用代幣系統(tǒng)來為調(diào)用定價，較長的文本響應(yīng)會消耗更多代幣。

“基于代幣的定價對組織來說是新事物，我認為它不太可預(yù)測，”Mason說。

他說，當用戶向大型語言模型輸入的時候，結(jié)果得到的可能是簡短或者詳細的答案。因此，基于代幣的定價使組織很難確定運行應(yīng)用的實際成本，直到投入生產(chǎn)。

咨詢公司EY的美洲技術(shù)、媒體和娛樂以及電信AI負責人Vamsi Duvvuri認為，成本不確定性是第一批生成式AI項目的收獲之一。

他觀察到：“企業(yè)仍在努力管理和預(yù)測生成式AI的成本?！?/p>

Duvvuri表示，大多數(shù)當前成本模型在即用即付的場景中都無法實現(xiàn)規(guī)模經(jīng)濟。他補充說，許多企業(yè)在開始使用生成式AI時采用的是即用即付的方法。

Duvvuri表示，成本方面有一個積極的進展：由于具有競爭力的定價和高效的架構(gòu)，ChatGPT 4o或Claude 3.5等生成式AI模型的價格最近有所下降。然而，技術(shù)采用者仍然應(yīng)該專注于控制生成式AI的費用。

“企業(yè)必須努力優(yōu)化AI模型工作的單位成本，”Duvvuri表示。

他指出，IT領(lǐng)導者的任務(wù)是擴展AI系統(tǒng)的底層技術(shù)和功能模式。技術(shù)模式包括檢索增強生成和多模型鏈接。RAG則用于提高大型語言模型的準確性，而模型鏈接旨在提高模型的輸出質(zhì)量。Duvvuri表示，功能模式包括總結(jié)/分類、翻譯和組合。

Baig指出，在生成式AI部署的早期階段，技術(shù)選擇會極大地影響成本和投資回報率。生成式AI的成本差異可能為10倍到20倍，而數(shù)字化轉(zhuǎn)型的成本差異為1倍到5倍。

“我個人一直堅信偉大技術(shù)選擇的力量，一個非常強大的商業(yè)案例，從技術(shù)和商業(yè)模式的角度做出正確的決定——可以大大降低你的成本。所以，前期的重大決策真的很重要。”