CIO越來越多地開始以更清晰的商業(yè)價(jià)值為重點(diǎn)審查生成式AI項(xiàng)目，特別是關(guān)注生成式AI技術(shù)的成本及其潛在優(yōu)勢(shì)。

這與生成式AI的早期有所不同，當(dāng)時(shí)企業(yè)主要關(guān)注探索這項(xiàng)技術(shù)的可能性并孵化大量用例創(chuàng)意。隨著組織尋求將生成式AI擴(kuò)展到初始試點(diǎn)之外，這項(xiàng)技術(shù)的商業(yè)案例現(xiàn)在變得越來越重要。企業(yè)采用者中出現(xiàn)了兩個(gè)相關(guān)的要求：確定投資回報(bào)率前景最好的用例，發(fā)現(xiàn)可能侵蝕財(cái)務(wù)收益的生成式AI成本。

在這種情況下，生成式AI遵循傳統(tǒng)IT部署的路線，理想情況下，取決于財(cái)務(wù)原理和內(nèi)部成本控制。

Insight Enterprises是一家位于美國(guó)亞利桑那州錢德勒的解決方案集成商，該公司北美首席技術(shù)官Juan Orlandini表示：“去年，我們看到了很多實(shí)驗(yàn)項(xiàng)目。今年，我們終于開始把生成式視為一種新的功能，我們?nèi)匀恍枰獋鹘y(tǒng)企業(yè)應(yīng)用的論證和投資回報(bào)率?！?/p>

這對(duì)于那些生成式AI團(tuán)隊(duì)規(guī)模很小、預(yù)算有限、且容錯(cuò)空間很小的公司來說尤其重要。

Quility是一家總部位于美國(guó)北卡羅來納州斯旺諾阿的在線保險(xiǎn)（或保險(xiǎn)科技）公司，該公司首席信息官Danielle Conklin表示，公司擁有一個(gè)包括她在內(nèi)的兩人數(shù)據(jù)科學(xué)團(tuán)隊(duì)。Conklin表示，Quility公司并沒有局限于使用現(xiàn)成的大型語言模型來開發(fā)生成式AI，而是瞄準(zhǔn)了創(chuàng)建自己的高級(jí)模型，早期用例包括客戶參與和CRM。但她補(bǔ)充說，成本和投資回報(bào)率是他們的關(guān)鍵考慮因素。

Conklin說：“要達(dá)到較高的水平需要時(shí)間、人力和資源，兩個(gè)人只能專注于一兩件事。我們必須確保我們選擇的是能夠帶來高投資回報(bào)的事情?！?/p>

她說，成本涉及的不僅僅是兩個(gè)人的時(shí)間初始投資：“我們需要使用其他供應(yīng)商嗎？還是第三方數(shù)據(jù)？我們需要數(shù)據(jù)清理工具和數(shù)據(jù)質(zhì)量工具嗎？而且維護(hù)模型[和]更新模型也需要長(zhǎng)期成本。”

揭示生成式AI的成本：管理變更和準(zhǔn)備數(shù)據(jù)

IT領(lǐng)導(dǎo)者在更詳細(xì)地研究生成式AI的經(jīng)濟(jì)效益時(shí)，可能會(huì)發(fā)現(xiàn)支出要高于預(yù)期。麥肯錫公司高級(jí)合伙人Aamer Baig表示，企業(yè)可能會(huì)被生成式AI相對(duì)較低的啟動(dòng)成本所吸引。麥肯錫的研究發(fā)現(xiàn)，生成式AI模型僅占典型項(xiàng)目成本的15%左右。

但與傳統(tǒng)IT計(jì)劃相比，其他不太明顯的成本可能會(huì)太高項(xiàng)目的成本。

Baig在今年早些時(shí)候的2024年麻省理工學(xué)院斯隆CIO研討會(huì)上表示：“我們都是在成本估算的某些正統(tǒng)觀念中成長(zhǎng)起來的。我們發(fā)現(xiàn)，很多正統(tǒng)觀念對(duì)于生成式AI來說并不適用。”

Baig以變更管理為例，這是數(shù)字化轉(zhuǎn)型項(xiàng)目的一大預(yù)算項(xiàng)目，對(duì)生成式AI的要求更高。

“幾年前，我們說你需要為變更管理投入與開發(fā)一樣多的預(yù)算，這引起了不小的轟動(dòng)?，F(xiàn)在[有了生成式AI]，我們發(fā)現(xiàn)變更管理的投資高達(dá)[開發(fā)成本的]三倍?！?/p>

Baig表示，生成式AI與數(shù)字化轉(zhuǎn)型一樣，需要在工作流程、業(yè)務(wù)流程、政策和KPI方面做出改變。但生成式AI還涉及一些新的變革管理考慮因素，例如提示工程和專業(yè)的AI培訓(xùn)。

芝加哥技術(shù)咨詢公司Thoughtworks首席AI官M(fèi)ike Mason也提到了變革管理在生成式AI項(xiàng)目中的重要性。

“我們看到組織對(duì)變革管理關(guān)注得不夠，當(dāng)你談?wù)摳淖內(nèi)祟惞ぷ鞣绞降臅r(shí)候，你不能忽視其中的變革管理方面?！?/p>

Mason還指出，AI準(zhǔn)備就緒度是組織應(yīng)在計(jì)算中包括的成本，其中包括數(shù)據(jù)是否準(zhǔn)備好支持AI應(yīng)用。他說，數(shù)據(jù)必須是可用的，而不是局限于存儲(chǔ)孤島中，并且在輸入生成式AI系統(tǒng)之前必須經(jīng)過清理。IT部門可能需要升級(jí)基礎(chǔ)設(shè)施才能實(shí)現(xiàn)這一點(diǎn)。Mason補(bǔ)充說，采取的步驟可能包括云遷移和采用現(xiàn)代數(shù)據(jù)平臺(tái)。

他分享了Thoughtworks生命科學(xué)客戶的例子，這家客戶追求數(shù)據(jù)現(xiàn)代化，以使數(shù)據(jù)更易獲得，并支持生成式AI在藥物研發(fā)中的應(yīng)用。Mason解釋說，這家公司的臨床前試驗(yàn)數(shù)據(jù)分散在諸多數(shù)據(jù)存儲(chǔ)中。因此，藥物研究人員很難找到有關(guān)公司之前實(shí)驗(yàn)的信息，從而產(chǎn)生了不必要的重復(fù)測(cè)試成本。這家生命科學(xué)公司部署了一個(gè)數(shù)據(jù)網(wǎng)格，提供了一個(gè)統(tǒng)一的平臺(tái)來訪問實(shí)驗(yàn)和試驗(yàn)的數(shù)據(jù)。

“對(duì)現(xiàn)有數(shù)據(jù)的可視性，可以打造一個(gè)非常強(qiáng)大的投資回報(bào)案例，”Mason說。

與此同時(shí)，Quility也將數(shù)據(jù)作為自己生成式AI工作的一部分。這家保險(xiǎn)公司使用Snowflake作為自己的企業(yè)數(shù)據(jù)倉(cāng)庫(kù)，使用Apache Kafka開源分布式事件流平臺(tái)，支持組織中的數(shù)據(jù)管道和數(shù)據(jù)集成。

Conklin說：“我們希望成為一家數(shù)據(jù)驅(qū)動(dòng)型公司，我們希望在決策時(shí)向員工提供信息?！?/p>

超越傳統(tǒng)的運(yùn)行成本與構(gòu)建成本

運(yùn)營(yíng)生成式AI應(yīng)用的持續(xù)費(fèi)用，可能是阻礙投資回報(bào)的另一項(xiàng)意外成本。Baig表示，在數(shù)字化轉(zhuǎn)型中，一個(gè)被普遍接受的預(yù)測(cè)是，運(yùn)行應(yīng)用的成本占構(gòu)建成本的15%到30%。

“有了生成式AI，我謙虛地建議你把這個(gè)拋到九霄云外，”他指出，生成式AI模型的運(yùn)行成本可能等于構(gòu)建成本，具體取決于用例。

CIO們?cè)诖笠?guī)模部署生成式AI時(shí)應(yīng)該考慮到隱性成本。

Mason表示，運(yùn)行模型和推理過程（模型解釋新數(shù)據(jù)）的成本通常會(huì)使訓(xùn)練模型的成本相形見絀。還有一些成本可能是難以預(yù)測(cè)的，例如，生成式AI供應(yīng)商為大型語言模型定價(jià)API調(diào)用方式，使定價(jià)和成本預(yù)測(cè)變得十分復(fù)雜。供應(yīng)商使用代幣系統(tǒng)來為調(diào)用定價(jià)，較長(zhǎng)的文本響應(yīng)會(huì)消耗更多代幣。

“基于代幣的定價(jià)對(duì)組織來說是新事物，我認(rèn)為它不太可預(yù)測(cè)，”Mason說。

他說，當(dāng)用戶向大型語言模型輸入的時(shí)候，結(jié)果得到的可能是簡(jiǎn)短或者詳細(xì)的答案。因此，基于代幣的定價(jià)使組織很難確定運(yùn)行應(yīng)用的實(shí)際成本，直到投入生產(chǎn)。

咨詢公司EY的美洲技術(shù)、媒體和娛樂以及電信AI負(fù)責(zé)人Vamsi Duvvuri認(rèn)為，成本不確定性是第一批生成式AI項(xiàng)目的收獲之一。

他觀察到：“企業(yè)仍在努力管理和預(yù)測(cè)生成式AI的成本?！?/p>

Duvvuri表示，大多數(shù)當(dāng)前成本模型在即用即付的場(chǎng)景中都無法實(shí)現(xiàn)規(guī)模經(jīng)濟(jì)。他補(bǔ)充說，許多企業(yè)在開始使用生成式AI時(shí)采用的是即用即付的方法。

Duvvuri表示，成本方面有一個(gè)積極的進(jìn)展：由于具有競(jìng)爭(zhēng)力的定價(jià)和高效的架構(gòu)，ChatGPT 4o或Claude 3.5等生成式AI模型的價(jià)格最近有所下降。然而，技術(shù)采用者仍然應(yīng)該專注于控制生成式AI的費(fèi)用。

“企業(yè)必須努力優(yōu)化AI模型工作的單位成本，”Duvvuri表示。

他指出，IT領(lǐng)導(dǎo)者的任務(wù)是擴(kuò)展AI系統(tǒng)的底層技術(shù)和功能模式。技術(shù)模式包括檢索增強(qiáng)生成和多模型鏈接。RAG則用于提高大型語言模型的準(zhǔn)確性，而模型鏈接旨在提高模型的輸出質(zhì)量。Duvvuri表示，功能模式包括總結(jié)/分類、翻譯和組合。

Baig指出，在生成式AI部署的早期階段，技術(shù)選擇會(huì)極大地影響成本和投資回報(bào)率。生成式AI的成本差異可能為10倍到20倍，而數(shù)字化轉(zhuǎn)型的成本差異為1倍到5倍。

“我個(gè)人一直堅(jiān)信偉大技術(shù)選擇的力量，一個(gè)非常強(qiáng)大的商業(yè)案例，從技術(shù)和商業(yè)模式的角度做出正確的決定——可以大大降低你的成本。所以，前期的重大決策真的很重要?！?/p>