GenAI是歷史上發(fā)展最快的新技術(shù)，GenAI正在改變世界，改變我們創(chuàng)建圖像和視頻、音頻、文本和代碼的方式。

根據(jù)戴爾9月份對IT決策者的一項調(diào)查，76%的人表示，GenAI將對他們的公司產(chǎn)生“重大”影響，大多數(shù)人預(yù)計在未來12個月內(nèi)將看到有意義的結(jié)果。

大型語言模型(LLM)是一種關(guān)注文本和代碼而不是圖像或音頻的GenAI，盡管一些模型已經(jīng)開始集成不同的形式。當(dāng)今公司中最受歡迎的LLM是ChatGPT和其他OpenAI GPT模型，Anthropic的Claude，Meta的Llama 2，以及來自Abu Dhabi技術(shù)創(chuàng)新研究所的開源模型Falcon，該模型以支持英語以外的語言而聞名。

公司有幾種部署LLM的方式，比如允許員工訪問公共應(yīng)用程序，使用Prompt工程和API將LLM嵌入現(xiàn)有軟件，使用矢量數(shù)據(jù)庫提高準(zhǔn)確性和相關(guān)性，微調(diào)現(xiàn)有模型，或者構(gòu)建自己的LLM。

部署公有LLM

Dig Security是一家以色列云數(shù)據(jù)安全公司，其工程師使用ChatGPT編寫代碼，首席執(zhí)行官Dan Benjamin說：“每個工程師都會用東西來幫助他們更快地編寫代碼?！倍鳦hatGPT是最早也是最簡單的編碼助手之一，但它有一個問題——你永遠(yuǎn)不能確定你上傳的信息是否不會被用于培訓(xùn)下一代模型。Dig Security通過兩種方式解決了這一可能性，首先，該公司使用安全網(wǎng)關(guān)來檢查上傳了哪些信息。

“我們的員工知道他們不能上傳任何敏感的東西，”Benjamin說?！八环庾×??！?/p>

其次，該公司將其工程師輸送到運行在Azure私有云上的ChatGPT版本，這意味著Dig Security擁有自己的獨立ChatGPT實例。Benjamin說，即使用這種腰帶和吊帶的方法來確保安全，這也不是一個完美的解決方案。“沒有完美的解決方案。任何認(rèn)為存在的公司，都是在自欺欺人。

例如，某人可以使用VPN或個人計算機(jī)訪問ChatGPT的公有版本，這就是另一種程度的風(fēng)險緩解的用武之地。

“這一切都是關(guān)于員工培訓(xùn)，”他說，“并確保他們了解自己需要做什么，并在數(shù)據(jù)安全方面接受過良好的培訓(xùn)?！?/p>

Dig Security公司并不孤單。

加州SkyHigh Security公司營銷總監(jiān)Tracy Holden表示，2023年上半年，近100萬最終用戶通過公司基礎(chǔ)設(shè)施訪問了ChatGPT，用戶數(shù)量在1-6月之間增長了1500%。

在Netskope Threat Labs 7月份的一份報告中，發(fā)布到ChatGPT的源代碼比任何其他類型的敏感數(shù)據(jù)都多，每月每10000個企業(yè)用戶發(fā)生158起事件。

最近，公司已經(jīng)得到了更安全、更適合企業(yè)的選擇，比如微軟的Copilot，它將易用性與額外的控制和保護(hù)結(jié)合在一起。在11月初的OpenAI DevDay上，首席執(zhí)行官Sam Altman表示，目前有1億活躍用戶在使用該公司的ChatGPT聊天機(jī)器人，200萬開發(fā)者在使用其API，超過92%的財富500強(qiáng)公司都在使用OpenAI平臺。

矢量數(shù)據(jù)庫和RAG

對于大多數(shù)希望定制LLM的公司來說，檢索增強(qiáng)生成(RAG)是可行的。如果有人在談?wù)撉度牖蛳蛄繑?shù)據(jù)庫，這就是他們通常的意思，它的工作方式是用戶提出一個問題，比如說，關(guān)于公司的政策或產(chǎn)品，這個問題并不是馬上就交給LLM的，相反，它首先被處理，用戶是否有權(quán)訪問該信息?如果有訪問權(quán)，則通常從矢量數(shù)據(jù)庫中檢索所有可能相關(guān)的信息，然后，問題和相關(guān)信息被發(fā)送到LLM，并嵌入到優(yōu)化提示中，該優(yōu)化提示還可以指定LLM應(yīng)該使用的回答和語氣的優(yōu)選格式。

矢量數(shù)據(jù)庫是一種在一系列列表中組織信息的方式，每個列表都按不同的屬性排序，例如，你可能有一個按字母順序排列的列表，你的回復(fù)越接近字母順序，它們就越相關(guān)。

按字母順序排列的列表是一維向量數(shù)據(jù)庫，但向量數(shù)據(jù)庫可以有無限多個維度，使你可以根據(jù)它們與任意數(shù)量的因素的接近程度來搜索相關(guān)答案，這使得它們非常適合與LLM一起使用。

Salesloft是一家銷售平臺供應(yīng)商，其首席產(chǎn)品和工程官Ellie Fields表示：“目前，我們正在將所有內(nèi)容轉(zhuǎn)換為矢量數(shù)據(jù)庫。是的，它們正在發(fā)揮作用?！?/p>

而且，它比使用簡單的文檔為LLM查詢提供上下文更有效，她說。

該公司主要使用ChromaDB，這是一個開源的矢量存儲，主要用于LLM。Salesloft使用的另一個矢量數(shù)據(jù)庫是PgVECTOR，這是針對PostgreSQL數(shù)據(jù)庫的矢量相似性搜索擴(kuò)展。

“但我們也用FAISS和Pinecone做了一些研究，”她說。FAISS，或Facebook AI Similarity Search，是Meta提供的一個開源庫，支持多媒體文檔中的相似性搜索。

Pinecone是一個專有的基于云的矢量數(shù)據(jù)庫，也受到開發(fā)人員的歡迎，它的免費層支持多達(dá)10萬個矢量。一旦從矢量數(shù)據(jù)庫中檢索到相關(guān)信息并嵌入到提示符中，查詢就會被發(fā)送到在Microsoft Azure上的私有實例中運行的OpenAI。

“我們將Azure認(rèn)證為我們平臺上的新子處理器，”Fields說?！爱?dāng)我們?yōu)榭蛻舻男畔⑴鋫淞诵碌奶幚砥鲿r，我們總是讓他們知道。”

但Salesloft也與谷歌和IBM合作，并正在開發(fā)也使用這些平臺的GenAI功能。

“我們肯定會與不同的供應(yīng)商和不同的模式合作，”她說。情況一周又一周在變化。如果你不看不同的車型，你就錯失良機(jī)了。因此，RAG允許企業(yè)將他們的專有數(shù)據(jù)與模型本身分開，隨著更好的模型的發(fā)布，更容易交換模型。此外，矢量數(shù)據(jù)庫甚至可以實時更新，而不需要對模型進(jìn)行更多的微調(diào)或重新訓(xùn)練。

“我們已經(jīng)更換了模型，從OpenAI到Azure上的OpenAI，”Fields說，“我們已經(jīng)在不同的OpenAI模型之間進(jìn)行了切換，我們甚至可能針對我們的客戶群的不同部分支持不同的型號。”

她補(bǔ)充說，有時不同的型號有不同的API?！斑@不是小事，”她說，但換掉一個模型仍然比再培訓(xùn)容易?！拔覀冞€沒有找到一個用例來更好地服務(wù)于微調(diào)，而不是矢量數(shù)據(jù)庫，”Fields補(bǔ)充道。“我相信有一些用例，但到目前為止，我們還沒有找到性能更好的用例?！?/p>

Salesloft推出的LLM的首批應(yīng)用之一是添加了一項功能，允許客戶向潛在客戶生成銷售電子郵件?！翱蛻艋撕芏鄷r間來寫這些電子郵件，”Fields說?！八茈y開始，而且有很多作家的障礙?！币虼?，現(xiàn)在客戶可以指定目標(biāo)角色、他們的價值主張和行動號召-他們會收到三封可以個性化的不同草稿電子郵件。Fields說，Salesloft使用OpenAI的GPT 3.5撰寫這封電子郵件。

本地運行的開源模型

總部位于波士頓的Ikigai Labs提供了一個平臺，允許公司構(gòu)建定制的大型圖形模型，或設(shè)計用于處理結(jié)構(gòu)化數(shù)據(jù)的人工智能模型，但為了使界面更易于使用，Ikigai在其前端安裝了LLM，例如，該公司使用了Falcon開源LLM的70億參數(shù)版本，并在自己的環(huán)境中為一些客戶運行它。

為了向LLM提供信息，Ikigai使用了也在本地運行的矢量數(shù)據(jù)庫，它建立在邊界森林算法的基礎(chǔ)上，聯(lián)合創(chuàng)始人兼聯(lián)合首席執(zhí)行官Devavrat Shah說。

“四年前在麻省理工學(xué)院，我和我的一些學(xué)生嘗試了大量的矢量數(shù)據(jù)庫，”同時也是麻省理工學(xué)院人工智能教授的Shah說，“我知道它會有用的，但沒這么有用?！?/p>

他表示，將模型和矢量數(shù)據(jù)庫都保存在本地意味著數(shù)據(jù)不會泄露給第三方?！皩τ谀切┰敢庀蛩税l(fā)送查詢的客戶，我們使用OpenAI，”Shah說?！拔覀兪遣豢芍撜??！?/p>

構(gòu)建了自己的ChatPWC工具的普華永道，也是LLM不可知論者?！癈hatPWC讓我們的員工更有能力，”該公司合伙人、Gen AI Go-Market戰(zhàn)略負(fù)責(zé)人Bret Greenstein說，例如，它包括用于生成職位描述的預(yù)置提示?！八形宜械母袷?、模板和術(shù)語，”他說，“我們有人力資源、數(shù)據(jù)和提示專家，我們設(shè)計的東西能產(chǎn)生非常好的招聘信息。現(xiàn)在，沒有人需要知道如何使用令人驚嘆的提示語來生成職位描述?！?/p>

該工具是基于Microsoft Azure構(gòu)建的，但該公司也為谷歌云平臺和AWS構(gòu)建了它?！拔覀儽仨殲槲覀兊目蛻舴?wù)，他們存在于每個云上，” Greenstein說。同樣，它也進(jìn)行了優(yōu)化，在后端使用不同的型號，因為這是客戶想要的。他補(bǔ)充說：“我們讓每一種模式都能發(fā)揮作用。Llama 2，F(xiàn)alcon——我們什么都有?！?/p>

當(dāng)然，市場變化很快，Greenstein建議企業(yè)對他們的人工智能部署采取“不后悔”的政策。

“人們可以做很多事情，”他說，“比如建立獨立于模型的數(shù)據(jù)，以及建立治理?！比缓?，當(dāng)市場發(fā)生變化，一種新的模式出現(xiàn)時，數(shù)據(jù)和治理結(jié)構(gòu)仍將是相關(guān)的。

微調(diào)

管理咨詢公司AArete采用了開源模型GPT 2，并根據(jù)自己的數(shù)據(jù)對其進(jìn)行了微調(diào)。該公司負(fù)責(zé)數(shù)字技術(shù)服務(wù)的副總裁Priya Iragavarapu說：“這是輕量級的。我們想要一個開源的，能夠在我們的環(huán)境中獲取并發(fā)布它的軟件。”

如果AArete使用托管模型并通過API連接到它，則會出現(xiàn)信任問題。她說：“我們擔(dān)心來自提示的數(shù)據(jù)可能最終會出現(xiàn)在哪里，我們不想冒這些風(fēng)險?！?/p>

在選擇開源模型時，她會考慮以前的下載次數(shù)、社區(qū)支持和硬件要求。

她說：“基礎(chǔ)模式也應(yīng)該有一些任務(wù)相關(guān)性。”有一些模型適用于特定的任務(wù)。例如，我最近研究了一個擁抱臉模型，它可以將PDF中的內(nèi)容解析為結(jié)構(gòu)化格式。

金融界和醫(yī)療保健行業(yè)的許多公司都在根據(jù)自己的額外數(shù)據(jù)集對LLM進(jìn)行微調(diào)。

她說：“基本的LLM是在整個互聯(lián)網(wǎng)上接受培訓(xùn)的?！蓖ㄟ^微調(diào)，公司可以創(chuàng)建專門針對其業(yè)務(wù)用例的模型。

一種常見的方法是創(chuàng)建一個問題和答案的列表，并根據(jù)這些問題和答案微調(diào)一個模型。事實上，OpenAI在8月份開始允許使用問答方法對其GPT 3.5型號進(jìn)行微調(diào)，并在11月的DevDay上推出了一套新的GPT 4微調(diào)、定制和RAG選項。

這對于客戶服務(wù)和幫助臺應(yīng)用程序特別有用，在這些應(yīng)用程序中，公司可能已經(jīng)擁有常見問題數(shù)據(jù)庫。

同樣在戴爾的調(diào)查中，21%的公司更愿意在自己的環(huán)境中使用自己的數(shù)據(jù)來重新培訓(xùn)現(xiàn)有模型。

Constellation Research公司副總裁兼首席分析師Andy Thurai說：“最受歡迎的選擇似乎是Llama 2?！?Llama 2有三種不同的尺寸，對于月用戶少于7億的公司是免費的，公司可以在自己的數(shù)據(jù)集上對其進(jìn)行微調(diào)，并相當(dāng)快地推出新的定制模型，他表示。事實上，Hugging Face LLM排行榜目前由Llama 2的不同微調(diào)和定制主導(dǎo)。在Llama 2之前，F(xiàn)alcon是最受歡迎的開源LLM，他補(bǔ)充道。“現(xiàn)在是一場軍備競賽。”他說，微調(diào)可以創(chuàng)建一個針對特定業(yè)務(wù)用例更準(zhǔn)確的模型?！叭绻闶褂玫氖且粋€廣義的Llama模型，精度可能會很低?！?/p>

與RAG嵌入相比，微調(diào)也有一些優(yōu)勢。在嵌入的情況下，公司必須對每個查詢進(jìn)行矢量數(shù)據(jù)庫搜索?！岸夷阋呀?jīng)有了數(shù)據(jù)庫的實現(xiàn)，” Thurai說?！斑@也不是一件容易的事?！?/p>

微調(diào)也沒有上下文窗口限制。有了嵌入，可以添加到提示符的信息就只有這么多了。如果一家公司確實進(jìn)行了微調(diào)，他們不會經(jīng)常這樣做，就在基礎(chǔ)人工智能模型的顯著改進(jìn)版本發(fā)布時。

最后，如果一家公司有一個快速變化的數(shù)據(jù)集，可以結(jié)合嵌入使用微調(diào)?！澳憧梢韵葘ζ溥M(jìn)行微調(diào)，然后對增量更新進(jìn)行RAG，”他說。

Forrester Research分析師Rowan Curran預(yù)計，在未來一年左右的時間里，將出現(xiàn)大量微調(diào)的、特定于領(lǐng)域的模型，公司還可以提煉模型，使其在特定任務(wù)中更有效率，但他說，只有一小部分公司——10%或更少——會這么做。

普華永道的Greenstein表示，開發(fā)SaaS應(yīng)用等應(yīng)用的軟件公司可能會進(jìn)行微調(diào)?！叭绻阌幸粋€高度可重復(fù)的模式，微調(diào)可以降低你的成本，”他說，但對于企業(yè)部署，RAG在90%到95%的情況下效率更高。

加拿大企業(yè)搜索和推薦公司Coveo的ML副總裁Sebastien Paquet補(bǔ)充道：“我們實際上正在研究針對特定垂直市場的微調(diào)模型?！蔽覀冇幸恍ｉT的垂直領(lǐng)域有專門的詞匯，比如醫(yī)學(xué)垂直領(lǐng)域。銷售卡車零部件的企業(yè)有自己的零部件命名方式。

然而，就目前而言，該公司使用的是在Azure私有云上運行的OpenAI的GPT 3.5和GPT 4，并隔離了LLM API調(diào)用，以便Coveo可以在需要時切換到不同的型號。它還針對特定的用例使用了一些來自Hugging Face的開源LLM。

從頭開始構(gòu)建LLM

很少有公司會從頭開始建立自己的LLM，畢竟，根據(jù)定義，它們是相當(dāng)大的。OpenAI的GPT 3具有1750億個參數(shù)，并在45TB的數(shù)據(jù)集上進(jìn)行訓(xùn)練，訓(xùn)練成本為460萬美元。據(jù)OpenAI首席執(zhí)行官Sam Altman稱，GPT 4的成本超過1億美元。

正是這種大小賦予了LLM魔法和處理人類語言的能力，具有一定程度的常識，以及遵循指令的能力。

“你不能僅僅靠自己的數(shù)據(jù)來訓(xùn)練它，”Insight的杰出工程師Carm Taglienti說?！霸跀?shù)千萬參數(shù)上進(jìn)行訓(xùn)練是有價值的?！?/p>

今天，幾乎所有的LLM都來自大型超大規(guī)模公司或OpenAI和Anthropic等專注于人工智能的初創(chuàng)公司。

即便是在構(gòu)建自己的模型方面擁有豐富經(jīng)驗的公司，也不愿創(chuàng)建自己的LLM。

例如，Salesloft多年來一直在構(gòu)建自己的人工智能和機(jī)器學(xué)習(xí)模型，包括使用更早技術(shù)的GenAI模型，但對從頭開始構(gòu)建全新的尖端基礎(chǔ)模型猶豫不決。

“這是一個巨大的計算步驟，至少在這個階段，我認(rèn)為我們還沒有開始?！盕ields說。