Model základů Falcon 180B od TII je nyní k dispozici prostřednictvím Amazon SageMaker JumpStart

Dnes s potěšením oznamujeme, že základní model Falcon 180B vyvinutý institutem Technology Innovation Institute (TII) a vyškolený na Amazon SageMaker je k dispozici zákazníkům prostřednictvím Amazon SageMaker JumpStart, který lze nasadit jediným kliknutím pro spuštění inference. Falcon 180B je s velikostí 180 miliard parametrů a trénovaným na masivním souboru 3,5 bilionu tokenů největším a jedním z nejvýkonnějších modelů s volně přístupnými hmotnostmi. Tento model si můžete vyzkoušet pomocí SageMaker JumpStart, centra strojového učení (ML), které poskytuje přístup k algoritmům, modelům a řešením ML, takže můžete rychle začít s ML. V tomto příspěvku projdeme, jak objevit a nasadit model Falcon 180B prostřednictvím SageMaker JumpStart.

Co je Falcon 180B

Falcon 180B je model vydaný společností TII který následuje po předchozích vydáních v rodině Falcon. Je to zvětšená verze Falconu 40B a pro lepší škálovatelnost využívá pozornost více dotazů. Je to auto-regresivní jazykový model, který využívá optimalizovanou architekturu transformátoru. Bylo trénováno na 3,5 bilionu tokenů dat, sestávajících především z webových dat RefinedWeb (přibližně 85%). Model má dvě verze: 180B a 180B-Chat. 180B je surový, předtrénovaný model, který by měl být dále doladěn pro většinu případů použití. 180B-Chat je vhodnější pro přijímání obecných pokynů. Model chatu byl doladěn na datových sadách chatu a pokynů spolu s několika rozsáhlými datovými sadami konverzace.

Model je dostupný pod Licence Falcon-180B TII a Zásady přijatelného použití.

Falcon 180B byl trénován TII na Amazon SageMaker, na clusteru přibližně 4K A100 GPU. Používala vlastní distribuovanou školicí kódovou základnu s názvem Gigatron, která využívá 3D paralelismus se ZeRO, a vlastní, vysoce výkonná jádra Triton. Architektura distribuovaného školení využívala službu Amazon Simple Storage Service (Amazon S3) jako jedinou jednotnou službu pro načítání dat a zápis a čtení kontrolních bodů, což přispělo zejména ke spolehlivosti zátěže a provozní jednoduchosti.

Co je SageMaker JumpStart

Se SageMaker JumpStart si mohou praktici ML vybrat z rostoucího seznamu nejvýkonnějších modelů základů. Odborníci na ML mohou nasazovat základní modely do vyhrazených instancí SageMakeru v prostředí izolovaném od sítě a přizpůsobovat modely pomocí Amazon SageMaker pro školení a nasazení modelů.

Nyní můžete objevit a nasadit Falcon 180B několika kliknutími v Amazon SageMaker Studio nebo programově prostřednictvím SageMaker Python SDK, což vám umožní odvodit výkon modelu a ovládací prvky MLOps pomocí funkcí SageMaker, jako jsou Amazon SageMaker Pipelines, Amazon SageMaker Debugger nebo protokoly kontejnerů. Model je nasazen v zabezpečeném prostředí AWS a pod vašimi kontrolami VPC, což pomáhá zajistit bezpečnost dat. Falcon 180B je zjistitelný a lze jej nasadit v oblastech, kde jsou k dispozici potřebné instance. V současné době jsou instance ml.p4de dostupné na východě USA (Severní Virginie) a západě USA (Oregon).

Objevte modely

K základním modelům můžete přistupovat prostřednictvím SageMaker JumpStart v uživatelském rozhraní SageMaker Studio a SageMaker Python SDK. V této části se podíváme na to, jak objevit modely v SageMaker Studio.

SageMaker Studio je integrované vývojové prostředí (IDE), které poskytuje jediné webové vizuální rozhraní, kde máte přístup k účelovým nástrojům pro provádění všech kroků vývoje ML, od přípravy dat až po vytváření, školení a nasazení vašich modelů ML. Další podrobnosti o tom, jak začít a jak nastavit SageMaker Studio, najdete v Amazon SageMaker Studio.

V SageMaker Studio máte přístup k SageMaker JumpStart, který obsahuje předem připravené modely, notebooky a předpřipravená řešení, v části Předem sestavená a automatizovaná řešení.

Na vstupní stránce SageMaker JumpStart můžete procházet řešení, modely, notebooky a další zdroje. Falcon 180B najdete v Základní modely: Generování textu kolotoč.

Výběrem můžete najít i další modelové varianty Prozkoumejte všechny modely generování textu nebo hledat Sokol.

Můžete si vybrat kartu modelu pro zobrazení podrobností o modelu, jako je licence, data použitá k výcviku a způsob použití. Najdete zde také dvě tlačítka, Nasadit a Otevřete Poznámkový blok, který vám pomůže model používat (následující snímek obrazovky ukazuje Nasadit volba).

Nasadit modely

Když si vyberete Nasadit, zahájí se nasazení modelu. Případně můžete nasadit prostřednictvím vzorového poznámkového bloku, který se zobrazí výběrem Otevřete Poznámkový blok. Ukázkový zápisník poskytuje úplné pokyny, jak nasadit model pro odvození a vyčištění zdrojů.

Pro nasazení pomocí notebooku začneme výběrem vhodného modelu specifikovaného v model_id. Jakýkoli z vybraných modelů můžete nasadit na SageMaker pomocí následujícího kódu:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id=" huggingface-llm-falcon-180b-chat-bf16") prediktor = my_model.deploy()

Tím se nasadí model na SageMaker s výchozími konfiguracemi, včetně výchozího typu instance a výchozích konfigurací VPC. Tyto konfigurace můžete změnit zadáním jiných než výchozích hodnot v JumpStartModel. Chcete-li se dozvědět více, viz API dokumentace. Po jeho nasazení můžete provést odvození proti nasazenému koncovému bodu prostřednictvím prediktoru SageMaker. Viz následující kód:

payload = { "inputs": "Uživatel: Dobrý den!\nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0,9, "temperature": 0,6} } response = forecastor.predict(payload)

Odvozovací parametry řídí proces generování textu v koncovém bodě. Řízení maximálního počtu nových tokenů odkazuje na velikost výstupu generovaného modelem. Všimněte si, že to není totéž jako počet slov, protože slovní zásoba modelu není stejná jako slovní zásoba anglického jazyka a každý token nemusí být slovo v anglickém jazyce. Teplota řídí náhodnost výstupu. Vyšší teplota má za následek kreativnější a halucinační výstupy. Všechny odvozené parametry jsou volitelné.

Tento model s parametrem 180B má 335 GB a vyžaduje ještě více paměti GPU k dostatečnému provedení odvození v 16bitové přesnosti. V současné době podporuje JumpStart tento model pouze na instancích ml.p4de.24xlarge. Je možné nasadit 8bitový kvantovaný model na instanci ml.p4d.24xlarge poskytnutím env={"HF_MODEL_QUANTIZE": "bitsandbajty"} argument klíčového slova k JumpStartModel konstruktor a specifikaci instance_type="ml.p4d.24xlarge" k metodě nasazení. Upozorňujeme však, že latence na token je pro tuto kvantovanou konfiguraci přibližně 5x pomalejší.

Následující tabulka uvádí všechny modely Falcon dostupné v SageMaker JumpStart spolu s ID modelů, výchozími typy instancí, maximálním počtem celkových tokenů (součet počtu vstupních tokenů a počtu vygenerovaných tokenů) podporovaných a typickou latencí odezvy na token. pro každý z těchto modelů.

*latence na token je uvedena pro střední dobu odezvy příkladů výzev uvedených v tomto blogu; tato hodnota se bude lišit v závislosti na délce vstupní a výstupní sekvence.

Vyvození a příklady výzev pro Falcon 180B

Modely Falcon lze použít k dokončení textu pro jakýkoli kus textu. Prostřednictvím generování textu můžete provádět různé úkoly, jako je odpovídání na otázky, jazykový překlad, analýza sentimentu a mnoho dalších. Koncový bod přijímá následující schéma vstupního užitečného zatížení:

payload = { "inputs": str, (volitelné)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typické_p": float, "best_of": int, "watermark": bool, "detaily ": bool, "decoder_input_details": bool, } }

Můžete prozkoumat jejich definici parametry klienta a jejich výchozí hodnoty v úložišti text-generation-inference.

Následují ukázkové příklady výzev a text generovaný modelem. Všechny výstupy jsou zde generovány s inferenčními parametry {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

Vytvoření webu lze provést v 10 jednoduchých krocích:

Vstup Vytvoření webu lze provést v 10 jednoduchých krocích:

Výstup
- Vyberte název domény - Zaregistrujte si název domény - Vyberte si webového hostitele - Vyberte tvůrce webových stránek - Vytvořte svůj web - Přidejte obsah na svůj web - Přidejte stránky na svůj web - Přidejte obrázky na svůj web - Přidejte videa na svůj web - Přidejte sociální média na váš web 1. Vyberte si název domény Název domény je adresa vašeho webu. To je to, co lidé zadají do svého prohlížeče, aby našli váš web. Například název domény tohoto webu je. Při výběru názvu domény byste měli zvolit něco, co je snadno zapamatovatelné a které reprezentuje vaši firmu nebo web. Měli byste se také ujistit, že je k dispozici název domény. Zda je název domény dostupný, můžete zkontrolovat pomocí nástroje pro vyhledávání názvu domény. 2. Zaregistrujte si název domény Jakmile jste si vybrali název domény, musíte si jej zaregistrovat. To lze provést prostřednictvím registrátora doménových jmen. Registrátor doménových jmen je společnost, která spravuje registraci doménových jmen. Při registraci názvu domény budete muset zadat své kontaktní údaje a vybrat způsob platby. Budete také muset zvolit příponu názvu domény. Nejběžnější přípony doménových jmen jsou .com, .net a .org. 3. Vyberte si webhostingu Webhosting je společnost, která poskytuje prostor na serveru pro vaše webové stránky. Při výběru webhostingu byste si měli vybrat takového, který je spolehlivý a nabízí dobrou zákaznickou podporu. Měli byste se také ujistit, že webový hostitel nabízí funkce, které pro svůj web potřebujete. 4. Vyberte si tvůrce webových stránek Tvůrce webových stránek je nástroj, který vám umožní vytvořit web, aniž byste se museli učit kódovat. K dispozici je mnoho různých tvůrců webových stránek, takže byste si měli vybrat ten, který se snadno používá a který nabízí funkce, které potřebujete. 5. Vytvořte svůj web Jakmile si vyberete tvůrce webových stránek, můžete začít vytvářet své webové stránky. Budete si muset vybrat šablonu pro svůj web a poté na web přidat obsah. 6. Přidejte obsah na své webové stránky Obsah vašich webových stránek je to, co bude vaše webové stránky jedinečné. Měli byste přidat obsah, který je relevantní pro vaši firmu nebo web. Na svůj web můžete přidat text, obrázky, videa a další typy obsahu. 7. Přidejte stránky na svůj web Web se skládá ze stránek. Na svůj web můžete přidat tolik stránek, kolik chcete. Každá stránka by měla mít jiný účel. Můžete mít například stránku domovské stránky, stránku o vaší stránce a stránku kontaktní stránky. 8. Přidejte obrázky na svůj web Obrázky mohou váš web učinit vizuálně přitažlivějším. Obrázky můžete na svůj web přidat jejich nahráním na web nebo pomocí služby hostování obrázků. 9. Přidejte videa na svůj web Videa mohou také učinit váš web vizuálně přitažlivější. Videa můžete na svůj web přidat jejich nahráním na web nebo pomocí služby hostování videa. 10. Přidejte na svůj web sociální média Sociální média vám mohou pomoci propagovat váš web. Na svůj web můžete přidat tlačítka sociálních médií, aby lidé mohli sdílet váš web na sociálních sítích. Na svůj web můžete také přidat zdroje sociálních médií, aby lidé viděli vaše nejnovější příspěvky na sociálních sítích.

Můžete si všimnout, že tento předtrénovaný model generuje dlouhé textové sekvence, které nejsou nutně ideální pro případy použití v dialogu. Než si ukážeme, jak funguje vyladěný model chatu pro větší sadu dialogových výzev, následující dva příklady ilustrují, jak používat modely Falcon s několika záběry v kontextu učení, kde poskytujeme ukázky školení dostupné pro model. Všimněte si, že „nepatrné učení“ neupravuje váhy modelu – během tohoto procesu pouze usuzujeme na nasazený model a poskytujeme několik příkladů ve vstupním kontextu, abychom pomohli výstupu modelu cechu.

Vstup
Tweet: "Nesnáším, když se mi vybije baterie v telefonu." Sentiment: Negativní ### Tweet: „Můj den byl :+1:“ Sentiment: Pozitivní ### Tweet: „Toto je odkaz na článek“ Sentiment: Neutrální ### Tweet: „Toto nové hudební video Senti: neuvěřitelné

Výstup
 Pozitivní ###

Vstup
Přeložit z angličtiny do francouzštiny: mořská vydra => loutre de mer ### máta peprná => plyšová žirafa menthe ### => žirafí peluche ### sýr =>

Výstup
 ze ###

Vyvození a příklady výzev pro Falcon 180B-Chat

U modelů Falcon 180B-Chat, optimalizovaných pro případy použití dialogu, může vstup do koncových bodů modelu chatu obsahovat předchozí historii mezi asistentem chatu a uživatelem. Můžete klást otázky související s konverzací, která se dosud odehrála. Můžete také poskytnout konfiguraci systému, například persony, které definují chování chatovacího asistenta. Vstupní užitečné zatížení do koncového bodu je stejné jako u modelu Falcon 180B kromě vstupy hodnota řetězce by měla mít následující formát:

Systém: Uživatel: Sokol: Uživatel: Sokol:

Následují ukázkové příklady výzev a text generovaný modelem. Všechny výstupy jsou generovány s inferenčními parametry {"max_new_tokens":256, "stop": ["\nUser:", "<|endoftext|>", " User:", "###"]}.

Vstup
Systém: Jste užitečný pomocník Uživatel: Co je Amazon SageMaker JumpStart? Sokol: 

Výstup 
Amazon SageMaker JumpStart je funkce Amazon SageMaker, která poskytuje sadu řešení běžných problémů strojového učení. Tato řešení zahrnují předpřipravené modely strojového učení, algoritmy a předkonfigurovaná nastavení školení a nasazení modelů. JumpStart také poskytuje vzorové notebooky, které demonstrují, jak tato řešení používat pro různé případy použití. Cílem JumpStart je pomoci uživatelům rychle a snadno začít se strojovým učením, aniž by potřebovali rozsáhlé odborné znalosti o strojovém učení. Uživatel:

Vstup
Uživatel: Jednoduše řečeno, teorie relativity říká, že Falcon: 

Výstup 
1. Fyzikální zákony jsou stejné pro všechny pozorovatele v rovnoměrném vzájemném pohybu. 2. Rychlost světla ve vakuu je stejná pro všechny pozorovatele bez ohledu na jejich pohyb nebo pohyb světelného zdroje. 3. Čas a prostor jsou relativní, což znamená, že se mohou lišit v závislosti na referenčním rámci pozorovatele. 4. Hmotnost a energie jsou vzájemně zaměnitelné, jak vyjadřuje slavná rovnice E=mc². Uživatel:

Vstup
Uživatel: Vytvoření webu lze provést v 10 jednoduchých krocích: Falcon: 

Výstup
1. Určete účel a cíle vašich webových stránek. 2. Vyberte název domény a zaregistrujte ji. 3. Vyberte poskytovatele webhostingu a přihlaste se k odběru plánu. 4. Vyberte tvůrce webových stránek nebo systém pro správu obsahu (CMS), který chcete použít. 5. Vyberte téma nebo šablonu pro svůj web. 6. Přizpůsobte si design a rozvržení svých webových stránek. 7. Přidejte na svůj web obsah, včetně textu, obrázků a videí. 8. Nastavte navigační nabídky a odkazy, aby se na vašem webu dalo snadno pohybovat. 9. Otestujte svůj web, abyste se ujistili, že funguje správně a je vhodný pro mobily. 10. Spusťte své webové stránky a propagujte je, abyste přilákali návštěvníky. Uživatel:

Vstup
Systém: Vždy odpovídejte haiku. Uživatel: Nasazuji velký jazykový model na Amazon SageMaker JumpStart. Co bych měl dělat? Sokol: 

Výstup
"JumpStart" své sny, nasazujte snadno, škálujte s radostí, SageMaker čeká.

Vstup
Systém: Vytvořte tabulku shrnující možnosti uvedené v tomto e-mailu. Uživatel: Tým, musíme se rozhodnout o produktovém plánu pro Goocrux v2. První možnost nám zabere 3 týdny vývoje a dosáhne výkonu 80 ms, ale znamená to, že se musí změnit uživatelské rozhraní. Druhá možnost nám zabere 4 týdny vývoje a dosáhne výkonu 60 ms, bez jakékoli změny uživatelského rozhraní. Třetí možnost bude trvat nejdéle -- 6 týdnů vývoje, dosáhne výkonu 30 ms, bez jakékoli změny uživatelského rozhraní. Tabulka snížení se čtyřmi sloupci: (1) ID možnosti, (2) doba vývoje, (3) výkon, (4) změna uživatelského rozhraní. Sokol: 

Výstup
| ID možnosti | Doba vývoje | Výkon | Změna uživatelského rozhraní | | --- | --- | --- | --- | | 1 | 3 týdny | 80 ms | Ano | | 2 | 4 týdny | 60 ms | Ne | | 3 | 6 týdnů | 30 ms | Ne |

Vstup
Systém: Vždy překládáte z angličtiny do francouzštiny. Uživatel: mořská vydra => loutre de mer máta peprná => plyšová žirafa menthe poivrée => žirafí sýr peluche => Falcon: 

Výstup
=> z věku

Vstup
Systém: Klasifikujte výzvu uživatele jako negativní, pozitivní nebo neutrální sentiment. Použijte krátkou odpověď. Uživatel: Tweet: "Toto nové hudební video bylo úžasné" Falcon: 

Výstup
"Pozitivní"

Vstup
Uživatel: Jaký je recept na majonézu? Sokol: 

Výstup 1. V míse prošlehejte 1 žloutek, 1 lžíci dijonské hořčice a 1 lžíci citronové šťávy, dokud se dobře nespojí. 2. Za stálého šlehání pomalu přikapávejte 1 hrnek rostlinného oleje, dokud směs nezhoustne a nezemulguje. 3. Dochuťte solí a pepřem podle chuti. 4. Uchovávejte ve vzduchotěsné nádobě v chladničce po dobu až jednoho týdne. Uživatel:

V následujícím příkladu vedl uživatel rozhovor s asistentem o turistických lokalitách v Paříži. Dále se uživatel ptá na první možnost doporučenou asistentem chatu.

Vstup
Systém: Jste užitečný plánovač výletů. Uživatel: Jedu do Paříže, co bych měl vidět? Falcon: 1. Eiffelova věž: Žádný výlet do Paříže se neobejde bez návštěvy ikonické Eiffelovy věže. 2. Muzeum Louvre: Domov pro některé z nejslavnějších světových umění, včetně Mony Lisy. 3. Katedrála Notre-Dame: Ohromující příklad gotické architektury a pro milovníky historie, kterou musíte vidět. 4. Champs-Élysées: Jedna z nejznámějších tříd na světě, lemovaná obchody, kavárnami a divadly. 5. Montmartre: Okouzlující čtvrť známá svou bohémskou atmosférou, pouličním uměním a úžasným výhledem na město. 6. Palác ve Versailles: Tento honosný palác, který se nachází kousek od Paříže, byl kdysi sídlem francouzské královské rodiny. 7. Musée d'Orsay: Toto muzeum sídlí v bývalém vlakovém nádraží a může se pochlubit působivou sbírkou impresionistického a postimpresionistického umění. 8. Sainte-Chapelle: Skrytý klenot v srdci Paříže, tato středověká kaple je známá svými úžasnými vitrážemi. 9. Lucemburské zahrady: Krásný park v srdci města, ideální pro piknik nebo klidnou procházku. Uživatel: Co je na #1 tak skvělého? Sokol: 

Výstup
#1 je Eiffelova věž, která je jednou z nejznámějších památek na světě. Je symbolem Paříže a pro mnoho návštěvníků nesmí chybět. Věž nabízí úžasný výhled na město z vyhlídkových ochozů a je obzvláště krásná, když je v noci osvětlena. Eiffelova věž má navíc bohatou historii a je inženýrským zázrakem, díky čemuž je fascinující destinací pro každého, kdo se zajímá o architekturu nebo historii. Uživatel:

Uklidit

Po dokončení práce se zápisníkem nezapomeňte odstranit všechny prostředky, které jste v tomto procesu vytvořili, aby bylo zastaveno účtování. Použijte následující kód:

prediktor.prediktor delete_model()..delete_endpoint()

Závěr

V tomto příspěvku jsme vám ukázali, jak začít s Falcon 180B v SageMaker Studio a nasadit model pro odvození. Protože jsou základní modely předem proškoleny, mohou pomoci snížit náklady na školení a infrastrukturu a umožnit přizpůsobení pro váš případ použití. Chcete-li začít, navštivte nyní SageMaker JumpStart v SageMaker Studio.

Zdroje

O autorech

Dr. Kyle Ulrich je aplikovaný vědec v týmu Amazon SageMaker JumpStart. Mezi jeho výzkumné zájmy patří škálovatelné algoritmy strojového učení, počítačové vidění, časové řady, bayesovské neparametriky a gaussovské procesy. Jeho PhD je z Duke University a publikoval články v NeurIPS, Cell a Neuron.

Dr. Ashish Khetan je Senior Applied Scientist s Amazon SageMaker JumpStart a pomáhá vyvíjet algoritmy strojového učení. Doktorát získal na University of Illinois Urbana-Champaign. Je aktivním výzkumníkem v oblasti strojového učení a statistické inference a publikoval mnoho článků na konferencích NeurIPS, ICML, ICLR, JMLR, ACL a EMNLP.

Olivier Cruchanje hlavním architektem specializovaných řešení strojového učení ve společnosti AWS se sídlem ve Francii. Olivier pomáhá zákazníkům AWS – od malých začínajících až po velké podniky – vyvíjet a nasazovat aplikace strojového učení na produkční úrovni. Ve svém volném čase rád čte výzkumné práce a zkoumá divočinu s přáteli a rodinou.

Karl Albertsen vede základní model centra Amazon SageMaker, algoritmy a týmy partnerství.