Svet open-source LLM je vzrušujúci a neustále sa vyvíja. Táto lekcia si kladie za cieľ poskytnúť podrobný pohľad na open source modely. Ak hľadáte informácie o tom, ako sa proprietárne modely porovnávajú s open source modelmi, prejdite na lekciu "Preskúmanie a porovnanie rôznych LLM". Táto lekcia sa tiež bude venovať téme doladenia, ale podrobnejšie vysvetlenie nájdete v lekcii "Doladenie LLM".
- Získať pochopenie open source modelov
- Pochopenie výhod práce s open source modelmi
- Preskúmať dostupné open modely na Hugging Face a v Azure AI Studio
Open source softvér zohral kľúčovú úlohu v raste technológií v rôznych oblastiach. Iniciatíva Open Source (OSI) definovala 10 kritérií pre softvér, aby bol klasifikovaný ako open source. Zdrojový kód musí byť otvorene zdieľaný pod licenciou schválenou OSI.
Vývoj LLM má podobné prvky ako vývoj softvéru, ale proces nie je úplne rovnaký. To vyvolalo veľa diskusií v komunite o definícii open source v kontexte LLM. Aby model zodpovedal tradičnej definícii open source, mali by byť verejne dostupné nasledujúce informácie:
- Dátové sady použité na trénovanie modelu.
- Kompletné váhy modelu ako súčasť tréningu.
- Kód na vyhodnotenie.
- Kód na doladenie.
- Kompletné váhy modelu a metriky tréningu.
V súčasnosti existuje len niekoľko modelov, ktoré spĺňajú tieto kritériá. OLMo model vytvorený Allen Institute for Artificial Intelligence (AllenAI) je jedným z nich.
Pre túto lekciu budeme modely ďalej označovať ako "open modely", pretože v čase písania nemusia spĺňať vyššie uvedené kritériá.
Vysoká prispôsobiteľnosť – Keďže open modely sú zverejnené s podrobnými informáciami o tréningu, výskumníci a vývojári môžu upravovať vnútorné časti modelu. To umožňuje vytváranie vysoko špecializovaných modelov, ktoré sú doladené pre konkrétnu úlohu alebo oblasť štúdia. Príklady zahŕňajú generovanie kódu, matematické operácie a biológiu.
Cena – Cena za token pri používaní a nasadzovaní týchto modelov je nižšia ako u proprietárnych modelov. Pri budovaní aplikácií Generatívnej AI by ste mali zvážiť pomer výkon/cena pri práci s týmito modelmi pre váš prípad použitia.
Zdroj: Artificial Analysis
Flexibilita – Práca s open modelmi vám umožňuje byť flexibilný v používaní rôznych modelov alebo ich kombinovaní. Príkladom sú HuggingChat asistenti, kde si používateľ môže priamo v používateľskom rozhraní vybrať model, ktorý sa používa:
LLama2, vyvinutý spoločnosťou Meta, je open model optimalizovaný pre chatové aplikácie. Je to vďaka jeho metóde doladenia, ktorá zahŕňala veľké množstvo dialógov a spätnú väzbu od ľudí. Touto metódou model produkuje výsledky viac zladené s očakávaniami ľudí, čo poskytuje lepší používateľský zážitok.
Príklady doladených verzií Llama zahŕňajú Japanese Llama, ktorý sa špecializuje na japončinu, a Llama Pro, čo je vylepšená verzia základného modelu.
Mistral je open model so silným zameraním na vysoký výkon a efektivitu. Používa prístup Mixture-of-Experts, ktorý kombinuje skupinu špecializovaných expertných modelov do jedného systému, kde podľa vstupu sú vybrané určité modely na použitie. To robí výpočty efektívnejšími, pretože modely riešia len tie vstupy, na ktoré sú špecializované.
Príklady doladených verzií Mistral zahŕňajú BioMistral, ktorý sa zameriava na medicínsku oblasť, a OpenMath Mistral, ktorý vykonáva matematické výpočty.
Falcon je LLM vytvorený Technologickým inovačným inštitútom (TII). Falcon-40B bol trénovaný na 40 miliardách parametrov a preukázal lepší výkon ako GPT-3 pri nižšom výpočtovom rozpočte. Je to vďaka použitiu algoritmu FlashAttention a multiquery attention, ktoré umožňujú znížiť požiadavky na pamäť počas inferencie. Vďaka zníženému času inferencie je Falcon-40B vhodný pre chatové aplikácie.
Príklady doladených verzií Falcon sú OpenAssistant, asistent postavený na open modeloch, a GPT4ALL, ktorý poskytuje vyšší výkon ako základný model.
Neexistuje jednoznačná odpoveď na výber open modelu. Dobré miesto na začiatok je použiť funkciu filtrovania podľa úlohy v Azure AI Studio. Pomôže vám to pochopiť, na aké typy úloh bol model trénovaný. Hugging Face tiež udržiava LLM rebríček, ktorý zobrazuje najvýkonnejšie modely podľa určitých metrík.
Pri porovnávaní LLM naprieč rôznymi typmi je ďalším skvelým zdrojom Artificial Analysis:
Zdroj: Artificial Analysis
Ak pracujete na konkrétnom prípade použitia, môže byť efektívne hľadať doladené verzie zamerané na rovnakú oblasť. Experimentovanie s viacerými open modelmi, aby ste videli, ako sa správajú podľa vašich a používateľských očakávaní, je ďalšia dobrá prax.
Najlepšie na open modeloch je, že s nimi môžete začať pracovať pomerne rýchlo. Pozrite si Azure AI Foundry Model Catalog, ktorý obsahuje špecifickú kolekciu Hugging Face s modelmi, o ktorých sme tu hovorili.
Po dokončení tejto lekcie si pozrite našu kolekciu Generatívneho AI učenia, aby ste naďalej zvyšovali svoje znalosti o Generatívnej AI!
Zrieknutie sa zodpovednosti: Tento dokument bol preložený pomocou AI prekladateľskej služby Co-op Translator. Aj keď sa snažíme o presnosť, prosím, majte na pamäti, že automatizované preklady môžu obsahovať chyby alebo nepresnosti. Pôvodný dokument v jeho rodnom jazyku by mal byť považovaný za autoritatívny zdroj. Pre kritické informácie sa odporúča profesionálny ľudský preklad. Nie sme zodpovední za akékoľvek nedorozumenia alebo nesprávne interpretácie vyplývajúce z použitia tohto prekladu.