A feladatok esetleg beállíthatók úgy is, hogy egy vagy több Nagy Nyelvi Modell (LLM) telepítés ellen dolgozzanak egy támogatott szolgáltatón keresztül, mint például az OpenAI, Azure vagy Hugging Face. Ezek egy hosztolt végpontot (API-t) biztosítanak, amelyhez a megfelelő hitelesítő adatokkal (API kulcs vagy token) programozottan hozzáférhetünk. Ebben a tanfolyamban az alábbi szolgáltatókat tárgyaljuk:
- OpenAI különféle modellekkel, beleértve a GPT sorozatot.
- Azure OpenAI OpenAI modellekhez, vállalati felkészültséggel
- Hugging Face nyílt forráskódú modellekhez és inferencia szerverhez
Ezekhez a gyakorlatokhoz saját fiókokat kell használnod. A feladatok opcionálisak, így eldöntheted, hogy egy, mindegyik vagy egyik szolgáltatót sem állítod be érdeklődésed szerint. Néhány útmutató a regisztrációhoz:
| Regisztráció | Költség | API kulcs | Játékterem | Megjegyzések |
|---|---|---|---|---|
| OpenAI | Árazás | Projekt alapú | Kód nélküli, webes | Több modell elérhető |
| Azure | Árazás | SDK gyorsindítás | Studio gyorsindítás | Előzetes engedélykérés szükséges |
| Hugging Face | Árazás | Hozzáférési tokenek | Hugging Chat | Hugging Chat korlátozott modellekkel |
Kövesd az alábbi utasításokat a tárház konfigurálásához különböző szolgáltatók használatához. Az adott szolgáltatót igénylő feladatok fájlnevében az alábbi címkék egyikét találod:
aoai- Azure OpenAI végpontot, kulcsot igényeloai- OpenAI végpontot, kulcsot igényelhf- Hugging Face tokent igényel
Beállíthatsz egy, semelyik vagy mindhárom szolgáltatót. A kapcsolódó feladatok hibát jeleznek hiányzó hitelesítő adatok esetén.
Feltételezzük, hogy már elolvastad a fentieket, regisztráltál a megfelelő szolgáltatónál, és megszerezted a szükséges hitelesítő adatokat (API_KEY vagy token). Azure OpenAI esetén feltételezzük, hogy van érvényes telepítésed egy Azure OpenAI szolgáltatásból (végpont), legalább egy GPT modelllel chat befejezéshez.
A következő lépés a helyi környezeti változók beállítása az alábbiak szerint:
-
Nézd meg a gyökérmappában a
.env.copyfájlt, amelynek tartalma valahogy így néz ki:# OpenAI Szolgáltató OPENAI_API_KEY='<add your OpenAI API key here>' ## Azure OpenAI AZURE_OPENAI_API_VERSION='2024-02-01' # Alapértelmezett beállítva! AZURE_OPENAI_API_KEY='<add your AOAI key here>' AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>' AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>' ## Hugging Face HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'
-
Másold át ezt a fájlt
.envnéven az alábbi parancs segítségével. Ez a fájl gitignore-olva van, így a titkok biztonságban maradnak.cp .env.copy .env
-
Töltsd ki az értékeket (cseréld ki a jobb oldali helyőrzőket az
=után) a következő szakaszban leírtak szerint. -
(Opcionális) Ha GitHub Codespaces-t használsz, lehetőséged van a környezeti változókat Codespaces titkokként elmenteni ehhez a tárhoz. Ebben az esetben nem kell helyi .env fájlt beállítanod. Fontos, hogy ez az opció csak GitHub Codespaces használata esetén működik. Docker Desktop használata esetén továbbra is szükséges a .env fájl beállítása.
Nézzük meg gyorsan a változóneveket, hogy megértsük, mit jelentenek:
| Változó | Leírás |
|---|---|
| HUGGING_FACE_API_KEY | Ez a felhasználói hozzáférési token, amelyet a profilodban állítottál be |
| OPENAI_API_KEY | Ez az engedélyező kulcs a nem Azure OpenAI végpontok használatához |
| AZURE_OPENAI_API_KEY | Ez az engedélyező kulcs az Azure OpenAI szolgáltatás használatához |
| AZURE_OPENAI_ENDPOINT | Ez az Azure OpenAI erőforrás telepített végpontja |
| AZURE_OPENAI_DEPLOYMENT | Ez a szöveg generálás modell telepítési végpontja |
| AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT | Ez a szöveg beágyazás modell telepítési végpontja |
Megjegyzés: Az utolsó két Azure OpenAI változó egy alapértelmezett modellt tükröz chat befejezéshez (szöveg generálás) és vektor kereséshez (beágyazások). Ezek beállítására vonatkozó utasításokat a kapcsolódó feladatokban találod.
Az Azure OpenAI végpont és kulcs értékei az Azure Portálon találhatók, kezdjük ott.
- Lépj be az Azure Portálra
- Kattints a bal oldali menüben a Kulcsok és végpont opcióra.
- Kattints a Kulcsok megjelenítése gombra - a következőt kell látnod: 1. KULCS, 2. KULCS és Végpont.
- Az 1. KULCS értékét használd az AZURE_OPENAI_API_KEY-hez
- A Végpont értékét használd az AZURE_OPENAI_ENDPOINT-hez
Ezután szükségünk van a telepített modellek végpontjaira.
- Kattints a bal oldali menüben az Modellek telepítése opcióra az Azure OpenAI erőforrásnál.
- A megjelenő oldalon kattints a Telepítések kezelése gombra
Ez elvisz az Azure OpenAI Studio webhelyre, ahol megtaláljuk a további értékeket az alábbiak szerint.
- Navigálj az Azure OpenAI Studio oldalra az erőforrásodból a fentiek szerint.
- Kattints a Telepítések fülre (bal oldali menü), hogy lásd a jelenleg telepített modelleket.
- Ha a kívánt modell nincs telepítve, használd az Új telepítés létrehozása opciót a telepítéshez.
- Szükséged lesz egy szöveg-generáló modellre - ajánlott: gpt-35-turbo
- Szükséged lesz egy szöveg-beágyazó modellre - ajánlott: text-embedding-ada-002
Most frissítsd a környezeti változókat, hogy tükrözzék a használt Telepítés nevét. Ez általában megegyezik a modell nevével, hacsak nem változtattad meg kifejezetten. Például:
AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'Ne felejtsd el elmenteni a .env fájlt a befejezés után. Most kiléphetsz a fájlból, és folytathatod a jegyzet futtatására vonatkozó utasításokat.
Az OpenAI API kulcsod megtalálható az OpenAI fiókodban. Ha még nincs, regisztrálhatsz és létrehozhatsz egy API kulcsot. Miután megvan a kulcs, kitöltheted vele az OPENAI_API_KEY változót a .env fájlban.
A Hugging Face tokened megtalálható a profilodban az Hozzáférési tokenek alatt. Ne tedd közzé vagy oszd meg nyilvánosan. Ehelyett hozz létre egy új tokent ehhez a projekthez, és másold be a .env fájl HUGGING_FACE_API_KEY változójába. Megjegyzés: Ez technikailag nem API kulcs, de hitelesítésre használjuk, ezért megtartjuk ezt az elnevezést a következetesség érdekében.
Jogi nyilatkozat: Ezt a dokumentumot az AI fordító szolgáltatás, a Co-op Translator segítségével fordítottuk le. Bár a pontosságra törekszünk, kérjük, vegye figyelembe, hogy az automatikus fordítások hibákat vagy pontatlanságokat tartalmazhatnak. Az eredeti dokumentum az anyanyelvén tekintendő hiteles forrásnak. Fontos információk esetén szakmai, emberi fordítást javaslunk. Nem vállalunk felelősséget a fordítás használatából eredő félreértésekért vagy félreértelmezésekért.