Skip to content

03-providers.md

Latest commit

 

History

History
122 lines (83 loc) · 8.91 KB

03-providers.md

File metadata and controls

122 lines (83 loc) · 8.91 KB
Raw

Memilih & Mengonfigurasi Penyedia LLM 🔑

Tugas dapat juga diatur untuk bekerja dengan satu atau lebih penyebaran Large Language Model (LLM) melalui penyedia layanan yang didukung seperti OpenAI, Azure, atau Hugging Face. Mereka menyediakan hosted endpoint (API) yang dapat kita akses secara programatis dengan kredensial yang tepat (kunci API atau token). Dalam kursus ini, kami membahas penyedia berikut:

  • OpenAI dengan berbagai model termasuk seri inti GPT.
  • Azure OpenAI untuk model OpenAI dengan fokus kesiapan perusahaan
  • Hugging Face untuk model open-source dan server inferensi

Anda perlu menggunakan akun Anda sendiri untuk latihan ini. Tugas bersifat opsional sehingga Anda dapat memilih untuk mengatur satu, semua - atau tidak sama sekali - penyedia berdasarkan minat Anda. Beberapa panduan untuk pendaftaran:

Pendaftaran Biaya Kunci API Playground Komentar
OpenAI Harga Berbasis Proyek Tanpa Kode, Web Beberapa Model Tersedia
Azure Harga SDK Quickstart Studio Quickstart Harus Mendaftar Terlebih Dahulu Untuk Akses
Hugging Face Harga Token Akses Hugging Chat Hugging Chat memiliki model terbatas

Ikuti petunjuk di bawah untuk mengonfigurasi repositori ini agar dapat digunakan dengan penyedia yang berbeda. Tugas yang memerlukan penyedia tertentu akan berisi salah satu tag ini dalam nama file mereka:

  • aoai - memerlukan endpoint Azure OpenAI, kunci
  • oai - memerlukan endpoint OpenAI, kunci
  • hf - memerlukan token Hugging Face

Anda dapat mengonfigurasi satu, tidak sama sekali, atau semua penyedia. Tugas terkait akan langsung error jika kredensial hilang.

Buat file .env

Kami mengasumsikan Anda sudah membaca panduan di atas dan mendaftar dengan penyedia terkait, serta memperoleh kredensial autentikasi yang diperlukan (API_KEY atau token). Dalam kasus Azure OpenAI, kami juga mengasumsikan Anda memiliki penyebaran layanan Azure OpenAI (endpoint) yang valid dengan setidaknya satu model GPT yang dideploy untuk chat completion.

Langkah berikutnya adalah mengonfigurasi variabel lingkungan lokal Anda sebagai berikut:

  1. Cari di folder root file .env.copy yang seharusnya berisi seperti ini:

    # Penyedia OpenAI
OPENAI_API_KEY='<add your OpenAI API key here>'

## Azure OpenAI
AZURE_OPENAI_API_VERSION='2024-02-01' # Default sudah diatur!
AZURE_OPENAI_API_KEY='<add your AOAI key here>'
AZURE_OPENAI_ENDPOINT='<add your AOIA service endpoint here>'
AZURE_OPENAI_DEPLOYMENT='<add your chat completion model name here>' 
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='<add your embeddings model name here>'

## Hugging Face
HUGGING_FACE_API_KEY='<add your HuggingFace API or token here>'

  2. Salin file tersebut ke .env menggunakan perintah di bawah ini. File ini gitignore-d, menjaga rahasia tetap aman.

    cp .env.copy .env

  3. Isi nilai-nilainya (ganti placeholder di sisi kanan =) seperti yang dijelaskan di bagian berikutnya.

  4. (Opsional) Jika Anda menggunakan GitHub Codespaces, Anda memiliki opsi untuk menyimpan variabel lingkungan sebagai Codespaces secrets yang terkait dengan repositori ini. Dalam hal ini, Anda tidak perlu mengatur file .env lokal. Namun, perhatikan bahwa opsi ini hanya berfungsi jika Anda menggunakan GitHub Codespaces. Anda tetap perlu mengatur file .env jika menggunakan Docker Desktop.

Isi file .env

Mari kita lihat sekilas nama variabel untuk memahami apa yang mereka wakili:

Variabel Deskripsi
HUGGING_FACE_API_KEY Ini adalah token akses pengguna yang Anda atur di profil Anda
OPENAI_API_KEY Ini adalah kunci otorisasi untuk menggunakan layanan pada endpoint non-Azure OpenAI
AZURE_OPENAI_API_KEY Ini adalah kunci otorisasi untuk menggunakan layanan tersebut
AZURE_OPENAI_ENDPOINT Ini adalah endpoint yang dideploy untuk sumber daya Azure OpenAI
AZURE_OPENAI_DEPLOYMENT Ini adalah endpoint penyebaran model text generation
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT Ini adalah endpoint penyebaran model text embeddings

Catatan: Dua variabel Azure OpenAI terakhir mencerminkan model default untuk chat completion (text generation) dan pencarian vektor (embeddings) secara berurutan. Instruksi untuk mengaturnya akan didefinisikan dalam tugas terkait.

Konfigurasi Azure: Dari Portal

Nilai endpoint dan kunci Azure OpenAI dapat ditemukan di Azure Portal jadi mari mulai dari sana.

  1. Buka Azure Portal
  2. Klik opsi Keys and Endpoint di sidebar (menu di kiri).
  3. Klik Show Keys - Anda akan melihat: KEY 1, KEY 2 dan Endpoint.
  4. Gunakan nilai KEY 1 untuk AZURE_OPENAI_API_KEY
  5. Gunakan nilai Endpoint untuk AZURE_OPENAI_ENDPOINT

Selanjutnya, kita perlu endpoint untuk model spesifik yang telah kita deploy.

  1. Klik opsi Model deployments di sidebar (menu kiri) untuk sumber daya Azure OpenAI.
  2. Di halaman tujuan, klik Manage Deployments

Ini akan membawa Anda ke situs Azure OpenAI Studio, di mana kita akan menemukan nilai lain seperti yang dijelaskan di bawah.

Konfigurasi Azure: Dari Studio

  1. Navigasi ke Azure OpenAI Studio dari sumber daya Anda seperti dijelaskan di atas.
  2. Klik tab Deployments (sidebar, kiri) untuk melihat model yang sedang dideploy.
  3. Jika model yang Anda inginkan belum dideploy, gunakan Create new deployment untuk mendeploy-nya.
  4. Anda akan membutuhkan model text-generation - kami merekomendasikan: gpt-35-turbo
  5. Anda akan membutuhkan model text-embedding - kami merekomendasikan text-embedding-ada-002

Sekarang perbarui variabel lingkungan untuk mencerminkan Deployment name yang digunakan. Ini biasanya sama dengan nama model kecuali Anda mengubahnya secara eksplisit. Jadi, sebagai contoh, Anda mungkin memiliki:

AZURE_OPENAI_DEPLOYMENT='gpt-35-turbo'
AZURE_OPENAI_EMBEDDINGS_DEPLOYMENT='text-embedding-ada-002'

Jangan lupa simpan file .env setelah selesai. Anda sekarang dapat keluar dari file dan kembali ke instruksi untuk menjalankan notebook.

Konfigurasi OpenAI: Dari Profil

Kunci API OpenAI Anda dapat ditemukan di akun OpenAI Anda. Jika Anda belum memilikinya, Anda dapat mendaftar akun dan membuat kunci API. Setelah Anda memiliki kunci tersebut, Anda dapat menggunakannya untuk mengisi variabel OPENAI_API_KEY di file .env.

Konfigurasi Hugging Face: Dari Profil

Token Hugging Face Anda dapat ditemukan di profil Anda di bawah Access Tokens. Jangan posting atau bagikan ini secara publik. Sebagai gantinya, buat token baru untuk penggunaan proyek ini dan salin ke dalam file .env di bawah variabel HUGGING_FACE_API_KEY. Catatan: Ini secara teknis bukan kunci API tetapi digunakan untuk autentikasi sehingga kami mempertahankan konvensi penamaan ini untuk konsistensi.

Penafian:
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI Co-op Translator. Meskipun kami berusaha untuk akurasi, harap diingat bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sah. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang salah yang timbul dari penggunaan terjemahan ini.