LLM Teks ke Audio: Apa yang Bisa dan Tidak Bisa Dilakukan

Jawaban singkat: LLM menulis instruksi, bukan suara

Ketika orang mencari llm teks ke audio, mereka sering membayangkan satu model yang membaca kalimat dan mengembalikan file suara. Model bahasa besar tidak melakukan itu. Mereka membaca dan menulis teks. Suara berasal dari model terpisah yang dibangun untuk audio, yang mengambil deskripsi teks sebagai input.

Pemisahan ini berguna, karena kualitas deskripsi sangat penting. Permintaan samar seperti "musik relaksasi" memberikan sedikit bahan kerja bagi model audio. Permintaan spesifik yang menyebutkan genre, tempo, instrumen, suasana hati, struktur, dan durasi memberikannya lebih banyak. Menulis deskripsi spesifik tersebut dalam volume besar, dalam format yang konsisten, adalah tugas yang cocok untuk model bahasa.

Situs ini menawarkan tepat setengah itu: API teks yang kompatibel dengan OpenAI. Tidak ada generasi audio, tidak ada embedding, dan tidak ada fine-tuning. Jika Anda membutuhkan suara itu sendiri, Anda menggabungkannya dengan alat yang menghasilkan suara, dan menggunakan endpoint ini sebagai langkah penulisan di depannya. Kami tidak berafiliasi dengan vendor audio mana pun, jadi periksa dokumentasi masing-masing alat untuk aturan inputnya.

Di mana model teks membantu dalam alur kerja audio

Tugas yang cocok adalah tugas di mana outputnya adalah kata-kata:

• Penulisan prompt. Ubah ide kasar menjadi deskripsi terperinci dengan genre, tempo, instrumentasi, dan suasana hati.
• Lirik dan skrip. bait dan chorus untuk lagu, atau skrip narasi untuk intro podcast atau bab buku audio.
• Variasi. Sepuluh prompt alternatif dari satu konsep, sehingga Anda dapat menguji beberapa arah.
• Metadata. Judul, deskripsi, tag, dan catatan trek setelah audio ada.
• Revisi. Menulis ulang prompt setelah hasil melewatkan target, menggunakan catatan Anda tentang apa yang salah.

Model di sini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, yang penting untuk audio yang sarat fiksi seperti cerita gelap, drama horor, atau dialog game dewasa, di mana model yang lebih ketat mungkin menolak permintaan yang sangat wajar. Batas tegasnya adalah tidak diizinkan sama sekali konten yang melibatkan anak di bawah umur dalam konteks seksual, dan kunci-kunci ini tidak untuk itu.

halaman prompt video kami mencakup ide yang sama untuk alat video; pola menulis deskripsi terstruktur terlebih dahulu dan menyerahkannya ke generator kedua berlaku lintas media.

Contoh kerja: satu ide masuk, satu prompt terstruktur keluar

Cara paling andal untuk memberi data ke alat downstream adalah output terstruktur. Mode JSON (response_format: {"type":"json_object"}) membuat model mengembalikan objek JSON, sehingga skrip Anda dapat membaca bidang bernama alih-alih mengurai paragraf. Berikut adalah skrip Python menggunakan SDK OpenAI terhadap endpoint ini.

Copyimport json, os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.stableaudio.top/v1",
    api_key=os.environ["UNCENSORED_API_KEY"],
)

system = (
    "You write prompts for text-to-audio tools. Return a JSON object with keys: "
    "genre, tempo_bpm, instruments (list), mood, structure, duration_seconds, prompt. "
    "The prompt field is one paragraph, no more than 60 words."
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "A tense chase scene in a rain-soaked neon city."},
    ],
    response_format={"type": "json_object"},
    temperature=0.8,
)

spec = json.loads(resp.choices[0].message.content)
print(spec["prompt"])

Pertahankan kata JSON dalam pesan sistem Anda dan daftarkan kunci yang Anda inginkan. Model kemudian memiliki target yang jelas. Validasikan hasil sebelum mengirimkannya lebih jauh: periksa bahwa tempo_bpm adalah angka dan bahwa instruments adalah daftar, dan coba lagi sekali jika tidak.

Permintaan yang sama dalam curl, berguna untuk pemeriksaan cepat, terlihat seperti ini:

Copycurl https://api.stableaudio.top/v1/chat/completions \
  -H "Authorization: Bearer $UNCENSORED_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "response_format": {"type": "json_object"},
    "messages": [
      {"role": "system", "content": "Return JSON with keys mood and prompt for a text-to-audio tool."},
      {"role": "user", "content": "A quiet morning in a mountain village."}
    ]
  }'

Menulis prompt yang dapat digunakan model audio

Model bahasa akan menulis bentuk prompt apa pun yang Anda minta, jadi pekerjaan utamanya adalah memutuskan bentuknya. Beberapa aturan berlaku di sebagian besar alat audio.

Katakan apa yang diinginkan alat, dalam urutan yang diinginkan

Baca dokumentasi alat audio dan salin kosakatanya. Jika merespons tag bagian kurung siku atau baris gaya deskriptor yang dipisahkan koma, masukkan contoh format persis itu dalam pesan sistem Anda. Model meniru contoh dengan dekat.

Berikan kata benda konkret

"Piano jarang, drum sikat, bass tegak, kresek vinyl" mengalahkan "nuansa jazz yang bagus". Katakan kepada model untuk menyebutkan instrumen, rentang tempo, dan tekstur, dan hindari kata sifat pengisi.

Atur batas panjang dalam instruksi

Banyak alat audio membatasi panjang prompt. Masukkan batasnya dalam pesan sistem ("tidak lebih dari 60 kata") dan terapkan juga dalam kode. Model menyimpang pada hitungan kata, jadi potong atau coba lagi jika pemeriksaan gagal.

Pertahankan loop umpan balik

Setelah Anda mendengar hasil, masukkan catatan Anda kembali: "Terlalu sibuk di paruh kedua, drum terlalu keras, pertahankan kuncinya." Panggilan kedua dapat merevisi prompt sebelumnya dengan catatan itu dalam konteks. Jendela 100.000 token berarti Anda dapat membawa sejarah panjang upaya jika Anda ingin model belajar apa yang terus Anda tolak.

Mengaitkan model ke generator audio

Kode pengikatnya pendek. Buat spesifikasi, validasi, lalu teruskan bidang prompt ke layanan audio apa pun yang Anda gunakan. Panggilan audio ditampilkan sebagai penampung karena antarmuka setiap vendor berbeda; ambil parameternya dari dokumentasi mereka.

Copydef make_spec(idea: str) -> dict:
    r = client.chat.completions.create(
        model="uncensored",
        messages=[
            {"role": "system", "content": system},
            {"role": "user", "content": idea},
        ],
        response_format={"type": "json_object"},
    )
    return json.loads(r.choices[0].message.content)

ideas = ["Lo-fi study beat", "Epic orchestral trailer hit", "Haunted music box"]
for idea in ideas:
    spec = make_spec(idea)
    # send spec["prompt"] to your audio generator here
    print(idea, "->", spec["prompt"][:80])

Jika Anda menjalankan ini di atas daftar secara paralel, perhatikan batasnya. Kunci penuh memungkinkan 8 permintaan konkuren dan 300 per menit; kunci uji coba memungkinkan 2 dan 60. 429 dengan concurrency berarti terlalu banyak sekaligus, rate_limited berarti terlalu banyak per menit, dan header Retry-After: 5 berarti tunggu lima detik dan coba lagi. Pool utas kecil yang disesuaikan dengan batas Anda, ditambah percobaan ulang, sudah cukup.

Dokumentasi API mencantumkan parameter yang didukung, termasuk temperature, top_p, stop dan seed. seed yang tetap membantu ketika Anda menginginkan prompt yang dapat diulang saat menyetel pesan sistem.

Lirik, narasi, dan metadata dalam skala besar

Prompt hanyalah satu jenis teks yang dibutuhkan proyek audio. Setelah pipa berjalan, endpoint yang sama dapat menulis bagian lain di sekitarnya, dan Anda dapat menggunakan objek klien dari skrip sebelumnya.

Skrip narasi

Untuk audio ucapan, minta skrip dengan arahan panggung dalam notasi tetap, seperti penanda jeda di antara paragraf dan catatan ketika pembicara harus melambat. Katakan kepada model waktu baca target. Aturan jempol umum adalah bahwa narator membaca sekitar 150 kata per menit, jadi potongan dua menit membutuhkan sekitar 300 kata; minta angka itu dan hitung kata-katanya dalam kode.

Lirik dengan struktur tetap

Minta bagian yang diberi nama, skema rima, dan rentang suku kata per baris. Model mengikuti "empat baris, ABAB, delapan hingga sepuluh suku kata masing-masing" jauh lebih baik daripada "puisi berima yang bagus". Jalankan pemeriksaan dalam kode setelahnya dan minta penulisan ulang hanya bagian yang gagal.

Judul, tag, dan deskripsi

Setelah audio ada, kirimkan kembali prompt dan lirik akhir ke model dan minta tiga opsi judul, lima tag, dan deskripsi dua kalimat. Ini adalah pekerjaan murah dan berulang yang cocok untuk model teks dengan baik.

Cerita dan permainan

Audio fiksi, seperti serial horor, cerita interaktif atau dialog untuk permainan, sering kali memuat tema gelap atau dewasa. Model ini disetel untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, sehingga permintaan yang sesuai dengan genre tidak disertai dengan ceramah. Larangan terhadap konten seksual yang melibatkan anak di bawah umur tetap mutlak.

Jika Anda melakukan streaming skrip panjang ke layar, atur stream: true dan baca bagian-bagiannya saat tiba; penggunaan dilaporkan di akhir streaming.

Biaya untuk menulis seribu prompt

Teks jauh lebih murah dibandingkan langkah audio. Tarifnya adalah $0.15 per 1M token input dan $0.50 per 1M token output, yang dibebankan dari saldo prabayar tanpa langganan.

Misalkan setiap permintaan mengirimkan sekitar 600 token (pesan sistem plus ide) dan menerima sekitar 300 token JSON. Untuk 1.000 permintaan:

• Input: 600.000 token x $0.15 / 1M = $0.09
• Output: 300.000 token x $0.50 / 1M = $0.15
• Total: $0.24

Jadi, seribu prompt yang selesai biayanya sekitar dua puluh empat sen, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Akun baru dapat mengklaim $0.50 kredit uji coba dengan satu klik di halaman kunci, tanpa kartu, berlaku selama 7 hari, yang kira-kira setara dengan dua ribu prompt dengan ukuran di atas. Setelah itu, isi saldo dimulai dari $20; lihat harga untuk tier bonus dan opsi pembayaran. Prompt tidak digunakan untuk pelatihan.

Panduan lainnya

• LangChain dan LangGraph Tanpa Kunci API
• API Teks Tanpa Sensor untuk Prompt Video