Mi az az ágens-keretrendszer? | Fable blog

A Fable belsejében Termék és AI

Mi az az ágens-keretrendszer?

A szoftver, amely segít az AI-nak egyik lépésről a másikra vinni egy projektet, egy történet készítésén keresztül elmagyarázva.

Egy film egy ötlettel kezdődik. Az elkészítéséhez stáb kell: egy író formálja a forgatókönyvet, színészek adják a karakterek hangját, és egy vágó állítja össze a felvételeket. Ahhoz, hogy ez a munka egy koherens történetté váljon, mindenkinek tudnia kell, mi dőlt el, és mi történik ezután.

Egy MI-projektnek is szüksége van ilyen koordinációra. Egy modell segíthet megírni egy jelenetet vagy megtervezni egy illusztrációt. A köré épülő alkalmazásnak kell biztosítania a megfelelő vázlatot, futtatnia az eszközöket, elmentenie az eredményeket és előrevinni a projektet. Azokat a szoftvereket, amelyek ezeket a feladatokat kezelik, gyakran ügynök-keretrendszernek nevezik.

A Gambit számára készítettünk egyet, mert a történetalkotás olyan döntésekkel jár, amelyeknek kapcsolatban kell maradniuk: mit mond egy karakter, hogyan mondja, és mit lát a közönség abban a pillanatban. A keretrendszer segít átvinni ezeket a döntéseket a munkán, akkor is, ha meggondolnád magad.

Tekints rá úgy, mint a modell körüli produkciós stábra

Egy filmforgatáson egy olyan kérés, mint a „próbáljuk meg újra azt a jelenetet”, több dolgot is elindít. A színészeknek szükségük van a legfrissebb forgatókönyvre, a stáb előkészíti a felvételt, és valaki rögzíti, melyik felvételt választották. A Gambit hasonló szervező szerepet játszik egy AI-rendszerben. Összeköti a javasolt műveletet az elvégzéséhez szükséges gyakorlati munkával.

A modell válaszokat generál és cselekvéseket javasol. A keretrendszer kezeli az ezeket a cselekvéseket körülvevő eszközöket, információkat és korlátokat. Együtt egy ágenst alkothatnak: egy olyan rendszert, amely több lépésen keresztül dolgozik egy cél elérése érdekében. A terminológia termékenként változik, de ezek a felelősségi körök hasznos módjai annak, hogy megértsük, mi történik.

Egy kérés, több összefüggő lépés Modell + eszközök + mentett munka
  1. 01

    Gyűjtsd össze a kontextust

    Töltse be a kérést, a vonatkozó vázlatokat és a már meghozott döntéseket.

  2. 02

    Válassz egy műveletet

    A modell szerkesztést, használandó eszközt vagy felteendő kérdést javasol.

  3. 03

    Végrehajtás

    Futtass egy engedélyezett műveletet, amelyhez szükség esetén a jóváhagyásodat kérjük.

  4. 04

    Ellenőrizd az eredményt

    Érvényesítsd és mentsd el a kimenetet, majd használd a következő lépés irányításához.

Ez a ciklus megismétlődhet a feladat fejlesztése során. Ha egy eszköz problémát jelez, a rendszer felhasználhatja ezt az információt egy másik megközelítés kipróbálására vagy segítségkérésre. Egy prompt utasításokkal járul hozzá ehhez a folyamathoz; a keretrendszer biztosítja a szoftvert, amely ténylegesen futtatja azt.

Ugyanez az elv érvényesül akkor is, amikor a munka több munkameneten keresztül folytatódik. Az Anthropic hosszú távú ügynökökről szóló kutatása leírja az egyértelmű haladási naplók és a mentett munka értékét, amelyet a következő munkamenet folytathat. Egy projektnek megbízható nyilvántartásra van szüksége arról, hogy mi történt, még akkor is, ha a modell nem tudja a teljes előzményt a jelenlegi kontextusában tartani.

Mit jelent ez, amikor történetet készítesz

A Gambitben egy vázlatos ötlettel kezdhetsz, és beszélgetés útján fejlesztheted tovább. Kérhetsz meggyőzőbb gonosztevőt, szelídebb befejezést vagy kevésbé formális párbeszédet. Ahogy a történet formát ölt, a keretrendszer irányt ad a beszélgetésnek: szerkeszthető tervet, forgatókönyvet, hangutasításokat és storyboardot.

Tartsd meg a működő forgatókönyvet, amelyre mindenki hivatkozhat

Egy produkciónak tudnia kell, melyik forgatókönyvből dolgozik. A Gambit külön menti a történet fő részeit: a tervrajz határozza meg az irányt, a forgatókönyv tartalmazza a párbeszédeket és az előadási utasításokat, a Szereplők és világ pedig a vizuális referenciákat tárolja. A későbbi lépések a releváns mentett anyagokra építenek, beleértve a jóváhagyott verzió és a még átdolgozás alatt álló tervezet közötti különbséget.

Közvetlenül megvizsgálhatod a projekt ezen részeit. Így könnyebben láthatod, miben állapodtál meg, min kell még dolgozni, és mit fog használni a következő szakasz.

A Gambit forgatókönyv-munkaterülete, karakterpárbeszédekkel, előadási utasításokkal és hangeffektekkel a The Eighth Wakes-hez.
Teljes kép megtekintése

A szerkesztés tovagyűrűző hatásainak elkapása

Fontolj meg egy hangeffektust, amely egy adott kifejezéshez van időzítve. Ha átírod ezt a kifejezést, az időzítési utasítása már nem biztos, hogy értelmes. A Gambitben egy közvetlen szkriptszerkesztés, amely megszakítja ezt a kapcsolatot, leáll, és kéri a szavak és a hangjelzés együttes felülvizsgálatát a chaten keresztül.

Ez egy kis ellenőrzés gyakorlati céllal. Olyan eltérést szűr ki, amely egyébként elérhetné a felvételi szakaszt. Az írómodell segíthet jobb sort találni; a környező szoftver pedig ellenőrzi, hogy a hangjelzésnek van-e még érvényes helye a forgatókönyvben.

Építsd a képeket az előadás köré

Egy elhangzott jelenetnek megvan a maga ritmusa. A színész tarthat szünetet egy leleplezés előtt, vagy elidőzhet az utolsó szavakon. A képeknek teret kell adniuk, hogy kövessék ezt az előadást.

A Gambit forgatókönyve a generált hang mért időzítését használhatja a karakter- és beállítási referenciák mellett. Ellenőrzései közé tartozik, hogy a tervezett felvételek lefedik-e a hangidővonalat. Ez konkrét alapot ad a vizuális sorrendnek: azt az előadást, amelyet a közönség ténylegesen hallani fog.

A Gambit forgatókönyv-munkaterülete, amely a The Eighth Wakes jelenettervét és illusztrált felvételeit mutatja.
Teljes kép megtekintése

Tudd, mit hagysz jóvá

Egy produkciónál a másik felvétel megvitatása és a felvételi ülés lefoglalása külön döntés. A Gambit hasonló különbséget tesz az ötlet kidolgozása és a fizetett média generálása között. Áttekintesz egy árajánlatot, mielőtt a generálás elindulna, és a rendszer ellenőrzi, hogy a jóváhagyás továbbra is megfelel-e a kért munkának.

A forgatókönyv megváltoztatása a rögzítés után új hanganyag készítését jelentheti. Egy jelenet megváltoztatása újabb kép generálását jelentheti. Ezek a műveletek több tokent használhatnak fel. A mentett verziók segítenek nyomon követni az eredményeket, míg a jóváhagyási lépés lehetőséget ad arra, hogy eldöntsd, megéri-e a következő generálás.

Hol van a helye a ChatGPT-nek és a Claude-nak?

A ChatGPT és a Claude hasznos helyek a történetfejlesztéshez. Segíthetnek feltárni az alapfeltevést, megkérdőjelezni egy karakter motivációját és átdolgozni egy nehéz szakaszt. Mindkettő módot kínál a folyamatban lévő munka rendszerezésére is.

A ChatGPT Projects összehozza a csevegéseket, fájlokat és utasításokat. Az olyan eszközök, mint a Canvas, lehetővé teszik, hogy a beszélgetés mellett dolgozz egy vázlaton. A Claude Projects megosztott referenciamagokat és projektutasításokat biztosít, míg az Artifacts külön felületet ad a munkához, amelyet szerkeszthetsz és visszatérhetsz hozzá.

A Gambit egy adott gyártási folyamat köré szerveződik. Meghatározott helyet biztosít a projektben a forgatókönyvnek, a karakterreferenciáknak, a hangirányításnak és az időzített forgatókönyvnek, az ezeket összekötő eszközökkel és ellenőrzésekkel. Az idődet a történet fejlesztésével töltheted ezen a folyamaton belül.

Munkafolyamat kiválasztása a történetedhez

Munkafolyamat kiválasztása a történetedhez: ChatGPT and Claude compared with Gambit
FeladatodChatGPT és ClaudeGambit
Ötlet kidolgozásaBeszéljétek meg a lehetőségeket, kutassátok a hátteret és dolgozzátok ki a cselekményt.Dolgozd ki az ötletet egy történetvázlattá, amelyet átnézhetsz és módosíthatsz.
Kövesd nyomon a munkátRendszerezd a referenciaminőségeket, utasításokat és vázlatokat a termék projekt eszközeivel.Dolgozz mentett történet szakaszokkal és a későbbi szakaszok által használt kiválasztott kimenetekkel.
Jelenet módosításaKérj visszajelzést vagy szerkeszd az írást egy támogatott dokumentum-munkaterületen.A forgatókönyv átdolgozása a kapcsolatok ellenőrzésével, például a párbeszédekhez kötött hangeffektekkel.
Adj hozzá hangot és képeketSzervezz munkafolyamatot a rendelkezésre álló eszközök és bármely más választott szolgáltatás használatával.Kövesd a beépített folyamatot a hangirányításhoz, az audio- és vizuális referenciákhoz, valamint az időzített storyboardhoz.
Ezek a munkafolyamatbeli különbségek. Az elérhető funkciók termékenként és csomagonként változnak; a jelenlegi részletekért lásd a fenti hivatalos útmutatókat.

Egy általános asszisztens jól illeszkedhet egy olyan írási folyamatba, amelyet már élvezel. A Gambit akkor hasznos, ha azt szeretnéd, hogy az írás, az előadás és a vizuális tervezés közös munkaterületen osztozzon. Támogatott MI-modelleket és médiaszolgáltatásokat használ, a Fable szoftvere pedig összehangolja a történetet közöttük.

Még mindig te döntöd el, mitől jó a történet

Egy jól vezetett filmprodukció képes tartani a forgatási ütemtervet és rendben tartani a felvételeket. A rendezőnek még mindig el kell döntenie, hogy egy alakítás megfelelő-e. Ugyanez a korlát érvényes itt is. A szoftver ellenőrizheti, hogy egy hangjelzés érvényes szavakra mutat-e, vagy hogy a felvételek lefedik-e a hanganyagot. Az, hogy egy vicc betalál-e, egy karakter hihető-e, vagy egy befejezés megmarad-e benned, kreatív ítélőképesség kérdése.

A modellek részleteket hagyhatnak ki, az eszközök meghibásodhatnak, és egy technikailag érvényes eredmény is okozhat csalódást. A keretrendszer értéke abban rejlik, hogy könnyebbé teszi a munka vizsgálatát és felülvizsgálatát. Lehetőséget ad arra, hogy egy döntés alapján cselekedj, például: „tartsd meg a karakter ezen verzióját, de próbáld meg újra a jelenetet.”

Ez az az élmény, amelyet a Gambittel építünk. Átbeszélheted az ötletet, formálhatod a történet minden részét, és menet közben áttekintheted az eredményeket. Ha inkább választanál egy karaktert, és hagynád, hogy a Fable kezelje az alkotást, a Fable Go ezt az egyszerűbb utat kínálja. A Gambit teret ad a részletek irányítására.

Gyakori kérdések

Az ügynök-hám ugyanaz, mint a prompt?

Egy prompt megmondja a modellnek, mit szeretnél, és biztosítja a kontextust. A keretrendszer az a szoftver, amely továbbítja ezeket az utasításokat, futtatja az eszközöket, menti az előrehaladást és ellenőrzi az eredményeket. Egyetlen feladat során több promptot is használhat.

Egy hám segít az MI-nek mindent megjegyezni?

A hám elmentheti a projektinformációkat, és releváns részeket emelhet be a későbbi kérésekbe. A modellnek még mindig vannak korlátai abban, hogy mennyi információt tud egyszerre felhasználni, és figyelmen kívül hagyhat vagy félreértelmezhet egy részletet. A mentett munka jobb kiindulópontot ad neki.

A Gambit egy MI-modell?

A Gambit egy történet-munkaterület, amely MI-modelleket és médiaszolgáltatásokat használ. A Fable keretrendszere összeköti őket a projekt forgatókönyvével, hangjaival, alkotásaival, eszközeivel és felülvizsgálati lépéseivel.