OpenAI wprowadza aktualizacje dla wnioskowania w czasie rzeczywistym w zakresie dźwięku, wizji i tekstu

Zgodnie z informacjami Cointelegraph, OpenAI wprowadziło cztery aktualizacje swoich modeli w październiku, aby pomóc swoim modelom AI lepiej prowadzić rozmowy i poprawić rozpoznawanie obrazów. Pierwsza znacząca aktualizacja to API w czasie rzeczywistym, które pozwala deweloperom tworzyć aplikacje do generowania mowy przez AI za pomocą jednego polecenia, umożliwiając naturalne rozmowy podobne do zaawansowanych wzorców mowy ChatGPT. Wcześniej deweloperzy musieli „zszywać” wiele modeli, aby tworzyć takie doświadczenia. Wejście audio zazwyczaj musi być w pełni przesłane i przetworzone, zanim zostanie otrzymana odpowiedź, co oznacza, że aplikacje w czasie rzeczywistym, takie jak rozmowy głosowe, mają wysokie opóźnienia. Dzięki możliwościom strumieniowania API w czasie rzeczywistym, deweloperzy mogą teraz realizować natychmiastowe, naturalne interakcje, podobnie jak asystent głosowy. Działając na GPT-4, który zostanie wydany w maju 2024 roku, API umożliwia wnioskowanie w czasie rzeczywistym w zakresie audio, wizji i tekstu. Kolejna aktualizacja obejmuje narzędzia do dostrajania dla deweloperów, które pozwalają im poprawić odpowiedzi AI generowane z obrazów i tekstów. Dostrajacz oparty na obrazach umożliwia AI lepsze zrozumienie obrazów, co prowadzi do ulepszonego wyszukiwania wizualnego i wykrywania obiektów. Proces obejmuje opinie od ludzi, którzy dostarczają przykłady dobrych i złych odpowiedzi do szkolenia. Oprócz aktualizacji dotyczących mowy i wizji, OpenAI wprowadziło „destylację modelu” i „buforowanie wskazówek”, które pozwalają mniejszym modelom uczyć się od większych i zmniejszać koszty oraz czas rozwoju poprzez ponowne wykorzystanie przetworzonego tekstu. OpenAI oczekuje, że przychody wzrosną do 11,6 miliarda dolarów w przyszłym roku, w porównaniu do prognozowanych 3,7 miliarda dolarów w 2024 roku, według Reuters.