Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U fundamentu leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg powtarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę własnego głosu doradczego agenta. To on odczytuje polecenia użytkownika, rozbija złożone zadanie na drobniejsze podzadania i proponuje kolejność ich realizacji. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent uruchamia wtedy, gdy potrzebuje konkretnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi nici nawet wtedy, gdy procedura rozciąga się na kilka etapów i wymaga przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność odróżnia agenta od podstawowego skryptu, który odtwarza jedynie z góry zapisaną listę poleceń.
Oddzielną kwestią pozostaje sposób ewaluacji własnych działań. Dobrze zbudowany agent potrafi rozpoznać, że otrzymany wynik odbiega od zamierzonego, i cofnąć się do poprzedniego etapu, by podjąć próbę alternatywnej ścieżki. Taka autokorekta zbliża działanie maszyny do ludzkiego nawyku sprawdzania własnej pracy przed jej złożeniem.