Amerykańscy naukowcy stworzyli napędzanego Sztuczną Inteligencją robota, który maluje prawdziwe obrazy na podstawie tekstu, dźwięku i wizualnych podpowiedzi.
Inżynierowie z Carnegie Mellon University (CMU) pracujący w Bot Intelligence Group (BIG) zaprogramowali ramię robota przemysłowego, które pędzlem i farbami maluje obrazy na podstawie mówionych, pisanych i wizualnych podpowiedzi. Napędzająca robota SI jest bardzo podobna do DALL-E. Zespół BIG nazwał go FRIDA na cześć meksykańskiej artystki Fridy Kahlo oraz jako akronim od Framework and Robotics Initiative for Developing Arts. Obecnie robot wymaga co najmniej kilku danych kontekstowych i dużo czasu na stworzenie obrazu. Użytkownicy mogą również przesłać obraz, aby “zainspirować” FRIDA i wpłynąć na wynik poprzez dostarczenie deskryptorów w języku prostym. Na przykład, biorąc na warsztat zdjęcie popiersia Elona Muska i słowną podpowiedź “dziecko szlocha”, SI stworzyła poniższy portret. Naukowcy eksperymentowali z innymi typami danych wejściowych, np. pozwalając SI słuchać piosenki takiej, jak Dancing Queen Abby.https://twitter.com/FridaRobot/status/1624614705242292225 Doktorant i główny inżynier z Carnegie Mellon, Peter Schaldenbrand, podkreśla, że FRIDA nie może działać jak prawdziwy artysta. Innymi słowy, robot nie jest kreatywny. “FRIDA to robotyczny system malarski, ale FRIDA nie jest artystą” - powiedział Schaldenbrand. “FRIDA nie generuje pomysłów, aby się komunikować. FRIDA jest systemem, z którym artysta mógłby współpracować. Artysta może określić wysokopoziomowe cele dla FRIDY, a następnie FRIDA może je wykonać.” Algorytmy robota nie różnią się od tych stosowanych w ChatGPT i DALL-E 2. Jest to generatywna sieć adwersarzowa (GAN) ustawiona do malowania obrazów i oceniania swojej wydajności w celu poprawy jej wyników. Teoretycznie, z każdym obrazem, FRIDA powinna lepiej interpretować podpowiedzi i sprawniej malować, ale ponieważ sztuka jest subiektywna, kto może powiedzieć, co jest “lepsze”? Co ciekawe, FRIDA tworzy unikalną paletę kolorów dla każdego obrazu, ale nie może mieszać farb. Na razie człowiek musi mieszać i dostarczać odpowiednie kolory. Jednak zespół School of Architecture w CMU pracuje nad metodą automatyzacji mieszania farb. Studenci BIG mogliby zapożyczyć tę metodę, aby uczynić FRIDA w pełni samodzielnym. Proces malowania przez robota jest podobny do pracy artysty, a wygenerowanie gotowego obrazu zajmuje wiele godzin. Robotyczne ramię nanosi pociągnięcia farbą na płótno, podczas gdy kamera monitoruje je z góry. Od czasu do czasu algorytmy oceniają powstający obraz, aby upewnić się, że rezultat jest zgodny z wytycznymi. Jeśli robotyczne ramię popełni błąd, SI dostosowuje się, aby uzyskać efekt możliwie najbardziej zgodny z wcześniej wygenerowanym obrazem, dlatego każdy portret ma swoje unikalne małe wady. fot. Carnegie Mellon UniversityNaukowcy z BIG opublikowali niedawno swoje badania w arXiv należącym do Cornell University. Zespół prowadzi również konto FRIDA Robot Painter na Twitterze od sierpnia 2022 roku, na którym znajduje się sporo dzieł robota i postów na temat jego postępów. FRIDA nie jest jednak niestety dostępna publicznie. Następnym projektem zespołu jest wykorzystanie tego, czego nauczyli się przy tworzeniu FRIDA, aby opracować robota, który rzeźbi.