Te niezwykłe utwory, podobnie jak barokowa architektura, wymuszały na swoim odbiorcy interakcje bez której czytelnik nie odczytałby zaszytych w nich sensów. Mimo, że szczyt popularności poezji wizualnej w całej Europie przypada na okres baroku, to nie przyszła ona nagle i miała podbudowę w dziedzictwie uprzednich stuleci.
Poezja wizualna i kunsztowna ma swoje korzenie ma w literaturze greckiej, gdzie już w okresie przedhellenistycznym panowało zamiłowanie do gier słownych, raków (versus retrogradi) czy lipogramów. Jednak greckie technopaegnia (techne — sztuka, paegnion — gra, zabawa) rozpoczyna się tak naprawdę w okresie hellenistycznym . Potwierdza to antologia Malagera z Gadary (ok. 60 p.n.e), gdzie znalazło się sześć przykładów poezji figuralnej. Jednym z nich było poemat w kształcie jaja autorstwa Simiasza z Rodos (ok. 300 p.n.e). W tym utworze nie tylko tekst układał się w odpowiednią formę, ale również przebieg jego lektury nawiązywał do kształtu. Czytelnik po pierwszym wersie czytał ostatni, potem drugi, przedostatni itd. Zatem samo odczytanie przyjmowało również kierunek ad ovo. Inne wiersze tego autora przytaczane w antologii przyjęły postać topora i skrzydeł.
Nie mniej znany jest wiersz w kształcie pasterskiej fletni (siringi) Teokryta z Syrakuz (300 p.n.e). Ma on 20 co raz krótszych wersów, rozpoczynających się w kilku przypadkach od litery o (omega), co symbolizować miało otwór lub zakończenie piszczałki. Jak pisze Rypson „utwór stanowi splątany węzeł zagadek, które czytelnik musi rozwiązać.” [Rypson, 14] Trzecim z poetów prezentowanych wprzez Malagera w Antologii Greckiej był Dosiadas z Krety (ok.100 p.n.e). Jego wiersz przyjął formę ołtarza z wpisanym weń akrostychem.
Wymienione tutaj figury, w które wpisywane były różnej miary wersy odnajdujemy później w barokowy utworach, a także twórczości poprzedzających ją twórców.
Około 324 roku skazany na banicję Optacjan Porfyriusz poprosił cesarza Konstantyna Wielkiego o przywrócenie do łask. Jego prośba miała dość nietypową formę. Był nią wiersz zbudowany w całości z utworów figuralnych. Jednak oprócz nielicznych wierszy w formie znanych już wzorów, dzieło zdominowane było poprzez słowne mozaiki, labirynty. Rypson wskazuje, że nie bez znaczenia jest tutaj pochodzenie autora, który urodził się w Afryce Północnej. A właśnie tam tworzono już wcześniej wiersze labiryntowe. Forma utworów Porfyriusza była jednak nowatorska (carmina cancellata) i zyskała później dużą popularność.
Tworzenie takiego utworu bardziej przypominało programowanie niż pisanie. Rypson przytacza, za włoskimi badaczami Caruso i Polara, opis powstawania carmina cancellata. Kartka była dzielona na 1225 kwadratów (35x35), następnie wpisywany był w nią oczekiwany kształt, który powstawał z dużych liter wpisywanych wersów. Później całość byłą dopełniana pisanymi mniejszymi literami kolejnymi wersami.
Co warte odnotowania, naśladujący Optacjana, Wenacjusz Fortunat (VI w.) do swoich utworów dołączał instrukcję tłumaczącą zasadę ich poprawnego odczytania. Dokładnie tak samo jest dzisiaj w przypadku dużej części literatury ergodycznej, w której instrukcja obsługi okazuje się być ważnym fragmentem dzieła literackiego.
O ile dzieło Optacjana, mimo prezentowanyc w nim w różny sposób symboli religijnych, nie było uważane za utwór religijny, to w średniowieczu wykorzystanie figury np. krzyża było już zamierzonym i celowym działaniem. Arcydziełem wizualnej poezji wczesnego średniowiecza była księga Liber de laudibus sanctae crucis autorstwa Hrabana Maura [815 r.].
Nowością wprowadzoną przez opata z Fuldy był tzw. imago poem. O kunszcie z jakim została napisana ta księga świadczy niesamowita dbałość o szczegóły. Hraban nie tylko wykorzystywał budowanie znaczeń poprzez kształt i inteksty, ale też sięgał po numerologię. Każdy z utworów składa się z 28 wierszy. Boska liczba 28 rozkłada się na 1, 2, 4, 7, 14 itd. Co ma symbolizować liczbę grzechów głównych, sakramentów, cnót kardynalnych itd.
Jeśli dołączmy do tego jeszcze zagadki, zdania czytane wspak (palindromy) to odczytanie kart Liber okazuje się nie lada wyzwaniem. Ale poznanie dziełą oznacza zbliżenie się do Boga, Alfy i Omegi, do Księgi. Nietrywialny wysiłek okazuje się mieć tutaj bardzo istotne znaczenie metafizyczne, a wzory stworzone przez Hrabana naśladować będzie bardzo wielu późniejszych poetów, m.in. Mikołaj Lubomirski u schyłku XVI wieku [Rypson, 41].
W okresie renesansu i wczesnego baroku następuje, w pewnym sensie, powrót do greckiego wzorca poezji figualnej. U Porfyriusza czy Hrabana Maura, w tekst był wpisany obraz, którego substancją był również tekst. Jak zauważa autor Obrazu słowa było to zgodne z porządkiem Księgi. Inaczej było w starożytności, gdzie obraz determinował tekst, który musiał dopasować się do obrazu-symbolu. Barok zatem, podobnie jak tradycja grecka i rzymska, sięgał po epigramtyczno-emblematyczny sposób myślenia [Rypson,51].
Warto jednak mieć na uwadze, że tego typu poezja oznaczała wyzwanie dla autora i poszukiwanie odpowiednich miar wersyfikacyjnych, gdyż jak wiadomo wymagały tego ówczesne poetyki. Bardzo duże znaczeniem miała strefa invetnio i nacisk na schematicus, czyli na formalną stronę utworów. Nie było to przy tym osiągnięcie ówczesnego geniuszu, nawet pomimo tworzenia maszyn permutacyjnych. Jak pisał Harsdöfer: „Nawet jeżeli celem poety jest pokazanie nowego konceptu, to nie może on znaleźć nic więcej niż to co już istniało albo wciąż jest.” [Shröder, 10]