Зморшки, зайва вага чи сивина можуть бути у всіх людей. Навіть у найвідоміших імператорів. Це підтверджує митець Деніел Вошарт у Photoreal Roman Emperor Project.
Деніел Вошарт – бакалавр образотворчого мистецтва університету Раєрсон в Канаді. Раніше він працював кінооператором. Його фільми показували на найпрестижніших світових кінофестивалях у Локарно, Берліні, Відні, Торонто.
У 2015 році Деніел отримав ступінь магістра архітектури в Університеті Торонто у сфері дизайну та віртуальної реальності. Протягом двох років він працював над архітектурними проєктами, використовуючи технології віртуальної реальності. У липні Деніел Вошарт опублікував власний Photoreal Roman Emperor Project.
Цей проєкт відтворює реалістичні портрети римських імператорів за допомогою генеративної змагальної мережі (GAN).
Photoreal Roman Emperor Project й генеративна змагальна мережа
Photoreal Roman Emperor Project – це серія з 54 фотографій римських імператорів, які жили в період ранньої імперії Стародавнього Риму (27 до н. е. – 284 н. е.).
Деніел Вошарт намагався з точністю відтворити ніс, вуха та інші риси обличчя імператорів. Щоб створити 54 портрети, автор використав 800 зображень бюстів імператорів.
«Я не прагнув романтизувати імператорів чи надати їм героїчного вигляду. Коли я вибирав бюст або скульптуру, я надавав перевагу бюстам, створеним за життя імператора. Якщо таких не було, я вибирав бюст, зроблений з більшою майстерністю, і де імператор мав би менш привабливий вигляд. Я вважаю, що художники здебільшого ідеалізують свої творіння», – розповідає Деніел Вошарт.
Автор намагався зіставити зовнішність імператорів (волосся, очі, національність тощо) саме з історичним контекстом.
За задумом автора, так виглядали імператори на останньому році їхнього життя.
Бюсти деяких імператорів не вдалося зберегти до нашого часу. Щоб відтворити їхні зображення, Деніел використовував їхнє сімейне дерево, місце народження й зображення на монетах.
Ось зовнішність деяких імператорів, відтворена нейронними мережами:
Октавіан Август
Роки правління: 27 до н. е. – 19 н. е., помер у 75 років
Калігула
Роки правління: 37 – 41, помер у 28 років
Клавдій
Роки правління: 41 – 54, помер у 63 роки
Нерон
Роки правління: 54 – 68, помер у 30 років
Марк Аврелій
Роки правління: 161 – 190, помер у 58 років
Каракала
Роки правління: 198 – 2017, помер у 29 років
Елагабал
Роки правління: 218 – 222, помер у 18 років
Ульпія Северина
Рік правління: 275, рік смерті невідомий
Деніел Вошарт створював портрети, використовуючи мережі Artbrеeder та Photoshop. Зокрема, Artbrеeder працює на основі генеративної змагальної мережі.
Як працює генеративна змагальна мережа (GAN)?
Дехто називає генеративну змагальну мережу штучним інтелектом, однак більш точна назва – машинне навчання.
Генеративна змагальна мережа базується на роботі двох нейронних мереж, які працюють за принципом, схожим до людського мозку.
Нейрон є основним компонентом нервової системи людини. Він передає інформацію у вигляді електронного чи хімічного сигналу через синапси. За таким же принципом працюють нейронні мережі в комп’ютерних технологіях. Кожен нейрон у генеративній змагальній мережі обробляє дані та передає їх за допомогою синапсу.
Зараз із допомогою генеративної змагальної мережі можна змінити обличчя на фотографії, кількість зморшок, зачіску і навіть вік людини, можна замінити день на ніч. Також GAN використовують, щоб класифікувати дані, робити аналітичні прогнози, порівнювати дані без втручання людини.
Всередині генеративної змагальної мережі працюють дві нейронні мережі. Ім’я першої – генератор, а другої – дискримінатор. Спочатку потрібно завантажити до обох нейронних мереж певний набір даних, наприклад, зображення. Далі генератор повинен «вивчити» це зображення та відтворити його. Друга нейронна мережа дискримінатор порівнює твори генератора з оригіналом і відкидає ті, які відрізняються від оригіналу. Якщо дискримінатор не бачить різниці між оригіналом й підробкою, він залишає цей твір.
Нейронні мережі й мистецтво
Це «Портрет Едмонда Еламі». У 2018 році його продали на аукціоні Christie’s у Британії за 432 500 доларів. Цей портрет створила генеративна змагальна мережа. Алгоритм створив картину на основі 15 000 портретів, намальованих з XIV по XX століття.
Ще одним прикладом застосування нейронних мереж у мистецтві є проєкт GANGogh, в якому зібрано твори у різних стилях. На основі цих картин GAN створює власні картини, змішуючи різні стилі.
На основі нейронних мереж працює сервіс AI Portrait Ars. Суть програми – генерувати фото у картини епохи Відродження.
Цікаво, що сервіс не малює людей на картинах усміхненими – в епоху Ренесансу живописці не зображали емоції. Його розробники кажуть: «Нездатність штучного інтелекту створювати усмішки говорить багато про історію мистецтва».
Технологію генеративної змагальної мережі уже випробували й на музиці. Зокрема, MuseGAN створює треки на основі сотні тисяч треків у стилі рок.
GAN може також писати тексти. У 2018 році презентували генеративну змагальну мережу, яка може писати вірші на основі картин. GAN бере з ключові слова й описує картину. На відміну від інших GAN, для написання поем використовується два дискримінатори: перший перевіряє, чи відповідає вірш картині, а другий стежить за ритмом вірша.
Як GAN створила діпфейк?
Кілька років тому завдяки генеративній змагальній мережі з’явилось явище «діпфейку». Термін «діпфейк» – це поєднання слів «глибинне навчання» (deep learning) та «фейк» (fake).
Діпфейк може підмніти обличчя будь-якої людини на фото або відео. До того ж за допомогою діпфейків можна змінити голос людини, вставити у відео слова іншої людини й синхронізувати вираз обличчя відповідно до накладеного на відео звуку.
У 2018 році американський режисер Джордан Піл та видання BuzzFeed опублікували діпфейк, де Барак Обама негативно відгукується про Дональда Трампа. Якщо уважно придивитись, можна побачити, що обличчя Барака Обами виглядає не надто природньо. Втім, відео може ввести в оману неуважного глядача.
Британська художниця Ліббі Гіні поділилась власним діпфейком, що має назву Euro(re)vision. На відео Ангела Меркель і Тереза Мей начебто співають пісні під час Євробачення. Діпфейк став резонансним у Великобританнії, бо його опублікували під час Брекзиту.
А тут роль Фореста Гампа виконує не Том Генкс, а Кіану Рівз.
З одного боку, діпфейки мають розважальний характер. Їх можна використовувати для перекладу – щоб актори Голлівуду говорили у фільмах українською мовою.
Водночас діпфейки несуть загрозу. Вони можуть зіпсувати комусь репутацію або змусити політика говорити те, чого він насправді ніколи не говорив.
У 2017 році у спільноті Reddit користувач під ніком Deepfake опублікував порновідео з акторкою Гал Гадот. Через рік Reddit заблокувала відповідну спільноту за поширення фейкових відео. Але автор фейкового відео уже поширив інструмент FakeApp для створення фейкових відео.
Поки що діпфейки не виглядають природньо, їх можливо відрізнити від оригіналу. Але з часом генеративна змагальна мережа може навчитись робити діпфейки максимально реалістичними.
Діпфейки можуть нести загрозу національній безпеці кожної держави. У листопаді 2018 року стало відомо, що при Міністерстві оборони США працює науково-дослідне агентство, щоб створити технологію, яка б виявляла діпфейки.
А 1 липня 2020 року вчені з Бостонського університету повідомили про створення алгоритму, який захищає фото та відео від діпфейків. Цей алгоритм змінює файл таким чином, що створити з нього діпфейк стає неможливим.
Генеративна змагальна мережа, з одного боку, спрощує життя людей. GAN може обробити дані значно швидше за людину. Але виникнення діпфейків відкрило простір для маніпуляцій та дезінформації. Уряди різних держав поки що не розуміють, як протистояти глибинним фейкам. Тому критично осмислювати й перевіряти інформацію – це найкраще, що може зробити кожен із нас.
