SenSei is een uitbreiding op EboSuite, zodat de visuele mogelijkheden van Unreal Engine gebruikt kunnen worden voor Live shows en audio-visuele producties. EboSuite werkt in 2D, SenSei in 3D.

Ik leg hieronder uit wat zo bijzonder is aan Unreal Engine en aan de software die wij daarmee hebben gebouwd: EboSuite SenSei.

Unreal Engine

Unreal Engine is een ‘game engine’: software waarmee video games gemaakt worden.

Doordat gaming tegenwoordig de grootste sector is in de entertainment industrie (43,6%), wordt hier enorm in geïnvesteerd. Video games zijn daardoor indrukwekkende audio-visuele ervaringen geworden.

En game engines, waarmee games gemaakt worden, zijn daardoor de krachtigste real-time 3D tools geworden.

Unreal Engine is de meest geavanceerde game engine.

De mate van detail, kwaliteit van licht en schaduw, vloeiende bewegingen en foto-realistische kwaliteit is ongeëvenaard.
En dat allemaal live en interactief.

Daarom wordt Unreal Engine tegenwoordig ook gebruikt in de TV en film industrie, voor live events en concerten en voor interactieve installaties.

Wat je in deze video ziet is allemaal live gegenereerd en live aanstuurbaar!

Unreal Engine is echter lastig in gebruik. Om er mee te kunnen werken moet je software kunnen programmeren (want het is bedoeld om video games te ontwikkelen).

Voor mensen zoals wij (die goed kunnen programmeren), is dat juist fijn. De mogelijkheden van Unreal Engine kunnen we daardoor volledig naar onze hand zetten.

Maar voor creatives (visual designers, muzikanten, etc.) is dat onhandig. Zij kunnen de visuele mogelijkheden van Unreal Engine niet zomaar gebruiken.

Unreal Engine wordt ontwikkeld door ongeveer 1500 programmeurs (van het bedrijf Epic Games), die elke dag werken aan nieuwe mogelijkheden.

Het mooie is dat deze software gratis gebruikt mag worden om nieuwe software (meestal games) te ontwikkelen.

Oftewel: we mogen deze geavanceerde software kostenloos inzetten voor EboSuite en profiteren van de investeringen die Epic Games hierin heeft gedaan!

EboSuite SenSei

EboSuite SenSei bestaat uit plug-ins voor Ableton Live, waarmee we de visuele mogelijkheden van Unreal Engine eenvoudig bruikbaar maken.

Met elke plug-in kun je met een specifiek visueel concept spelen. Elke plug-in heeft veel knoppen, zodat je veel unieke variaties kunt maken.

Ableton Live is de meest gebruikte muziek-productie software. Ableton Live en Unreal Engine completeren elkaar.

Unreal Engine is bijzonder krachtig om live visuals te genereren, maar heeft geen goede sequencer om die live aan te sturen.

Ableton Live is een bijzonder krachtige live sequencer, maar kan geen 3D visuals genereren (wel 2D visuals dankzij EboSuite).

Door de plug-ins te combineren kun je gedetailleerde composities maken.

Elke plug-in is een element in de compositie.

Naast dat we zelf plug-ins bedenken, maken we ook plug-ins van bestaande ‘game assets’. Dit zijn visuele elementen om games/shows mee te maken.

In de online ‘asset store‘ van Epic Games zijn bijna 100.000 ‘game assets’ beschikbaar. Deze kunnen we allemaal omzetten naar plug-ins (dat kost ongeveer 3 uur per asset).

Deze plug-ins kunnen we los verkopen naast de basis plug-ins. Daarnaast kunnen we plug-ins als pakketten verkopen, die tezamen een mooi ontwerp vormen.

Ook hebben we de Unreal Engine software aangepast, zodat je er live video mee kan mixen (iets wat niet zomaar kan in games).

Daarvoor hebben we ook allerlei 3D video effecten ontwikkeld. Er bestaat geen andere software die dat kan.

We hebben dat degelijk uitgewerkt (nauwelijks vertraging bij hoge resolutie, geschikt voor veel video streams tegelijk).

Doordat Unreal Engine wordt aangestuurd door muziek software (Ableton Live) kun je het geluid en beeld tegelijk aansturen en dat naadloos op elkaar aansluiten.

De video hiernaast is een compositie gemaakt voor een event tijdens ADE. Druk op play om de video te starten.

Ook hebben we software gemaakt, waarmee je 3D scenes kunt ‘scratchen’. Je kunt de timing van volledige scenes op een muzikale manier, ritmisch bewerken. Terwijl je de individuele visuele elementen ook onafhankelijk van elkaar kan bewerken (zoals in de video hiernaast: de visuals op de huid van het hoofd en de camera die om het hoofd draait).

We hebben nu 94 plug-ins klaar voor release, inclusief virtuele camera’s, licht, 3D video effecten, feedback en post-process effecten (voor een oude film look of kleur correctie etc.).

De plug-ins kunnen ook zonder EboSuite gebruikt worden.

Er bestaat geen andere software waarmee zo eenvoudig, zulke krachtige visuele 3D composities live gemaakt kunnen worden. Daarom kunnen de plug-ins ook gebruikt worden om de visuele output van andere VJ/video software (zoals Resolume, VDMX, Module8) te mixen.

Korte voorbeelden

Een bijzonder flexibele plug-in, is de plug-in waarmee je 3D modellen van internet direct kan gebruiken in de compositie. Er zijn op internet veel 3D modellen beschikbaar.

De video hiernaast laat zien hoe je eenvoudig met een aantal 3D modellen een realistische scene kan maken, die volledig live aanstuurbaar is.

Hiernaast een ander voorbeeld.

Let wel: elk element van de compositie is een aparte plug-in: de discobol, de lichten, de dynamische vloer, de vliegende/vervormde video’s, de gele flits, de camera. Super flexibel dus!

Dit is een ander voorbeeld. Ook hier is elk element een aparte plug-in: de sneakers, het diamanten gordijn, de discobol, de lichten, het stenen plateau, de rode achtergrond.

Dit is nog een voorbeeld. Een wat rustigere compositie met video.

In dit voorbeeld wordt een live video camera gemixt.

VOORBEELD COMPOSITIE

Dit is een volledige compositie (6m46s), gemaakt met de plug-ins. Elk visuele element in de compositie is een plug-in.

In deze video zie je dezelfde compositie en daarbij Ableton Live en de plug-ins aan het werk.

Ik heb de compositie, muziek en beeld, gemaakt voor de Dutch Digital Design foundation. Dit is een vereniging van de 40 grootste digital design bedrijven van Nederland.

Elk jaar hebben zij een diner en daarbij nodigen ze één artiest/designer uit om een presentatie/performance te doen. Dit jaar hadden ze mij uitgenodigd. Ik heb daarvoor in minder dan twee weken deze compositie gemaakt en daar live uitgevoerd met mijn SenSorSuit (om het live element van de software te benadrukken).

Partnership met Isotonik

We werken samen met Isotonik Studios voor de distributie van de EboSuite SenSei plug-ins.

De mail hiernaast laat het enthousiasme van Darren van Isotonik zien en in de mail onderschrijft hij de waarde van de plug-ins. Klik op de mail om hem uit te vergroten.

Partnership met Resolume

Resolume is met afstand de meest gebruikte VJ software ter wereld. Zij zijn gevestigd in Scheveningen en er werken 21 mensen. Zij zijn al sinds het begin fan van Eboman.

Resolume heeft geen goede koppeling met Ableton Live en geen mogelijkheden voor 3D video mixing. Ik ben daarom bij hun langs geweest om EboSuite SenSei te laten zien. Zij waren onder de indruk en enthousiast, zoals blijkt uit de mail hiernaast van Bart (CEO). We onderzoeken de mogelijkheden voor samenwerking. Klik op de mail om hem uit te vergroten.

Partnership met PERSONA 3D

Ik heb dit jaar 34 bedrijven bezocht om ons netwerk te verstevigen. Op deze manier heb ik Persona 3D leren kennen. Persona 3D bestaat uit een team van 19 mensen en is gespecialiseerd in virtual live shows. Interessant is dat een van de CFO’s van Unreal Engine een familielid is van een van de eigenaren.

De mail hiernaast laat het enthousiasme van hen zien over de plug-ins. Klik op de mail om hem uit te vergroten.

PRESENTATIE CRUX AV FESTIVAL

In april dit jaar heb ik tijdens het Crux AV festival in London een presentatie gedaan over EboSuite/SenSei en Eboman. Het Crux festival is volledig gewijd aan audio-visual live shows. Bijna iedereen gebruikte EboSuite daar.