ENG (Leggi in Italiano)
DOCUMENTARY – Digital Characters with Motion Capture
What is the MoCap? What are markers? How Davy Jones or Smaug are created?
For these and other questions, in this video, we take a look at the technique of Motion Capture (or MoCap ), a method of high interaction between man and technology that allows to capture the movements of people and objects and turn them into digital 3D information.
Here you can find some basic knowledge about this innovative technology! #ThisIsMotionCapture
In this video, we are going to deal with the technique of motion capture (or mocap ), a method of high interaction between man and technology that allows you to capture the movements of people and objects and turn them into digital information.
The trend to record the movements in real time starts at the beginning of 1800 and over the years have been introduced techniques that allow the reproduction of reality in a more and more detailed and realistic way, especially in film and gaming.
The first attempt to capture the movements of humans and animals dates back to the 17th century, when EDWARD MUYBRIDGE tried to shoot various moving subjects through photographic sequences taken in rapid succession.
Another famous example is the Rotoscopy, a system used to create realistic animation of films tracing scenes previously filmed.
Subsequent studies and experiments in the arts and sciences enabled technology to get the digital acquisition of human movements, in an increasingly more accurate way
In the field of visual entertainment, especially in video games and movies, the main objective is to attract and involve the largest number of spectators.
For this reason, directors and producers have felt the need to create products that communicate with greater expressiveness and realism. The Motion Capture, then, turns out to be the best way to express these aspects.
Over the years, various technologies have been explored for the realization of Mocap which are the followings:
ELECTROMAGNETIC SYSTEMS, composed of a magnetic field generator and by a series of sensors which are positioned on the body of the subject. Each sensor estimates the position and orientation of the corresponding body segment.
The mechanical systems are among the first systems devised for motion analysis. The subject wears an exo-skéletôn characterized by potentiometers.
OPTICAL SYSTEMS, instead, are the most used in the world because they are easy to use and always available. Generally they consist of 4 to 32 cameras connected to a computer and the actors wear a suit on which markers are attached, i.e. position indicators that reflect or emit light at specific points of the body. The cameras detect the position of the markers and before recording data they proceed with the calibration of markers placed on the moving subject.
Motion capture first appeared in the gaming field, in 1994, with the game Rise of the Robots, where the actions of the characters come from the shooting of the movements of professional actors.
An evolution of the MoCap is found in the character of Jar Jar Binks in Star Wars Episode I, where the actor was wearing a diving suit covered with sensors. This first application showed that the MoCap would soon become an essential tool in the world of cinema.
The first film to be shot entirely in Motion Capture is The Polar Express. The special feature of this film is the great attention that has been paid to the face of the actors to faithfully reproduce all the expressions on the faces of the characters. 150 markers which adhered toevery single muscle,were applied on their faces. Only the application took nearly two hours in preparation.
The peculiarity of the film King Kong 2005 was to convert human movements into the movements of the gorilla: for each part of the human body that has a marker on it, a particular sofware corresponds to a point on the body of a gorilla.
In the film Pirates of the Caribbean, a particular colour around the eyes was applied to the actor starring Captain Davy Jones, to render the real physiological conformation and to achieve proper lighting. This material was also put over his mouth to reproduce the facial movement due to strong Scottish accent of the character.
For the Curious case of Benjamin Button was used a special technique of MoCap, since the large amount of markers on the face would affect the performance of the actor. The technology used was that of the company MOVA, which consists of a special powder that detects small details like wrinkles.
In 2009 the film Avatar uses technology and advanced software to recreate in detail the skeletal and muscular system of the characters, to make them more realistic. A high-definition camera was positioned in front of the face of the actor on which were also applied markers to track every nuance of facial expressions.
Another example of facial MoCap is the film Tron: Legacy, which presents the opposite case of Benjamin Button: the face of the actor Jeff Bridges must be rejuvenated. For this reason, after a scan, a mold of his face has been reconstructed with 143 holes for the insertion of markers. The actor wears the mask and a special helmet with four HD cameras with which the movements of his face are transferred to a computer. This is the first film to use the Helmet Mounted Camera technology in live action, allowing the actor to interact with others on the scene.
Instead for the creation of Ted, the actor who played the irreverent teddy bear wearing a special suit, starred on the set, out of sight of the camera, and it was not necessary to add it in a monitored environment. The suit, in fact allowingmade it possible to have scanned images in real time.
Talking about video games we can remember Beyond: Two Souls starring Ellen Page and Willem Dafoe, two internationally well-known actors who had to maintain the aspect of their face in the game . For this reason, the camera system for the shooting of facial movements has been enhanced.
In 2014, the film Dawn of the Planet of the Apes, brought the motion capture to the next level, from a passive to an active technology. In fact, it has developed a system that uses LED lights placed inside the suit; this allows the director to create high-level performance and to shoot outdoors scenes of MoCap . Moreover this system , even in action scenes, avoids the falling of the markers from the suit and the loss of important data movement.
In 2014 The Hobbit features some famous actors who play horrible characters as The Great Goblin and the dragon Smaug.
The technique of motion capture has made it possible to develop innovative films with spectacular scenery which had never been seen before. But the funniest part of Mocap is that it can be home realised and many people upload on the social networks footages proving their skills in moving their characters.
See also our next brief “How To” video to get an overview about to perform a home-made facial MoCap
https://fronteffects.wordpress.com/2015/06/09/how-to-homemade-facial-motion-capture/
Working Group: INSIDE OUT
Authors: POLLINA Flavia Beatrice, ROLLO Manoj, SOLLI Elena
=================================================
ITA (Read it in English)
DOCUMENTARIO – Personaggi Digitali con il Motion Capture
Cos’è il MoCap? Cosa sono i marcatori? Come sono stati creati Davy Jones e Smaug?
Per queste ed altre domande, in questo video, diamo uno sguardo alla tecnica del Motion Capture (o MoCap), un metodo di alta interazione tra uomo e tecnologia che permette di catturare i movimenti di persone e oggetti e trasformarli in informazioni digitali tridimensionali.
Qui puoi trovare delle informazioni base riguardo a questa tecnologia innovativa. #QuestoÈMotionCapture
In questo video affronteremo la tecnica della motion capture (o mocap), un metodo di alta interazione tra uomo e tecnologia che consente di catturare i movimenti di persone ed oggetti e di trasformarli in informazioni digitali.
La tendenza di registrare i movimenti in tempo reale è presente già a partire dal 1800 e nel corso degli anni si sono introdotte tecniche che hanno permesso di riprodurre la realtà in maniera sempre più dettagliata e verosimile, soprattutto in ambito cinematografico e videoludico.
Il primo tentativo di catturare i movimenti umani ed animali risale intorno al 17° secolo, quando Eadweard Muybridge si cimentò nella ripresa di vari soggetti in movimento tramite sequenze fotografiche in rapida successione.
Un altro famoso esempio si ha con il rotoscopio, un sistema utilizzato per creare animazioni realistiche ricalcando scene di pellicole filmate in precedenza.
Studi successivi ed esperimenti nelle arti e nelle scienze hanno permesso alla tecnologia di arrivare all’acquisizione digitale, sempre più accurata, dei movimenti umani.
Nell’ambito dello spettacolo, soprattutto nei videogiochi e nel cinema, l’obiettivo principale è quello di attirare e coinvolgere il maggior numero di spettatori.
Per questo motivo i registi e i produttori hanno sentito la necessità di riprodurre prodotti che comunicassero maggiore espressività e realismo. La Motion Capture, quindi, si rivela il metodo migliore per esprimere questi aspetti.
Con il passare degli anni, si sono esplorate varie tecnologie per la realizzazione del Mocap ed esse si differenziano in:
I SISTEMI MECCANICI sono tra i primi sistemi creati per l’analisi del movimento. Il soggetto indossa un eso-scheletro caratterizzato da potenziometri.
SISTEMI ELETTROMAGNETICI, composti da un generatore di campo magnetico e da una serie di sensori che vengono posizionati sul corpo del soggetto. Ogni sensore stima la posizione e l’orientamento del segmento corporeo corrispondente.
I SISTEMI OTTICI, invece, sono i più usati al mondo per facilità di gestione e di reperibilità. Sono composti generalmente da 4 a 32 fotocamere collegate ad un computer e gli attori indossano una tuta su cui vengono attaccati dei marcatori, cioè indicatori di posizione che riflettono o emettono luce, in punti precisi del corpo. Le fotocamere rilevano la posizione dei marcatori e prima della registrazione dei dati si procede con la calibrazione dei marcatori posti sul soggetto in movimento.
La prima comparsa del motion capture avviene in ambito ludico nel 1994 con il videogioco Rise of the Robots, dove le azioni dei personaggi sono ricavati dalla ripresa dei movimenti di attori professionisti.
Un’evoluzione del mocap si riscontra nel personaggio di Jar Jar Binks in Star Wars Episodio I, dove l’attore vestiva una tuta subacquea ricoperta di sensori. Da questa prima applicazione si comprese che il MoCap sarebbe presto diventato uno strumento essenziale nel mondo del cinema.
Il primo lungometraggio ad essere girato interamente in Motion Capture è The Polar Express. La particolarità di questo film è la grande attenzione che è stata rivolta al volto degli attori per riprodurre fedelmente tutte le espressioni sui volti dei personaggi. Ben 150 marcatori sono stati applicati sui loro volti aderendo su tutta la muscolatura. Solo l’applicazione ha preso quasi due ore di preparazione.
La particolarità del film King King del 2005 è stato il convertire i movimenti umani nei movimenti propri dei gorilla: per ciascuna parte del corpo umano che ha un marcatore su di esso, un particolare software determina un punto corrispondente sul corpo di un gorilla.
Nel film dei Pirati dei Caraibi, all’attore che interpreta il capitano Davy Jones, è stato applicato un particolare colore intorno agli occhi, per riprenderne la reale conformazione fisiologica e per realizzare una corretta illuminazione. Questo materiale è stato messo anche sulla bocca per riprodurre il movimento facciale dovuto al forte accento scozzese del personaggio.
Per lo strano caso di Benjamin Button, si è dovuti ricorrere ad una particolare tecnica di MoCap, dato che la numerosa quantità di marcatori sul volto avrebbero condizionato le performance dell’attore. La tecnologia utilizzata è stata quella dell’azienda MOVA, che consiste in una speciale polvere che rileva piccoli dettagli come le rughe d’espressione nei minimi dettagli.
Nel 2009 il film Avatar utilizza delle tecnologie e dei software avanzati per ricreare nel dettaglio il sistema scheletrico e muscolare dei personaggi, in modo da renderli ancora più realistici. E’ stata posizionata una videocamera ad alta definizione davanti al volto dell’ attore su cui sono stati applicati anche dei marcatori per tracciare ogni sfumatura delle espressioni facciali.
Un altro esempio di MoCap facciale è il film Tron:Legacy, in cui si presenta il caso opposto a quello di Benjamin Button, il volto dell’attore Jeff Bridges deve essere ringiovanito. Per questo motivo, dopo una scansione, è stato ricostruito uno stampo del suo volto con 143 fori per l’inserimento dei marcatori. L’attore indossa la maschera ed un particolare elmetto con quattro telecamere HD con cui i movimenti del suo volto sono trasferiti ad un computer. Questo è il primo film ad usare la tecnologia con l’Helmet Mounted Camera in live action, permettendo all’attore di interagire con gli altri sulla scena.
Invece per la realizzazione di Ted, l’attore che ha interpretato l’irriverente orsacchiotto, indossando una particolare tuta, ha recitato sul set, fuori dal campo visivo della videocamera, e non è stato necessario inserirlo in un ambiente monitorato. La tuta,infatti, ha consentito di avere delle immagini digitalizzate in tempo reale.
Parlando di videogiochi ricordiamo Beyond: Two Souls interpretato da Ellen Page e Willem Dafoe, due attori conosciuti a livello internazionale che nel gioco dovevano mantenere la fisionomia del loro volto. Per questo motivo il sistema di camere per la ripresa dei movimenti facciali è stato potenziato e integrato con Blade, un innovativo data capture e strumento leader nell’ elaborazione dei dati raccolti dai marcatori di posizione.
Nel 2014, il film Dawn of the Planet of the Apes, ha portato la Motion capture ad un livello successivo, da una tecnologia passiva ad una attiva. Infatti è stato sviluppato un sistema che usa delle luci LED poste all’interno della tuta che consente di realizzare performance di alto livello e di girare le scene di MoCap all’aperto. Inoltre, anche nelle scene d’azione, non c’è il rischio che i marcatori cadano dalla tuta e che si perdano dati importanti del movimento.
Nel 2014 troviamo anche ne Lo Hobbit alcuni attori conosciuti che interpretano personaggi orribili come The Great Goblin e il drago Smaug
Oggi La tecnica della motion Capture viene molto usata anche nei film di animazione come Dragon Trainer 2, anche qui c’è la volontà di rendere i personaggi sempre più realistici e dettagliati.
La tecnica del Motion Capture ha consentito di portare sul mercato film dai contenuti innovativi e dalle scenografie spettacolari come mai si erano viste prima. Ma la parte più divertente è che può essere realizzato in casa e molte persone mostrano sui social le loro abilità nel muovere il loro personaggio.
Guarda anche il nostro prossimo breve “HOW TO” video per avere un’ idea su come registrare un MoCap facile fatto in casa!
https://fronteffects.wordpress.com/2015/06/09/how-to-homemade-facial-motion-capture/
Gruppo di lavoro: INSIDE OUT
Autori: POLLINA Flavia Beatrice, ROLLO Manoj, SOLLI Elena
Front Effects - VFX curiosities and Making of 