ΒΙΝΤΕΟ ΚΑΙ ΒΙΝΤΕΟ ΚΑΙ ΚΙΝΟΥΜΕΝΑ ΓΡΑΦΙΚΑΚΙΝΟΥΜΕΝΑ ΓΡΑΦΙΚΑ

ΒΙΝΤΕΟ ΚΑΙ ΒΙΝΤΕΟ ΚΑΙ ΚΙΝΟΥΜΕΝΑ ΓΡΑΦΙΚΑΚΙΝΟΥΜΕΝΑ ΓΡΑΦΙΚΑ

Αντικείμενο μαθήματος• Εισαγωγή• Αναπαράσταση Βίντεο• Ψηφιακό βίντεο• Σύλληψη και Συμπίεση• Πρότυπα βίντεο• Επεξεργασία

Βίντεο και Κινούμενα Γραφικά

“ … Since multimedia gives you the ability to present information in a variety of ways, let the content drive the selection of media for each chunk of information to be presented. Use traditional text and graphics where appropriate; add animation when “still life” won’t get your message across; add audio when further explanation is required; resort to video only when all other methods pale by comparison …” [David Ludwig, Interactive Learning Designs]

Τι είναι βίντεο???• Η ‘ψευδαίσθηση’ της κινούμενης

εικόνας που προκαλείται από την ταχεία προβολή μιας σειράς ανεξάρτητων εικόνων.

• Οι (μικρές) διαφορές ανάμεσα στις εικόνες γίνονται αντιληπτές σαν κίνηση των στοιχείων της εικόνας.

• Η ταχύτητα προβολής πρέπει να ξεπερνά τις 40 εικόνες το δευτερόλεπτο

• Μικρότερη ταχύτητα προκαλεί την αίσθηση τρέμουλου (flickering)

Που χρησιμοποιείται το βίντεο??

• Εκπαίδευση • Κατάρτιση με Η/Υ (Αναπαράσταση

εργασιακών πρακτικών )• Διαφήμιση & Προώθηση Προϊόντων• Διασκέδαση • Τηλεδιάσκεψη

ΜΕΓΑΛΥΤΕΡΗ ΕΠΙΔΡΑΣΗ ΣΤΟ ΑΚΡΟΑΤΗΡΙΟ ΑΠΟ ΑΛΛΑ ΜΕΣΑ

• Βασικές έννοιες– Πλαίσια και γραμμές σάρωσης– Αίσθηση του «βάθους»– Φωτεινότητα (luminance) και Χρωματότητα

(chrominance)• Η διάσταση του χρόνου (διακοπή φωτός ανάμεσα σε

frames)

– Συνέχεια της κίνησης– «Τρεμόσβημα» (flicker)

Αναπαράσταση σήματος βίντεο - Ι

Αναπαράσταση σήματος βίντεο - ΙI

• Αναλογικό Βίντεο– Δομή σήματος

• Αποτελείται από πλαίσια• Κάθε πλαίσιο αποτελείται από έναν αριθμό οριζόντιων

γραμμών σάρωσης• Υπάρχουν διαφορετικοί τρόποι αναπαράστασης

χρωμάτων

– Ρυθμός πλαισίων• Ο αριθμός των πλαισίων που παράγονται από

ένα σήμα βίντεο ανά sec• Τυπικές τιμές: 25-75 πλαίσια/sec• Όχι τρεμόσβημα όταν > 40 πλαίσια/sec• Ελάχιστο όριο για ανθρώπινο μάτι:

15 πλαίσια/sec

– Πλήθος γραμμών σάρωσης• Σταθερό γιά όλα τα πλαίσια.• Ρυθμός σάρωσης (scan rate): (# γραμμών σάρωσης) *

(ρυθμός πλαισίων)

Αναπαράσταση σήματος βίντεο - ΙII

• Aspect ratio– Πλάτος προς ύψος οθόνης τυπικές τιμές 4:3 (TV),

2:1 (movies)

• Σύμπλεξη– Τεχνική για μείωση των προβλημάτων που προκύπτουν

από χαμηλό ρυθμό πλαισίων– Τα πλαίσια χωρίζονται σε αυτά που αποτελούνται από

τις «μονές» γραμμές σάρωσης και σε αυτά που αποτελούνται από τις «ζυγές»

• Κατά την παρουσίαση, πρώτα παρουσιάζεται στην οθόνη η πρώτη ομάδα, ακολουθούμενη από τη δεύτερη. Αυτό δίνει την εντύπωση ότι η ανανέωση (refresh) της οθόνης γίνεται σε διπλάσιο από τον πραγματικό ρυθμό. Ο παραπάνω ρυθμός σύμπλεξης λέγεται 2:1 (λόγω των δύο μερών στα οποία χωρίζεται ένα πλαίσιο) και είναι ο πιο συνηθισμένος

Κωδικοποίηση Χρωμάτων - Μοντέλα• Κωδικοποίηση χρώματος σε ένα σήμα βίντεο

– Διάφορα μοντέλα (βλέπε γραφικά)– Component Vs. Composite signal– Περιπτώσεις μετάδοσης

• Ένα σήμα φωτεινότητας - luminance: brightness of pixel• Δύο σήματα χρωματότητας - chrominance: color (hue) and

depth of color (saturation) for a pixel

• Βασικά μοντέλα– RGB (Red-Green-Blue) σήμα

• CRT displays– YUV σήμα

• Το ανθρώπινο μάτι είναι πιό ευαίσθητο στην φωτεινότητα παρά στη χρωματότητα. Αντί να διαχωρίζουμε χρώματα (βλ. RGB), διαχωρίζουμε πληροφορία σχετική με τη φωτεινότητα (luminance channel Y) από εκείνη που σχετίζεται με τη χρωματότητα (chrominance channels U and V)

– YIQ σήμα• Παρόμοια, luminance channel Y & chrominance channels I

and Q

Τύποι σήματος αναλογικού βίντεο

• NTSC (National Television Systems Committee) – Αμερικάνικο πρότυπο – 525 γραμμές σάρωσης, 30 πλαίσια/sec– Κάθε πλαίσιο χωρίζεται σε 2 πεδία (σύμπλεξη) από 262,5

γραμμές, από τις οποίες 20 χρησιμοποιούνται για πληροφορίες ελέγχου

– Επομένως, το οπτικό πεδίο αποτελείται από μόνο 485 γραμμές σάρωσης

• PAL (Phase Alternation Line) – Ευρωπαϊκό πρότυπο – 625 γραμμές σάρωσης (576 εικόνα), 25 πλαίσια/sec – Κάθε πλαίσιο χωρίζεται σε 2 πεδία (σύμπλεξη) από 312,5

γραμμές – 20% περισσότερες γραμμές σάρωσης σε σχέση με το

NTSC • SECAM (Sequential Couleur Avec Memoire)

– Γαλλικό πρότυπο – Όπως το PAL, αλλά βασισμένο σε frequency (και όχι

amplitude) modulation

Ψηφιακό Βίντεο - Ι

CPUPeripheral Devices

SurfaceMemory

VideoController

Monitor

System Bus

FrameBuffer

• Συνήθης αρχιτεκτονική (για raster display)

• O video controller παρουσιάζει την εικόνα που υπάρχει στον frame buffer κάνοτας χρήση της μνήμης. Για επιτυχημένο refresh rate o VC σαρώνει τις γραμμές των frames (1 γραμμή ανά μονάδα χρόνου, τυπικά: 60 times/sec).

Ψηφιακό Βίντεο - ΙΙ• Ρυθμός δεδομένων

– Υψηλός (επαγγελματική επεξεργασία, σχεδόν καθόλου συμπίεση)

– Χαμηλός (εφαρμογές με διάδραση ή/και μετάδοση σε μεγάλες αποστάσεις, χρήση τεχνικών συμπίεσης)

• Τύποι βίντεο χαμηλών ρυθμών δεδομένων– DVI (Digital Video Interactive)

• Από την Intel, υιοθετημένο από την IBM

– MPEG (Moving Pictures Expert Group)• ISO standard• Κωδικοποίηση όχι μόνο βίντεο αλλά και ήχου

– JPEG (Joint Photographic Experts Group)• ISO standard• Motion JPEG

Video Controller Standards

• CGA (Color Graphics Adapter)– Ανάλυση 320 * 200 pixels, ταυτόχρονη παρουσία 4 χρωμάτων– Storage capacity per image:

(320*200 pixels) * (2 bits/pixel) / (8 bit/byte) = 16 Kbytes

• EGA (Enhanced Graphics Adapter)– Ανάλυση 640 * 350 pixels, ταυτόχρονη παρουσία 16

χρωμάτων– Storage capacity per image:

(640*350 pixels) * (4 bits/pixel) / (8 bit/byte) = 112 Kbytes

• VGA (Video Graphics Array)– Ανάλυση 640 * 480 pixels, ταυτόχρονη παρουσία 256

χρωμάτων– Storage capacity per image:

(640*480 pixels) * (8 bits/pixel) / (8 bit/byte) = 307,2 Kbytes

• SVGA (Super VGA)– Ανάλυση 1024 * 768 pixels, 24 bits/pixel για χρώμα– Storage capacity per image:

(1024*768 pixels) * (24 bits/pixel) / (8 bit/byte) = 2,36 Mbytes

Σύλληψη Βίντεο• άμεσα από κάμερα

• έμμεσα από συσκευή εγγραφής video(Video Tape Recorder, VTR)

• από σταθμό εκπομπής

Συμπίεση Βίντεο• 1 λεπτό true color video (3 bytes) με πλαίσιο 640480

και ρυθμό μετάδοσης 30fps απαιτεί χώρο αποθήκευσης: – 640 480 3 30 60 = 1,65 Gbyte !!!

• Codecs (compressor – decompressors)– συσκευές που χρησιμοποιούνται για την συμπίεση /

αποσυμπίεση ψηφιακού βίντεο • Hardware codecs

– Σύλληψη βίντεο και αποθήκευση στον Η/Υ – Αναπαραγωγή (παίξιμο) στην οθόνη

• Software codecs – Δεν απαιτούν την ύπαρξη ειδικού hardware– Είναι συνήθως βραδύτεροι από τα hardware codecs – Απαιτούν αποσυμπίεση και επανασυμπίεση του βίντεο

MPEG – Μoving Pictures Expert Group

• Χρησιμοποιείται για βίντεο και ήχο • Διάφορα MPEG πρότυπα (MPEG-1, MPEG-2,

MPEG-4, MPEG-7, …)• Το MPEG-1 επιτυγχάνει ρυθμούς της τάξης των

1.2 Mbits/sec (τυπικός ρυθμός δεδομένων για CD-ROMs), ενώ το MPEG-2 ρυθμούς της τάξης των 40 Mbits/sec (τυπικός ρυθμός δεδομένων για HDTV)

• Στηρίζεται στην απωλεστική χωρική και χρονική συμπίεση

• Είναι κατάλληλο τόσο για συμμετρική όσο και ασύμμετρη συμπίεση

MPEG - Κωδικοποίηση εικόνας

• Για καλή απόδοση συμπίεσης αλλά και τυχαία προσπέλαση στο βίντεο (στόχοι από τη φύση τους αντικρουόμενοι), η MPEG τεχνική διαχωρίζει τα πλαίσια ενός βίντεο σε κατηγορίες: – Πλαίσια-Ι (Intracoded frames), τα οποία είναι ακίνητες εικόνες – Πλαίσια-P (Predictive-coded frames), τα οποία περιέχουν τις

διαφορές (λόγω κίνησης) από τα αμέσως προηγούμενα I ή P στην ακολουθία των εικόνων.

– Πλαίσια-B (Bi-directionally predictive-coded frames), τα οποία κωδικοποιούνται σε συνάρτηση με πληροφορίες από προηγούμενα αλλά και επόμενα Πλαίσια-Ι ή/και Πλαίσια-Ρ (πρόκειται για παρεμβολές μεταξύ των Ι και P πλαισίων)

– Πλαίσια-D (DC-coded frames), στα οποία είναι κωδικοποιημένοι (intraframe-encoded) μέσω της μεθόδου DCT μόνο οι συντελεστές DC μιας εικόνας (οι συντελεστές AC παραλείπονται) και χρησιμοποιούνται για “fast forward” και “rewind” του βίντεο

• Στην ακολουθία των εικόνων τα I πλαίσια παρεμβάλλονται κάθε 10 ή 12 καρέ, ενώ τα Β δημιουργούνται (από το προηγούμενο και το επόμενο στην ακολουθία πλαίσια) σε τυχαία χρονικά διαστήματα

Πλαίσια I, P, B

Υβριδικές τεχνικές: ΜPEG - ΙΙΙ• Κωδικοποίηση εικόνας (συν.)

– Η σειρά με την οποία τα διάφορα πλαίσια προβάλλονται δεν είναι κατ’ ανάγκη η ίδια με αυτή που αποκωδικοποιούνται

– Π.χ., αν ένα Πλαίσιο-Ρ πρέπει να προβληθεί μετά από ένα Πλαίσιο-Β και το πρώτο χρησιμοποιείται για την κωδικοποίηση του δευτέρου, τότε η σειρά αποκωδικοποίησης είναι αντίστροφη από αυτή της προβολής

Σειρά προβολής

B B I B B P B B P B B P

# 0 1 2 3 4 5 6 7 8 9 1011

Σειρά αποκωδικοποίησης

I B B P B B P B B P B B

# 2 0 1 5 3 4 8 6 711

910

Άσκηση

• Ένα σύστημα κωδικοποίησης βίντεο MPEG, χρησιμοποιεί την ακολουθία πλαισίων:– Ι Β Β P B B P B B P B B I

• α) πόσο είναι το prediction span και το GOP;

• β)ποια είναι η σωστή σειρά αποκωδικοποίησης;

Digital Video File Formats

• Quicktime – Quicktime Movie

• Video for Windows – Avi

• MPEG– Movie Picture Experts Group

• DV • Firewire

– IEEE1349• Open DML • OMF (Open Media File Format)

Επεξεργασία ψηφιακού βίντεο

• Μοντάζ – Επεξεργασία πλάνων (κόψιμο, ράψιμο)– Μεταβάσεις (transitions)– Επικαλύψεις – Μίξη ήχου

• Adobe Premiere, Ulead Media Studio Pro• Post-Production

– Αλλαγές και διορθώσεις στομονταρισμένο υλικό

Προετοιμασία για multimedia

• Μείωση του μεγέθους των πλαισίων – Η εικόνα δεν καταλαμβάνει ολόκληρη την

οθόνη

• Μείωση του ρυθμού μετάδοσης πλαισίων – Από 30 fps σε 15 fps

• Μείωση του βάθους χρώματος – Από 24 στα 8 bits

• Μείωση της ποιότητας της εικόνας – Μεγαλύτερη συμπίεση

Κινούμενα Γραφικά• Απεικόνιση κάποιων αντικειμένων καθώς μεταβάλλονται

με το χρόνο – Δημιουργία διαφορετικών μορφών για κάθε τέτοιο

αντικείμενο • Με φυσικό τρόπο (π.χ. συνεχής φωτογράφηση του) • Με τεχνητό τρόπο (μέσω του κατάλληλου

λογισμικού)

Μοντέλα Κινούμενων Γραφικών

• Cel Animation • Βασίζονται στην παλιά τεχνική όπου η δημιουργία κινουμένων

σχεδίων γινόταν μέσω της απεικόνισης ενός αντικειμένου σε πολλά ξεχωριστά κομμάτια χαρτί (συνήθως, ειδικές ζελατίνες – celluloid sheets) - Η μορφή του αντικειμένου διαφέρει λίγο από χαρτί σε χαρτί, και το γρήγορο «ξεφύλλισμά» τους δίνει την αίσθηση της κίνησης

• Μοντέλα με βάση τη σκηνή • Τα κινούμενα γραφικά αποτελούνται από διαφορετικές σκηνές, που η

μία αποτελεί (χρονική) συνέχεια της άλλης - Σχεδίαση γραφικών με βάση συγκεκριμένα χρονικά σημεία, και όχι με βάση κάποια γεγονότα

• Μοντέλα με βάση τα γεγονότα• Η κάθε σκηνή δεν σχεδιάζεται από την αρχή, αλλά σαν διαφορά από

την προηγούμενη • Π.χ. αναπήδημα μιας μπάλας σε ένα δωμάτιο: «με βάση τη σκηνή»,

ένας αριθμός από διαφορετικά πλαίσια – «με βάση τα γεγονότα», ένα πλαίσιο μαζί με μια σειρά από αλλαγές σε αυτό

Μοντέλα Κινούμενων Γραφικών (συν.)

• Μοντέλα Πλαισίων – Κλειδιά• Ορίζονται δύο ή περισσότερα πλαίσια-κλειδιά (π.χ., για

την αρχική και τελική θέση της κίνησης ενός αντικειμένου), και το λογισμικό κατασκευάζει αυτόματα τα υπόλοιπα πλαίσια που απαιτούνται

• Μέθοδος παρεμβολής (interpolation)• Ιεραρχικά Μοντέλα

• Επέκταση του προηγούμενου τύπου γραφικών. Εδώ, γίνεται επιπλέον ιεράρχηση των αντικειμένων που βρίσκονται στα πλαίσια-κλειδιά, καθορίζοντας ποια αποτελούν μέρη ποιών, και εισαγωγή περιορισμών που αφορούν την κίνηση ενός αντικειμένου σε σχέση με κάποιο άλλο

• Π.χ., ρολόι: οι δείκτες αποτελούν μέρος του, δεξιόστροφη κίνηση, κλπ.

Μοντέλα Κινούμενων Γραφικών (συν.)

• Διαδικαστικά Μοντέλα • Το περιβάλλον δημιουργίας κινουμένων γραφικών

είναι εφοδιασμένο με μια πλήρης γλώσσα προγραμματισμού (π.χ., ASAS, βασισμένη στη LISP)

• Εντολές εκλογής υπό συνθήκη, επανάληψης κλπ. αλλά και ειδικές εντολές του τύπου «κλείσε/άνοιξε πόρτα», «πέτα μπάλα», κλπ. (αυτόματη δημιουργία των σχετικών κινήσεων, τροχιών κλπ.)

• Εμπειρικά και Φυσικά Μοντέλα• Για απεικόνιση φυσικών αντικειμένων (π.χ.,

σύννεφα, κύματα, κλπ.) • Η κίνησή τους υπολογίζεται από τα αντίστοιχα

φυσικά μοντέλα

Επεξεργασία Κινούμενων Γραφικών • Έλεγχος κίνησης και παραμέτρων

• Αντίθετα με τις εικόνες και τα (ακίνητα) γραφικά, εδώ έχουμε μεταβολή πλαισίων με την πάροδο του χρόνου

• Καθορισμός της διαφοροποίησης της κίνησης ενός αντικειμένου ή κάποιας άλλης ιδιότητάς του (π.χ., η σκιά ενός αντικειμένου καθώς αυτό κινείται σε σχέση με μια πηγή φωτός)

• Μετατροπή σε βίντεο• Με τη γνωστή μέθοδο της δειγματοληψίας,

επιτυγχάνεται μετατροπή των κινούμενων γραφικών σε βίντεο

• Για ικανοποιητική ποιότητα, χρειάζονται τουλάχιστον 10-15 πλαίσια/sec

• Παραγωγή βίντεο σε πραγματικό (καθώς προβάλλονται τα πλαίσια) ή μη πραγματικό χρόνο (όπου δίνεται παραπάνω χρόνος σε μεμονωμένα πλαίσια)

• Αναπαραγωγή • Κατά την αναπαραγωγή («παίξιμο») των κινουμένων

γραφικών, είναι δυνατόν να υποβληθούν τα πλαίσια σε περαιτέρω επεξεργασία

• Περισσότερος ή λιγότερος φωτισμός, εξαφάνιση ή εμφάνιση κάποιων αντικειμένων, κλπ.