Voice activity detection from gaze in video mediated communication Michal Hradis, Shahram Eivazi, Roman Bednarik Vysoké učení technické v Brně, Fakulta.

Prezentace na téma: "Voice activity detection from gaze in video mediated communication Michal Hradis, Shahram Eivazi, Roman Bednarik Vysoké učení technické v Brně, Fakulta."— Transkript prezentace:

1 Voice activity detection from gaze in video mediated communication Michal Hradis, Shahram Eivazi, Roman Bednarik Vysoké učení technické v Brně, Fakulta informačních technologií v Brně Božetěchova 2, 612 66 Brno zemcik,ihradis,herout@fit.vutbr.cz 2.12.2010

2 Data Záhlaví (99.99.9999)2

3 Úloha Pro každého účastníka určit, jestli mluví. Pouze na základě pohledových dat. Záhlaví (99.99.9999)3

4 Přístup SVM klasifikátor RBF jádro mluví x nemluví zvlášť pro každého účastníka příznaky z krátké minulosti extrahované zvlášť pro každého účastníka Záhlaví (99.99.9999)4

5 5 člověk zájmu ostatní lidi vše ostatní okno anotace - predikcepohledová data počet fixací průměrná délka fixace průměrná vzdálenost fixací + počet lidí, na které se podíval

6 Výsledky Záhlaví (99.99.9999)6 okna 1, 2, 3 anotace - predikcepohledová data Baseline EER =28 % Spojená okna 200 ms, 400 ms, 600 ms a 800 ms Lineární 13 % RBF 11%

7 D-META evaluace (http://d-meta.inrialpes.fr/) Task: Conversational engagement prediction Aktuálně se připravuje Call for papers (konference je v US  ) Určení úrovně zapojení člověka ve vedlejší místnosti do konverzace: No interest, Following, Responding, Conversing, Influencing, Managing Předběžné termíny: 19-Mar-2012 Data set annotation is released 31-Jul-2012 Paper deadline 24-Aug-2012 Author notiffication 14-Sep-2012 Camera-ready Oct-2012 Work presented atD-META'12 Záhlaví (99.99.9999)7

8 RBM – restricted boltzman machine Záhlaví (99.99.9999)8 h v

9 Nápověda tagů (TRECVID) Záhlaví (99.99.9999)9

10 CRBM – conditional RBM Záhlaví (99.99.9999)10 h vc