Week 2

Terug: PRE_Groep2

---

Samenvatting van de gevonden artikelen over kenmerken van emoties

Source: Emotions and Speech: some acoustic correlates

Williams, C. E., & Stevens, K. N. (1972). Emotions and speech: Some acoustical correlates. The Journal of the Acoustical Society of America, 52(4B), 1238-1250.

Below the fundamental frequency is stated for the emotions anger, sorrow and fear. We will not make use of the neutral emotion. The most important features of a sentence for each emotion is discussed and the fundamental frequency is compared between the different emotion.

We will briefly explain each graph. Anger: The contour shapes for utterances produced in anger situations showed an F0 that was generally higher throughout the utterances, suggesting that they were generated with greater emphasis. Furthermore, one or two syllables in each phrase were characterized by large peaks in F0, again indicating strong emphasis on these syllables. Although the excursions in F0 were quite great, there appeared to be a relatively smooth overall contour with one or two major peaks, but with no large discontinuities. Sorrow: The contouers for the utterances made in situations involving the emotion sorrow were relatively flat with few fluctuations, and the F0 was usually lower than that for neutral situations. For Voice B (fig.1), there was a slow falling contour during the first half of the utterance, and a more level contour towards the end. Fear: The contours for utterances made in fear situations often departed from the prototype shape for neutral situations. Occasionally there were rapid up-and-down fluctuations within a voiced interval, as in cluster 4 for voice B. Sometimes sharp discontinuities were noted from one syllable to the next. In the graph below the median fundamental frequency is stated of the three emotions based on the recordings of three voices. This can be seen as a recap of the results that they find on the fundamental frequency.

In the next table the mean rate of articulation for each emotion is shown.

Some of the findings of the article were difficult to interpret because the pictures of the findings were not always readable. However at the end of the article there was a summary of the findings for each emotion. This will be discussed below. Anger: the most consistent and striking acoustic manifestation of the emotion anger was a high F0 that persisted throughout the breath group. This increase was, on the average, at least half an octave above the F0 for a neutral situation. The range of F0 observed for utterances spoken in anger situations was also considerably greater than the range for the neutral situations. Some syllables were produced with increased intensity or emphasis, and the vowels in these syllables had the highest fundamental frequency. These syllables also tended to have weak first formants, and were often generated with some voicing irregularity (i.e., irregular fluctuations from one glottal pulse to the next). The basic opening and closing articulatory gestures characteristic of the vowel-consonant alternation in speech appeared to be more extreme when a speaker was angry. The vowels tended to be produced with a more open vocal tract (and hence to have higher first-formant frequencies), and the consonants were generated with a more clearly defined closure.

Fear: The average F0 for fear was lower than that observed for anger, and for some voices it was close to that for the utterance spoken in neutral situations. There were however occasional peaks in the F0 that were much higher than those encountered in a neutral situation. These peaks were interspersed with regions where the pitch the F0 was in a normal range. The pitch contours in the vicinity of the peaks sometimes had unusual shapes and voicing irregularities was sometimes present. The duration of an utterance tended to be longer than in the case of anger or neutral situations. As was observed for anger, the vowels and consonants produces in fear situation were often more precisely articulated than they were in a neutral situation. Although these various characteristics were found for some of the utterances of some voices, observations of spectrograms revealed no clear and consistent correlate for the emotion fear. Sorrow: The average F0 observed for the actors speaking in sorrow situations was considerably lower than that for neutral situations and the range of F0 was unusually quite narrow. This change in F0 was accompanied by a marked decrease in rate of articulation and an increase in duration of an utterance. The increased duration resulted from longer vowels and consonants and from pauses that were often inserted in a sentence. Perhaps the most striking effect on the wide-band spectrogram was voicing irregularity. On occasion the voicing irregularity reduced simply to noise: i.e., the voiced sounds became whispered in effect.

Article: Analysis of Emotion Recognition using Facial Expressions, Speech and Multimodal Information

Busso, C., Deng, Z., Yildirim, S., Bulut, M., Lee, C. M., Kazemzadeh, A., ... & Narayanan, S. (2004, October). Analysis of emotion recognition using facial expressions, speech and multimodal information. In Proceedings of the 6th international conference on Multimodal interfaces (pp. 205-211). ACM.

In this article there are no specific measurements given to program certain emotions. However they do state which characteristics are mostly used in by other researchers to determine an emotion. We will list these characteristics, because it is useful to know where we should emphasize on in a sentence.

Most researchers have used global suprasegmental/prosodic features as their acoustic cues for emotion recognition, in which utterance-level statistics are calculated. For example, mean, standard deviation, maximum, and minimum of pitch contour and energy in the utterances are widely used features in this regard. Dellaert et al. attempted to classify 4 human emotions by the use of pitch-related features. They implemented three different classifiers: Maximum Likelihood Bayes classifier (MLB), Kernel Regression (KR), and K-nearest Neighbors (KNN). The main limitation of those global-level acoustic features is that they cannot describe the dynamic variation along an utterance. To address this, for example, dynamic variation in emotion in speech can be traced in spectral changes at a local segmental level, using short-term spectral features. 13 Mel-frequency cepstral coefficients (MFCC) were used to train a Hidden Markov Model (HMM) to recognize four emotions. Nwe et al. used 12 Mel-based speech signal power coefficients to train a Discrete Hidden Markov Model to classify the six archetypal emotions. The average accuracy in both approaches was between 70 and 75%. Finally, other approaches have used language and discourse information, exploring the fact that some words are highly correlated with specific emotions.

We tried all researches that are listed in the text above. Some of them we were not able to find or we could not have access to them. Others turned out to be unusable for our research. However we did found some useful articles, for example the article that was discussed earlier.

Article: Emotive Qualities in Robot Speech

Breazeal, C. (2001). Emotive qualities in robot speech. In Intelligent Robots and Systems, 2001. Proceedings. 2001 IEEE/RSJ International Conference on (Vol. 3, pp. 1388-1394). IEEE.

Fearful speech: is very fast with wide pit& contour, large pitch variance, very high mean pitch, and normal intensity. I have added a slightly breathy to the voice as people seem to associate it with a sense of trepidation. Angry speech: is loud and slightly fast with a wide pitch range and high variance. We've purposefully implemented a low mean pitch to give the voice a prohibiting quality. This makes sense as it gives the voice a threatening quality.

Sad speech: has a slower speech rate, with longer pauses than normal. It has a low mean pitch, a narrow pitch range and low variance. It is softly spoken with a slight breathy quality (it gives the voice a tired quality). It has a pitch contour that falls at the end.

Happy speech: it is relatively fast, with a high mean pitch, wide range, and wide pitch variance. It is loud with smooth undulating inflections.

There were other emotions discussed, but we are not going to implement those emotions. Therefor they were not stated here.

Article: EMOTIONS IN THE VOICE: HUMANISING A ROBOTIC VOICE=

Bowles, T., & Pauletto, S. (2010). Emotions in the voice: humanising a robotic voice. In Proceedings of the 7th Sound and Music Computing Conference, Barcelona, Spain.

In this article three important characteristics are stated. They will be explained below. Phrase duration: Figure 1 shows the average duration of each phrase. Higher bars indicated longer duration and, when comparing the four emotional versions of the same phrase, a slower speech rate, whereas shorter bars indicate a shorter duration and, when considering different versions of the same phrase, a faster speech rate.

We looked at how each emotional phrase deviates from its neutral version and we noted that the phrases involving only monosyllabic or short words saw the greatest reduction in duration for the angry and happy phrases (-20% and below the duration of the neutral phrase). In the cases of phrases 1, 3 and 8, the average angry and happy phrases were slower than their equivalent neutral voices. Half of the sad phrases saw over a 20% increase in duration, whereas the short words phrases (phrases 5, 6 and 7) saw an increase in duration between 10-20%. The average length of pauses per phrase was also measured. The sad phrases saw the longest overall pauses with 5 out of the 8 sad phrases having the longest phrase duration. Half of the happy phrases contained pauses that were longer than the angry equivalent, whereas only angry phrases 2 and 5 contained pauses that were longer than their happy equivalent

Pitch analysis: In order to investigate the emotional changes in pitch, the maximum peak in fundamental frequency (F0), the number of pitch contours (or pitch variations) per phrase and the direction of pitch contours were examined. Figure 2 shows the average maximum peak of F0 for each phrase

For all phrases, anger and happiness have high F0 peaks, while sadness has low F0 peaks. With the exception of phrase 4, anger phrases have the highest peak fundamental frequency of the 3 emotions. The average maximum peak frequency range of the angry phrases sits between 246Hz-281Hz, with 6 out of the 8 phrases averaging above 250Hz. The happy phrases have a range of 225Hz-269Hz, with 2 of the 8 phrases averaging above 250Hz. The sad phrases have lowest fundamental frequency peaks, operating within a range of 143Hz-186Hz. Overall, the variation in the number of pitch contours was dependent on the type of phrase. Some of the angry phrases saw the greatest increase in the number of pitch contours, while the happy phrases showed greater variation between increases and decreases, from phrase to phrase. The sad phrases generally saw a decrease in the number of pitch contours, with two exceptions. The average direction of pitch contours per phrase was calculated by counting every upward curve as a positive value (+1) and every downward directed contour as a negative value (-1). The result for each phrase was totaled and an average obtained. The majority of the neutral phrases contained downward directed pitch contours. The majority of the angry phrases contained more downward directed pitch contours, whereas the happy phrases varied between having upward directed or downward directed pitch contours. The majority of the sad phrases contained downward directed contours.

Amplitude analysis: Figure 3 shows the average maximum amplitude peak for each of the 8 phrases based upon the actors’ performances.

We can see that for all the phrases, anger and happiness have the high peaks, while sadness have low peaks. The sad phrases had the lowest maximum amplitude peaks, with all of the sad phrases peaking below 95dB. All the angry phrases and 7 out of 8 happy phrases had peaks that exceeded 100dB.

Meeting donderdag 11-09-2014

Tijdens onze bespreking op donderdag 11 september kwamen we erachter dat het onderzoek wat wij wilden uitvoeren niet echt vernieuwend is. Onze onderzoeksvraag was: In hoeverre is het mogelijk om emoties te geven aan een robotstem? Uit literatuuronderzoek bleek dat dit mogelijk is, er zijn al veel onderzoeken gedaan naar welke kenmerken bepalend zijn voor bepaalde emoties en er is getest of mensen de emoties kunnen herkennen. De nauwkeurigheid waarmee mensen dit kunnen herkennen ligt voor de meeste emoties al rond de 70 procent. De vraag is of wij dit percentage kunnen verbeteren in zo'n korte tijd, en wij denken van niet. Onze huidige plan is daarmee dus niet echt vernieuwend en we vroegen ons af wat ons onderzoek dan bij zou dragen. Om deze reden zijn we verder gaan brainstormen over wat we dan wel kunnen onderzoeken. De volgende ideeën kwamen hieruit naar voren:

• Meer focussen op het user-onderzoek. En dan niet alleen kijken naar of mensen emoties kunnen herkennen in een robotstem, maar ook of dit invloed heeft op hoe ze tegenover de robot staan/ of ze het fijner vinden dat een robot met emoties praat.

• Wat we tot nu toe uit de literatuurstudie hebben gehaald is dat er op dit moment alleen getest is of mensen emoties kunnen herkennen in neutrale zinnen (waarin de context niet verwijst naar emotie). In de toepassing van emoties van een robotstem is het echter waarschijnlijker dat een robot een zin met emotie wil uitspreken als deze ook in de context emotionele waarde heeft. Mogelijk onderzoek wat wij kunnen doen is dan kijken of emotie toevoegen aan een zin die emotionele context heeft, een versterkend effect heeft op hoe de luisteraar de zin ervaart.

• De emoties boos en blij zijn nu nog moeilijk te onderscheiden in robotspraak. We zouden kunnen kijken of wij dit kunnen verbeteren. Het is alleen onwaarschijnlijk dat wij dit wel kunnen.

Uiteindelijk hebben we voor de tweede optie gekozen, waardoor onze nieuwe onderzoeksvraag wordt:

In hoeverre is het mogelijk om een zin van een robotstem met een emotionele betekenis te versterken?

We verwachten de emotionele betekenis te kunnen versterken door signaaltechnische aanpassingen van de robotstem.

Planning aankomende tijd

	Voorkennis
	Robotstem programmeren
	Onderzoek opstellen
	Onderzoek uitvoeren
	Onderzoek verwerken

Week	Dag	Datum	Tijd						Omschrijving	Wie?
2	vr	12 sept	3 uur						Aspecten per emotie op een rijtje zetten (eventueel met waardes)	Meike
2	za	13 sept	2 uur						Uitzoeken of ons onderzoek al eerder is uitgevoerd	Iris
2	za	13 sept	4 uur						Presentatie slides maken	Meike
2	zo	14 sept	2 uur						Aspecten per emotie aanvullen en uitzoeken of ons onderzoek al eerder is gedaan	Suzanne
3	zo	14 sept	3 uur						Planning overzichtelijk uitwerken voor op de presentatie	Floor
3	ma	15 sept	1,5 uur						Bespreking voortgang	Floor + Meike + Suzanne + Iris
3	ma	15 sept	0,5 uur						Persoonlijke feedback	Floor + Meike + Suzanne + Iris
3	ma	15 sept	2 uur						Presentatie	Meike
3	ma	15 sept	2 uur						Luisteren naar presentaties	Floor + Suzanne + Iris
3	ma	15 sept	5 uur						Uitzoeken hoe de specifieke kenmerken toegepast kunnen worden in matlab	Iris + Floor
3	di	16 sept	4 uur						Opzet onderzoek maken	Suzanne
3	di	16 sept	7 uur						Kenmerken per emotie toepassen	Iris + Floor
3	wo	17 sept	4 uur						Opzet onderzoek maken	Meike
3	wo	17 sept	3 uur						Kenmerken per emotie toepassen	Iris + Floor
3	do	18 sept	6 uur						Kenmerken per emotie toepassen	Iris + Floor
3	do	18 sept	8 uur						Ideeën opzet onderzoek samenvoegen	Suzanne + Meike
3	vr	19 sept	6 uur						Kenmerken per emotie toepassen	Iris + Floor
3	za	20 sept	3 uur						Buffer	Floor + Meike + Suzanne + Iris
3	zo	21 sept	3 uur						Buffer	Floor + Meike + Suzanne + Iris
4	ma	22 sept	1,5 uur						Bespreking voortgang	Floor + Meike + Suzanne + Iris
4	ma	22 sept	0,5 uur						Persoonlijke feedback	Floor + Meike + Suzanne + Iris
4	ma	22 sept	2 uur						Meeting Coach	Floor + Meike + Suzanne + Iris
4	ma	22 sept	6 uur						Robotstem afmaken	Floor + Iris
4	di	23 sept	-						-	-
4	wo	24 sept	4 uur						Geluidsfragmenten verwerken in enquête	Suzanne + Meike
4	do	25 sept	-						-	-
4	vr	26 sept	5 uur						Enquête afmaken	Floor + Meike + Iris
4	vr	26 sept	5 uur						Enquête rondsturen	Floor + Meike + Iris + Suzanne
4	za	27 sept	3 uur						Buffer	Floor + Meike + Suzanne + Iris
4	zo	28 sept	3 uur						Buffer	Floor + Meike + Suzanne + Iris
5	ma	29 sept	1,5 uur						Bespreking voortgang	Floor + Meike + Suzanne + Iris
5	ma	29 sept	0,5 uur						Persoonlijke feedback	Floor + Meike + Suzanne + Iris
5	ma	29 sept	2 uur						Meeting Coach	Floor + Meike + Suzanne + Iris
5	di	30 sept	-						-	-
5	wo	1 okt	6 uur						Inleiding en methode schrijven	Meike + Suzanne
5	do	2 okt	6 uur						Inleiding en methode bespreken + plan opstellen om resultaten te verwerken	Floor + Meike + Suzanne + Iris
5	vr	3 okt	-						-	-
5	za	4 okt	3 uur						Buffer	Floor + Meike + Suzanne + Iris
5	zo	5 okt	3 uur						Buffer	Floor + Meike + Suzanne + Iris
6	ma	6 okt	1,5 uur						Bespreking voortgang	Floor + Meike + Suzanne + Iris
6	ma	6 okt	0,5 uur						Persoonlijke feedback	Floor + Meike + Suzanne + Iris
6	ma	6 okt	2 uur						Meeting Coach	Floor + Meike + Suzanne + Iris
6	di	7 okt	8 uur						Resultaten verwerken + discussie en conclusie schrijven	Floor + Meike + Suzanne + Iris
6	wo	8 okt	4 uur						Resultaten verwerken + discussie en conclusie schrijven	Floor + Meike + Suzanne + Iris
6	do	9 okt	8 uur						Presentatie maken en voorbereiden	Floor + Meike + Suzanne + Iris
6	vr	10 okt	4 uur						Presentatie voorbereiden	Suzanne
6	za	11 okt	3 uur						Buffer	Floor + Meike + Suzanne + Iris
6	zo	12 okt	3 uur						Buffer	Floor + Meike + Suzanne + Iris
6	zo	12 okt	4 uur						Presentatie bespreken en laatste aanpassingen doen	Floor + Meike + Suzanne + Iris
7	ma	13 okt	2 uur						Afronden project	Floor + Meike + Suzanne + Iris
7	ma	13 okt	2 uur						Final presentation	Suzanne
7	ma	13 okt	2 uur						Luisteren naar presentaties	Floor + Meike + Iris

Presentatie maandag 15-09-2014

File:Presentatie 15-09-2014.pdf

Slide 2: Vorige week

Iris en Floor hebben onderzoek gedaan naar welke mogelijkheden er zijn op het gebied van spraakprogramma’s. Uiteindelijk hebben we nu het idee laten varen om de NAO robot te gebruiken in ons onderzoek, omdat we ons alleen op de spraak richten en dat NAO niet per se een toegevoegde waarde heeft. Daarnaast hebben text-to-speech programma’s die je op je laptop af kunt spelen een grotere mogelijkheid om dingen aan te passen in het geproduceerde geluid. We hebben ervoor gekozen om Matlab te gaan gebruiken, hier kunnen veel dingen in aangepast worden en hier hebben we al eens eerder mee gewerkt.

Suzanne en Meike zijn aan de slag gegaan met het vinden van meer informatie over aspecten die kenmerkend zijn voor emotie in de stem en welke waardes deze dan hebben. We kwamen erachter dat het onderzoek wat wij wilden uitvoeren niet heel vernieuwend is, en dat het erg lijkt op wat onderzoekers voor ons ook al gedaan hebben.

Slide 3: Aanpassingen onderzoek

Daarom hebben we ervoor gekozen om onze onderzoeksvraag iets aan te passen en ons meer te gaan richten op het in de praktijk testen van onze applicatie. Uit het literatuuronderzoek bleek dat er op dit moment vooral is getest of mensen emoties kunnen herkennen in een stem met neutrale zinnen. In de praktijk is het echter waarschijnlijker dat emotie in een robotstem wordt gebruikt bij emotionele zinnen. Daarom willen we onderzoeken of het wel echt toegevoegde waarde heeft als een robotstem bij emotionele zinnen emotie gebruikt. Onze nieuwe onderzoeksvraag is daarom:

In hoeverre is het mogelijk om een zin van een robotstem met een emotionele betekenis te versterken?

In hoeverre is het mogelijk om een zin met emotionele betekenis, uitgesproken door een robotstem, ook emotioneel te laten klinken?

Om deze onderzoeksvraag te beantwoorden gaan we via Matlab een robotstem maken die een emotionele zin neutraal uitspreekt en een emotionele zin met emotie uitspreekt. We willen een online enquete af gaan nemen waarin de deelnemer de ontwikkelde geluidsfragmenten moet beoordelen m.b.v. een Likert schaal. Aan de hand van de resultaten willen we dan kijken of het toevoegen van emotie aan de stem een betere perceptie van de emotie met zich meebrengt.

Slide 4, 5 en 6: Globale en gedetailleerde planning

Om dit voor elkaar te krijgen hebben we de volgende planning opgesteld. Komende week gaan Iris en Floor met behulp van de gevonden waarden uit vorig onderzoek, een paar zinnen met en zonder emotie programmeren. Het ligt er een beetje aan hoe snel dit programmeren gaat, hoeveel emoties we gaan onderzoeken. Tegelijkertijd zullen Suzanne en ik gaan werken aan de opzet van het uit te voeren gebruikersonderzoek. Als de robotstem af is zullen we deze geluidsfragmenten in de enquête verwerken. Aan het einde van week 4 gaan we de enquête versturen en promoten om zo veel mogelijk deelnemers te krijgen. In week 5 worden de enquêtes ingevuld en beginnen we met ons eindverslag. In week 6 zullen we de resultaten van de enquête verwerken en de eindpresentatie gaan voorbereiden.

Slide 7: Milestones en deliverables

Concreet zullen onze milestones en deliverables als volgt zijn:

• Op maandag 22 september zijn de robotstemmen met en zonder emotie af.
• Op vrijdag 26 september is de enquête af en kan deze in het weekend rondgestuurd worden.
• Op donderdag 9 oktober zijn de resultaten verwerkt en is de uitkomst van ons onderzoek bekend.
• Op maandag 13 oktober is de eindpresentatie.

Feedback presentatie maandag 15-09-2014

• De vraag of eSpeak de zinnen emotieloos uitspreekt is zeer belangrijk. Het kan namelijk goed zo zijn dat dit programma al bepaalde functies toepast op bepaalde zinnen/woorden.
• Hoe ga je de context toepassen in de survey? Je zou de participanten zich eerst in kunnen laten leven in de situatie.
• Zoek bronnen over scales of andere methodes die bij soortgelijke onderzoeken zijn gebruikt. Hiervoor kunnen we bijvoorbeeld naar Jaap Ham.
• Hypotheses opstellen aan de hand van bronnen.
• We hebben een sterk verhaal en een goede vraag. Er zijn geen twijfels dus we krijgen een GO!

Persoonlijke feedback week 2

Algemeen:

• Tip: Reactie in de whatsapp mag in het weekend wat meer.

Meike:

• Top: Fijn dat je de presentatie hebt gemaakt en aandachtig hebt gekeken naar de planning
• Top: En goed gediscussieerd
• Tip: maak je verslag van de week uitgebreider, dan komt je werk overeen met de uren die je hebt gemaakt

Suzanne:

• Top: Veel inzet tijdens de bespreking donderdag.
• Top: Goede samenvatting gemaakt dit weekend.
• Top: Je hebt dingen gezegd waar je mee zat en je goed uitgesproken.

Floor:

• Top: Een mooi overzicht van de planning gemaakt
• Top: productief gewerkt aan de speech programs
• Tip: Van te voren even aangeven als je niet bereikbaar bent vanwege omstandigheden.

Iris:

• Top: Fijn dat je bronnen had gezocht.
• Top: fijne samenwerking over het algemeen.