Switching Brains: The effect of action video game experience on task switching. 

    

Student ID: 33156758    

Goldsmiths, University of London    

Supervisor: Karina Linnell    

April 2012       

Thesis submitted in partial fulfilment of a BSc in Psychology

  

ABSTRACT  

The huge amount of time dedicated to playing video games makes them a unique and interesting source of investigation for cognitive psychologists. Action video games can be highly demanding, requiring players to respond to a large amount of targets moving rapidly through a 3d landscape. A substantial amount of previous research has demonstrated enhanced perceptual abilities related to 

action video game experience. More recent investigations have sought to identify the source of superior VGP performance on perceptual tasks by examining 

performance of executive functions. Tasking switching paradigms have revealed reduced switch costs in the VGP population, indicative of greater control of 

selective attention and executive functioning. This study aimed to replicate the reduced switch costs observed in expert gamers by Colzato et al (2010) and 

others using task switching paradigms, and expand our understanding of these benefits by neutralising target level salience, matching controls on O‐span 

performance, using audio cues, and increasing time between cue and stimulus onset. As predicted, VGP’s showed smaller switch costs, faster reaction times, and made fewer errors than NVGP controls, matched on O‐span performance. 

These findings support the idea that VGP’s possess greater executive control, but cannot elucidate specific mechanisms implicated. 

  1. INTRODUCTION  Since video games became easily accessible in the late 1970’s, the industry has gone from strength to strength and video gaming has become a ubiquitous part of modern culture. Some surveys suggest that as many as 65% of households in the US play video games, and Nintendo have reported sales of over 60 million units of their Wii console since its release in 2006. Due to the availability of exciting new technologies, gaming has become popular and accessible to people of any age, gender and socio‐economic background.  Parents, politicians and the media alike have speculated over the potential for extreme social and behavioural effects of this increasingly popular activity. The violent content of certain games has drawn comparisons to explicit rap music and the so‐called ‘video nasty’s of the nineties. However, scientific research has focused on the highly demanding and complex nature of the stimuli involved in contemporary video games and the potential impact they could have on brain functioning at a cognitive and perceptual level.    In 1989 cognitive psychologists designed a game called Space Fortress that requires players to focus attention to multiple demanding and overlapping tasks for several minutes at a time (Boot et al, 2008), much like real video games. When Israeli Air Force flight school cadets played the game they subsequently performed better than no‐game controls on actual flight performance (Gopher, Weil, & Bareket, 1994 cited in Boot et al, 2008). Space Fortress was so effective that it has since become a permanent addition to the Israeli Air Force training programme (Boot et al, 2008).  

Green and Bavelier (2003) conducted a training study that required participants to play Medal of Honour, a first‐person shooting game, for 1 hour a day for 10 days. A control group was instructed to play Tetris ‐ a much simpler game that requires tracking of a single object ‐ for the same duration. Participants were tested on 3 separate paradigms related to visual attention capacity and temporal resolution, both before and after training. Despite only 10 hours of game time, Green and Bavelier (2003) observed improvement on all 3 paradigms, and thus improvements to 3 distinct aspects of visual attention. Using an attentional blink paradigm that requires participants to identify two targets in quick succession, they found that video game players incurred less interference than controls when switching between the two targets. Furthermore, they demonstrated that differences between gamers and non‐gamers are not the result of greater natural ability, and can be trained to the non‐gaming population. Research of this kind has encouraged the evaluation of action game training for practical applications such as the rehabilitation of adults with amblyopia (Green et al, 2012).  The majority of research focuses on the effects of action video games, often using simpler games, such as Tetris, as controls. The distinction between action games and other genres is the large amount of targets, often peripheral or distant, and the velocity with which these targets move through a 3D landscape (Green et al, 2009). These games involve a greater level of uncertainty and require constant prediction and updating under high perceptual and cognitive load.   It is now well established that extensive gameplay experience brings about changes to the visual system that promote superior performance on tasks ranging from multiple object tracking (Green, 2006) to the ability to make acute discrimination judgments of visually crowded stimuli (Green, 2007).  Green and Bavelier (2003) suggest that video game players may have better management of central executive processes such that when tasks become more demanding and complex, they can efficiently control and allocate attentional resources. Their observations prompted further efforts to determine if there are also improvements to higher‐order processing and cognitive control mechanisms in VGP’s.  A study by Castel et al (2005) sought to examine the ability of VGP’s to disengage attention from cued locations, and later inhibit these locations, when compared with NVGP’s. When attention is switched from a peripheral cue to a target stimulus, detection is faster at the un‐cued location if the target appears 200ms or more after the initial cue; an effect know as Inhibition of return, that theoretically ensures efficient visual search (Posner, 1985). If a target appears immediately after the cue (less than 200ms) then detection at the cued location is facilitated (Posner, 1985). It has been shown that young people are better at disengaging attention than older people, but that both age groups are capable of inhibition of return (Castel et al, 2005). By varying the time between the onset of the cue and target, Castel et al (2005) were able examine facilitation and IOR in VGP’s and NVGP’s. They found that despite VGP’s displaying faster reaction times, the time course of facilitation followed by IOR was very similar to that of NVGP’s. The similar patterns of IOR observed between the two groups may 

reflect the functioning of basic inhibitory mechanisms that are not influenced by video gaming. Castel et al (2005) speculated that the simplicity of the task and the exogenous cuing might nullify any advantage of attentional control VGP’s have over NVP’s. In the work of Green and Bavelier (2006, 2007) VGP’s outperformed NVGP’s on the most demanding tasks. With this in mind, Castel et al (2005) ran a second experiment comprised of visual search tasks that involve finding a target letter among various distractor letters that were either constant (easy) or variable (hard).   Again, VGP’s reacted faster to the presence a target in the visual search task (Castel, 2005), consistent with the theme of the literature. However, VGP’s again showed a very similar pattern of processing to NVGP’s, with a set size by group interaction not reliable after analysis. Castel et al (2005) proposed that the overall reaction time advantage exhibited by VGP’s may be due to stronger associations between the detection of a stimulus and the production of an appropriate response. This advantage in identifying a problem and rapidly applying a solution suggests a greater ability to control selective attention or an improvement to broader executive functioning. Several groups have since examined whether VGP’s superior performance on visual attention tasks extends to reductions in switch costs.  One of the first paradigms to directly measure the effects of task switching was designed by Jersild (1927) as an attempt to elucidate the mechanisms of executive control. This was achieved by comparing the time taken to complete a sequence of trials when people did or did not have to switch between different tasks on successive trials, an approach that is still used by cognitive psychologists. A well‐replicated finding of such studies is that participants require more time to respond and are more error‐prone on switch trials than on no‐switch trials (Smith, 2009), an effect known as switch cost. Another established facet of task switching is preparation effect; if advanced knowledge of the task and time to prepare are allowed then switch costs are reduced but not eliminated (Monsell, 2003). Even after 5 seconds or more preparation time, switch costs persist – a phenomenon known as residual cost (Monsell, 2003). Switching between tasks is a regular occurrence in everyday life, each time a switch arises we ‘exercise intentional ‘executive’ control to select and implement the task‐set, or the combination of task‐sets, that are appropriate to our dominant goals, resisting temptations to satisfy other goals’ (Monsell, 2003). Task set reconfiguration is generally attributed as the primary cause of switch costs, and includes switching attention between stimulus attributes and goals (Monsell, 2003).  Colzato et al (2010) used a task switch paradigm with hierarchical stimuli to compare switch costs between VGP’s and NVGP’s. VGP’s had to have played 4 times a week for 6 months to meet the selection criteria. They found that VGP’s had lower overall switch costs than NVGP’s, but that this benefit was driven by comparatively superior performance on switch trials. Colzato et al (2010) suggest that this effect was facilitated by better cue driven endogenous task preparation. The study also manipulated the salience of global or local levels of stimulus via density of composite geometrical figures. A significant effect of target level was found, with response to targets at the global level being 

significantly faster. This may have influenced their findings if VGP’s show a global or local bias as a result of video game experience. Regardless, Colzato et al (2010) suggested that VGP’s develop greater generalised cognitive flexibility that allows reconfiguration of the task set at reduced cost.   Another task switching study by Green and colleagues (2012) used a number of different paradigms. The first of which demonstrated that VGP’s reduced switch costs extend to responding vocally, as well as manually, as they are used to doing (Green, 2012). By using proportional switch costs, they also demonstrated that VGP’s performance is not just speeded reaction times, but a reduction in switch costs. In a second experiment Green et al (2012) observed reduced switch costs when switching to cognitive tasks as well as perceptual ones.  It has been suggested that cognitive tasks require access to internal representations that slow reactions, but VGP’s did not exhibit this effect. Finally, the observed effects extended to randomised unpredictable trials (Green et al, 2012).  The findings of previous task switching studies that compare the performance of VGP’s and NVGP’s suggest that VGP’s task switching benefit may be the outcome of enhanced control and allocation of selective attention.  The present study used the Navon switch paradigm with hierarchical stimuli adapted from stimuli used by Kimchi & Palmer (1982) in an attempt to replicate reduced switch costs in VGP’s previously observed by Colzato et al (2010) and others. The time between the onset of a cue and the appearance of the target stimuli is longer than that used by Colzato et al (2010) to see if residual switch costs can be eliminated by VGP’s with sufficient preparation time. It has also been suggested that time constraints may unduly favour VGP’s due to their experience with demanding action video games. If switch benefits hold after longer preparation time, this will favour explanations related to control and allocation of selective attention rather than simply faster detection of a cue (superior object tracking). Further more, the stimuli used were of medium density facilitating equal salience of target levels and removing the potentially confounding effect of global or local bias. This study manipulated levels of switch (switch vs. no switch), target level (global vs. local), congruency between target level and distractor level (congruent vs. incongruent), to compare performance between action video game players and non video game players. The experimental hypothesis is that VGP’s will show faster reaction times compared with NVP’s. Also, that VGP’s will demonstrate reduced switch costs compared with NVP’s. Furthermore, it is hypothesised that any performance benefits seen in VGP’s will driven by better performance on the most demanding trials (incongruent switch) consistent with the theme of the literature (Green, 2003, Castell, 2005, Green, 2012).        

2.METHOD  2.1PARTICIPANTS  34 psychology undergraduates at Goldsmiths University of London participated as part of a course requirement, 17 were ‘expert’ video game players and 17 were controls. Participants were considered ‘expert’ if they reported playing 7 or more hours of video games per week for more than 2 years on a questionnaire taken prior to testing. Expert video game players had experience with a wide variety of game genres but only individuals who reported playing mainly action games (Halo, Call of Duty, Battlefield, DOOM, etc.) were selected. In addition to reporting less than an hour of video game playing a week, control participants were selected on the basis of O‐span score/performance on an O‐span test and matched to expert gamers. Participant’s ages ranged from 18 to 32 with an average of 23 for gamers and 21.5 for controls. In VGP group 11 were male and 6 were female. In the control group 13 were female and 4 were male. All participants completed every trial and were rewarded with a course credit.  2.2DESIGN  This study employed a two way mixed design with 3 levels of related measures independent variable: switch (switch vs. no switch), target level (global vs. local) and congruency (congruent vs. incongruent). Action video gaming experience was the unrelated measure independent variable comprised of expert gamers and controls matched on O‐span performance. Reaction times and number percentage of errors were the dependent variables and compared between groups. Inverse efficiency score was also calculated by dividing reaction times by percentage of errors.  2.3EHTICS   Ethical approval was given by the Goldsmiths University of London ethics committee.  2.4APPARATUS   Participants were provided with their own Windows operated computer attached to a 17″ Sharp monitor. Responses were made by pressing “Z” or “M” on a QWERTY computer keyboard. For the switch task the primary stimulus was adapted from the stimuli used by Kimchi and Palmer (1982) and consisted of geometric figures. Larger (Global) triangles/squares consisted of smaller (Local) triangles/squares, with the local level either congruent or incongruent with the global level (square/square, triangle/square). Participants were instructed to attend to either the Global or Local level of the shape through an audio cue received via headphones. Kimchi and Palmer (1982) used 4 different densities for their stimuli, with low density global shapes comprised of either 3 or 4 local shapes and high density made up of as many as 36 local shapes, to manipulate global/local precedence. For this study only medium density shapes were used, 

to ensure that both the global and the local levels were equally salient throughout the experiment. Each participant was provided with a pair of headphones.   2.5PROCEDURE  All participants were tested together during a lab class, with each participant assigned to a computer, and sat 70cm from the screen. Participants were instructed to open the file ‘Automated Operation Span.ebs’ and follow the instructions on screen. The O‐span test involves remembering a string of letters and then completing a maths problem before entering the letters in the order they were presented. Trials consisted of 3 sets of each set‐size, with the set‐sizes ranging from 3 ‐ 7.  In total there were 75 letters and 75 math problems.  Subjects were instructed to keep their math accuracy at or above 85% at all times.   Performance on the O‐span test was used to match VGP’s with appropriate controls and ensure that any observed differences between the groups was not due to variation of working memory capacity. For the main task participants were instructed to open the file ‘taskSwitch_noLoad.ebs’ and to put on headphones so they could hear the task cues. On screen instructions required participants to respond to randomly presented triangles or squares by pressing the left or right response key on the keyboards. The left key was to be pressed if the target stimulus was a triangle and the right key for a square. Stickers were put on the appropriate response keys on all keyboards to avoid confusion. The participants were instructed to respond as quickly and accurately as possible. Two blocks of trials were administered, one training block and one experimental block, with each block consisting of 24 trials. The order of the blocks was randomised and a cue indicated whether the global or local shape should be responded to. At the beginning of every trial participants fixated on a fixation cross for 1000ms, an audio cue lasting a further 1000ms was presented, the cross then disappeared and was replaced with the stimulus for 250ms. This disappeared and was replaced with a blank screen, which remained until the participant made their response. The next trial then began.   3.RESULTS  3.1Descriptives and Graphs  Reaction times slower than 300ms or longer than 3000ms were excluded from analysis, as were participants with average accuracy scores of less than 60%. Participants with incomplete data sets were also excluded. Exclusions were distributed evenly between each group. Mean reaction times for switch and no switch are presented in table 1. Mean reactions for all tasks are presented in figure 2.  

  

                       

Table 1. | Participant age, mean response times, standard deviation, error rates and inverse efficiency scores for VGP’s and NVGP’s   VGP’s (17)  NVGP’s (17) Age (average)  23  21.5 Switch     Reaction times (ms)  601.29  690.09 Standard Deviation   342.395  304.87 Error rates %  4.3 (0.043)  6.2 (0.062) IES  643.64  837.28 No switch     Reaction times (ms)  588.26  580.65 Standard Deviation  323.09  251.39 Error rates %  2.7 (0.027)  1.9 (0.019) IES  613.84  594.18  

Figure 1. | A Graph showing reaction times for all variables 

 

     

  3.2Inferential  No significant differences were found between the groups for age: t(16) ‐.070, p = 0.945 An alpha level of .05 was used for all statistical tests.   A 2x3 mixed analysis of variance (ANOVA) was performed on the reaction times, proportions of errors, and Inverse Efficiency scores, with target level (Global vs. Local), task switch (repetition vs. alternation of previous trial) and congruency between stimuli on two levels (congruent vs. incongruent) as with‐in groups factors and group (VGP vs. NVGP) as the between groups factor.   For reaction times there was a significant effect of switch, F(1,32) = 8.98, p = 0.005, due to repeating a task causing less interference than switching between target levels, which slows response times. Congruency produced a further significant result, F(1,32) = 10.6, p = 0.003, due to increased interference from the non‐target level when it is incongruent with the target level. A follow up pair samples t test revealed that VGP’s were significantly unaffected by incongruent tasks t(16) = .458, p = .653, whereas NVGP’s were affected, recording significantly slower reaction times on incongruent trials, t(16) = 3.726, p = 0.002.  No significant effect of task (global vs. local) was observed, F(1,32) = .259, p = .614, due to the stimuli chosen being equally salient at global and local levels. A significant interaction between switch and group was also observed, F(1,32) = 5.56, p = 0.025. An independent samples t‐test was insignificant for switch, 

Figure 2. | A graph showing mean reaction times for VGP’s and NVGP’s for Switch and No switch, collapsed across tasks 

 

t(32)= ‐0.994, p= 0.327, and no switch, t(32)= 0.95, p= 0.925. However, a paired samples t‐test revealed that VGP’s were significantly unaffected by switching, paired t(16) = 0.458, p= 0.653. Whereas the control group were significantly effected by switching task, paired t(16) = 3.726, p= .002. Significance level was bonferroni corrected to 0.025.  The only reliable effect revealed from analysis of error rates was a significant effect of switch, F(1,32) = 7.14, p = 0.012. A follow up independent samples t test was again insignificant for switch, t(32) = ‐.899, p= 0.375, and no switch, t(32) = .563, p= 0.578. A pair samples t test revealed that VGP’s were significantly unaffected by switching, t(16) = .830, p= 0.419, whereas controls showed a significant effect of switching on error rates, t(16) = 3.920, p= .001. Significance level was bonferroni corrected to 0.025.  Similarly, analysis of Inverse Efficiency Scores revealed a significant effect of switch, F(1,32) = 7.44, p = 0.010. An independent samples t‐test showed no significant difference between the two groups. A pair samples t‐test showed the same pattern as the analysis of reaction times and errors, with VGP’s significantly unaffected by switch, t(16) = 0.890, p= .387. Controls produced a significantly higher IES score when switching, t(16) = 2.579, p= .020. Significance level was bonferroni corrected to 0.025.   4.DISCUSSION   The present study compared the performance of VGP’s versus NVGP’s in the ability to switch between tasks after receiving an audio cue indicating target level. The findings of this study suggest that action video game experience is associated with reduced switch costs as measured by a task‐switching paradigm. VGP’s produced faster mean reaction times in all switch trials (see table 1). No effect of target level was found, suggesting that the medium density stimuli used fulfilled its purpose of creating equal salience across the levels of stimuli. Also consistent with the literature on reaction times in AVGPs is the finding of similar accuracy in the two groups (controls slightly worse, see table 1), which indicates that the shorter reaction times observed in VGPs cannot be attributed to a ‘‘speed‐accuracy trade‐off.’’ Matching the VGP’s to controls using O‐span scores rules out the possibility of video game related improvements to working memory confounding the results.  Although performance by VGP’s on switch trials were much better than NVGP’s, performance on non‐switch trials was slightly worse, although non‐significantly. This could represent residual switch costs or disengaging attention in preparation to switch. However, VGP’s appear to demonstrate greater cognitive flexibility allowing them to adapt to more difficult tasks by successfully allocating resources, akin to the conclusions of Castell (2005) and Colzato (2010). Furthermore, the fact that VGP’s were statistically unaffected by having to switch task indicates a greater ability to inhibit interference from the previous task set based on information from the exogenous cue and to endogenously initiate the new task set configuration. The increased time interval between cue 

and target compared to previous studies should have allowed NVGP’s time to prepare for the next trial. However, NVGP’s still showed significant switch costs, indicating that only the VGP’s were able to resist interference from the previous trial, likely due to greater cognitive control. An alternative explanation is that VGP’s experience greater levels of arousal due to experience with action video games, yet it seems unlikely that this effect would reduce switch costs. The fact that trials were randomised rules out VGP’s responding to a pattern of tasks. VGP’s still show evidence of residual switch costs indicating that they use similar mechanisms and processing strategies but are more adept at dealing with the demanding nature of switch trials, allocating selective attention where it is needed most.   The findings of this study and those of previous studies suggest that action video game experience promotes greater executive control, as well as enhanced visual attention. What are not clear are the specific mechanisms of executive control that benefit from action video game experience. Executive control is an umbrella term that encompasses attention, problem solving, planning and inhibition. Future research should focus on comparing the abilities of VGP’s and NVGP’s on a wider range of executive functions to establish the scope and specific mechanisms underlying reduced switch costs in VGP’s. Colzato et al (2010) propose that VGP’s have greater control over episodic memory allowing them to selectively update and activate new task sets faster. This study is not equipped to differentiate between facets of executive control, but it does give further support to the growing body of evidence that suggests long‐term action video gaming promotes superior performance on task switching paradigms. A larger sample size may have revealed a significant finding in respect to VGP performance on the no switch trials, which was slightly worse than controls. Another interesting avenue of investigation would be to establish whether the effects of action video game playing are transient or enduring. A study of former gamers could enlighten the nature of cognitive mechanisms and their potential for improvement. Equally, more longitudinal studies would contribute significantly to our understanding. VGP performance on the Wisconsin card sort test could reveal more as to the scope of improvements to cognitive flexibility and the potential for use in conjunction with cognitive remediation therapy for treatment of disorders than diminish cognitive flexibility such as schizophrenia.  Video gaming provides a unique insight into the potential for adaption, the limitations and the structure of cognitive function. As we learn more about video gaming’s effects, the opportunities for practical application will continue to arise.           

  5.REFFERENCES   Boot, W.R., Kramer, A.F, Simons, D.J, Fabiani, M, and Gratton, G. (2008). The effects of video game playing on attention, memory, and executive control. Acta Psychologica, 129, 387‐398.  Colzato, Lorenza S., van Leeuwen, Pieter J.A., van den Wildenberg, Wery P.M. and Hommel, Bernhard. (2010). DOOM'd to switch: superior cognitive flexibility in players of first person shooter games. Frontiers in Psychology, vol 1(8).  doi: 10.3389/fpsyg.2010.00008  Donchin, E. and Mane, A.. (1989). The Space Fortress Game. Acta Psychologica. 71 (17), 17‐22  Donchin, E., Fabiani, M., & Sanders, A. (Eds.). (1989). The learning strategies  program: An examination of the strategies in skill acquisition[Special issue]. Acta Psychologica, 71, 1–311.   Green, C. S., & Bavelier, D. (2003). Action video game modifies visual selective attention. Nature, 423, 534–537.   Green, C. S., & Bavelier, D. (2006a). Effect of action video games on the spatial  distribution of visuospatial attention. Journal of Experimental Psychology: Human Perception and Performance, 32, 1465–1478.   Green, C. S., & Bavelier, D. (2006b). Enumeration versus multiple object tracking:  The case of action video game players. Cognition, 101, 217–245.   Green, C. S., & Bavelier, D. (2007). Action‐video‐game experience alters the spatial resolution of vision. Psychological Science, 18, 88–94.    Green, C.S., Li, R., and Bavelier, D. (2009). Perceptual Learning During Action Video Game Playing. Topics in Cognitive Science. DOI: 10.1111/j.1756‐8765.2009.01054.x  Green, C.S., Sugarman, A.M., Medford, K., Klobusicky, E., and Bavelier, D. (2012) The Effect of Action Video Game Experience on Task Switching. Computers in Human Behaviour, 28, 984‐994.  Karle, J.W., Watter. S., and Shedden, J.M. (2010) Task switching in video game players: Benefits of selective attention but not resistance to proactive interference. Acta Psychologica, (134), p.70 78.  Monsell, S. (2003). Task switching. Trends in Cognitive Sciences (Regul. Ed.), 7, 134–140.   

Posner, M. I., Rafal, R. D., Choate, L., & Vaughan, J. (1985). Inhibition of return: Neural basis and function. Cognitive Neuropsychology, 2, 211–228.   Smith, E.E., and Kosslyn, S.M. (2009). Cognitive Psychology: Mind and Brain. Pearson Education, London.   Yeung, N. and Monsell, S. (2003) Switching Between Tasks of Unequal Familiarity: The Role of Stimulus. Journal of Experimental Psychology, 29 (2), p.455‐469.                                         

6.APPENDIX  Questionnaire used for participant recruitment   Please complete this brief questionnaire.  

  Thank you. 

Goldsmiths username: 

What is your age? …. 

What is your gender?                          Male / Female  

Do you own a games console (or play games on a PC or Mac)?      Yes / No 

Do you regularly play video games?               Yes / No   If yes:              How many hours per week?                             How long have you been a regular gamer?                             

  1 year or less / 2 – 3 years  / 3 – 5 years / 5 years +  

 

        Please circle the game you play most regularly from the list below:                    • Call of Duty  

• Fifa  

• Halo   

• Mass Effect  

• World of Warcraft  

• Grand Theft Auto  

• Portal  

• Tetris  

• Big Brain Academy 

 If the game you play most regularly is not listed, please write it below: 

 

Do you perceive a connection between the any of the tasks and gaming experience?                                                                     Yes / No 

Image of stimuli used. – medium density from Kimchi and Palmer (1982)