Decision making under uncertainty: exploration and exploitation

• Published in: Sovremennaâ Zarubežnaâ Psihologiâ Vol. 9; no. 2; pp. 93 - 106
• Main Authors: Sayfulina, K.E., Kozunova, G.L., Medvedev, V.A., Rytikova, A.M., Chernyshev, B.V.
• Format: Journal Article
• Language: English; Russian
• Published: Moscow State University of Psychology and Education 01.06.2020
• Subjects: acetylcholine; decision-making; dopamine; exploration-exploitation trade-off; norepinephrine; uncertainty
• ISSN: 2304-4977; 2304-4977
• DOI: 10.17759/jmfp.2020090208

Decision-making under conditions of the lack of sufficient information is associated with hypotheses construction, verification and refinement. In a novel environment subjects encounter high uncertainty; thus their behavior needs to be variable and aimed at testing the range of multiple options available; such variability allows acquiring information about the environment and finding the most beneficial options. This type of behavior is referred to as exploration. As soon as the internal model of the environment has been formed, the other strategy known as exploitation becomes preferential; exploitation presupposes using profitable options that have already been discovered by the subject. In a changing or complex (probabilistic) environment, it is important to combine these two strategies: research strategies to detect changes in the environment and utilization strategies to benefit from the familiar options. The exploration-exploitation balance is a hot topic in psychology, neurobiology, and neuroeconomics. In this review, we discuss factors that influence exploration-exploitation balance and its neurophysiological basis, decision-making mechanisms under uncertainty, and switching between them. We address the roles of major brain areas involved in these processes such as locus coeruleus, anterior cingulate cortex, frontopolar cortex, and we describe functions of some important neurotransmitters involved in these processes – dopamine, norepinephrine, and acetylcholine. Принятие человеком решений в условиях дефицита информации сопряжено с построением, проверкой и уточнением гипотез. В новой среде субъект сталкивается с высоким уровнем неопределенности, поэтому поведение должно быть вариабельным: это позволяет собирать информацию о закономерностях среды и находить наиболее выгодные опции. Такое поведение соответствует стратегии исследования. После формирования внутренней модели среды становится оправданной стратегия использования – т.е. применение выгодных опций, уже известных субъекту. В меняющейся или сложной среде оптимально применять обе стратегии попеременно. Баланс этих двух стратегий активно изучается в психологии, нейробиологии, нейроэкономике. В данном обзоре мы рассмотрим факторы, влияющие на баланс между стратегиями исследования и использования, механизмы принятия решения в условиях неопределенности, нейрофизиологические основы поддержания стратегий исследования/использования и переключения между ними, осветим роль основных задействованных в этих процессах областей мозга и нейромедиаторов.