Ödül sistemi (mezokortikolimbik devre); teşvik edicilik özelliği (yani "istemek"; bir ödül ve motivasyonu arzulamak), çağrışımsal öğrenme (öncelikle olumlu pekiştirme ve klasik koşullanma) ve pozitif değere sahip duygulardan (özellikle ana bileşen olarak hazzı içeren duygular; örneğin keyif, öfori ve coşku) sorumlu bir grup nöral yapıdır. Ödül, bir uyaranın iştah (yaklaşma) ve tüketme davranışlarına yol açan çekici ve güdüsel özellikleridir. Ödüllendirici bir uyaran şu şekilde tanımlanmaktadır: "Bizi ona yaklaşmaya ve onu tüketmeye yöneltme potansiyeli olan her uyaran, nesne, olay, aktivite veya durum; tanımı gereği bir ödüldür". Edimsel koşullamada ödüllendirici uyaranlar, olumlu pekiştireç olarak işlev görürler fakat bu ifadenin tersi de doğrudur; olumlu pekiştireçler ödüllendiricidir.
Ödül sistemi, hayvanları uyaranlara yaklaşmaya veya zindeliği artıran davranışlarda bulunmaya (seks, enerji içeriği yüksek gıda tüketimi vb.) güdüler. Çoğu hayvan türü için hayatta kalma, yararlı uyaranlarla teması en üst düzeye çıkarmaya ve zararlı uyaranlarla teması en aza indirmeye bağlıdır. Ödül bilişi, çağrışımsal öğrenmeye sebep olarak, yaklaşma ve tüketme davranışlarını ortaya çıkararak, ve pozitif değerlikli duyguları tetikleyerek hayatta kalma ve üreme ihtimallerini arttırmaya hizmet eder. Bu nedenle ödül, hayvanların adaptasyona bağlı uyum gücünü (adaptive fitness) artırmaya yardımcı olmak için gelişen bir mekanizmadır. Uyuşturucu bağımlılığında, bazı maddeler ödül devresini aşırı aktive ederek devredeki sinaptik plastisiteden kaynaklanan, takıntılı bir madde-arama davranışına (compulsive substance-seeking behavior) yol açar.
Birincil ödüller, kişinin kendisinin ve yavrularının hayatta kalmasını kolaylaştıran bir ödüllendirici uyaran sınıfıdır ve bunlar, homeostatik ödülleri (örneğin lezzetli yiyecekler) ve üreme ödüllerini (örneğin, cinsel temas ve ebeveynlerin yavruları için yaptığı yatırımlar) içerir. İçsel ödüller, çekici olan ve doğası gereği zevkli oldukları için davranışı motive eden koşulsuz ödüllerdir. Dışsal ödüller (örneğin, para ya da en sevdiğin spor takımının bir oyunu kazandığını görmek) çekici ve davranışı motive eden ancak doğal olarak zevkli olmayan koşullu ödüllerdir. Dışsal ödüller, içsel ödüllerle olan ilişkilerinin öğrenilmesi (yani koşullanma) sayesinde motivasyonel değerlerini elde eder.Dışsal ödüller, içsel ödüllerle yapılan klasik koşullanmadan sonra, zevk (örneğin, bir piyangoda çok para kazanmanın verdiği coşku) de ortaya çıkarabilir.
Tanım
Nörobilimde ödül sistemi, ödülle ilişkili bilişten sorumlu beyin yapıları ve nöral yolaklardır. Ödül bilişi; çağrışımsal öğrenme (öncelikle klasik koşullanma ve olumlu pekiştirme), teşvik edicilik (yani "istemek"; bir ödül ve motivasyonu arzulamak) ve pozitif değerlikli duyguları (özellikle hazzı içeren duygular; örneğin hedonik "beğenme") içerir.
Ödülün "isteme" veya arzu bileşeniyle ilgili davranışı tanımlamak için yaygın olarak kullanılan terimler arasında iştah belirten davranış, yaklaşma davranışı, hazırlık davranışı, araçsal davranış (instrumental behavior), beklenti davranışı ve arama (seeking) yer alır. Ödülün "beğenme" veya haz bileşeniyle ilgili davranışı tanımlamak için yaygın olarak kullanılan terimlerden bazıları ise tüketme davranışı ve alma davranışıdır.
Ödüllerin üç temel işlevi, aşağıdakileri gerçekleştirme kapasiteleridir:
- çağrışımsal öğrenme üretmek (yani, klasik koşullanma ve edimsel pekiştirme);
- karar vermeyi etkilemek ve yaklaşma davranışını teşvik etmek (ödüllendirici uyaranlara motivasyonel ilginin atanması yoluyla);
- pozitif değerlikli duyguları, özellikle de hazzı ortaya çıkarmak.
Nöroanatomi
Genel bakış
Ödül sistemini oluşturan beyin yapıları öncelikle kortiko-bazal gangliyon-talamo-kortikal döngü içinde yer alır; döngünün bazal gangliyon kısmı, ödül sistemi içindeki aktiviteyi yönlendirir. Ödül sistemi içindeki yapıları birbirine bağlayan yolakların çoğu; glutamaterjik internöronlar, GABAerjik orta boy dikensi nöronlar (medium spiny neurons) ve dopaminerjik projeksiyon nöronlarını içerir, ancak diğer projeksiyon nöronları da sisteme katkıda bulunur (örneğin, oreksinerjik projeksiyon nöronları). Ödül sistemi; ventral tegmental alan, ventral striatum (yani, nükleus akumbens ve koku alma tüberkülü), dorsal striatum (yani, kaudat nükleus ve putamen), substantia nigra (yani, pars kompakta ve pars reticulata), prefrontal korteks, anterior singulat korteks, insular korteks, hipokampus, hipotalamus (özellikle lateral hipotalamustaki oreksinerjik nükleus), talamus (çok sayıda çekirdeği), subtalamik nükleus, pallidum (hem dış hem de iç pallidum), ventral pallidum, parabrakial nükleus, amigdala ve genişletilmiş amigdalanın geri kalanını içerir. Dorsal raphe çekirdeği ve serebellum, ödülle ilgili bazı biliş biçimlerini (yani, ilişkisel öğrenme, motivasyonel dikkat ve olumlu duygular) ve davranışları modüle ediyor gibi görünmektedir. Laterodorsal tegmental çekirdek (LTD), pedunculopontine çekirdek (PPTg) ve lateral habenula (LHB) (hem doğrudan hem derostromediyal tegmental çekirdek (RMTg) aracılığıyla dolaylı olarak) da; VTA'ya yaptıkları projeksiyonlar sayesinde hem teşvik edicilik (incentive salience) hem de caydırıcılık (tiksinme yüzünden) oluşturma kapasitesine sahiptir. LDT ve PPTg'nin her ikisi de, dopaminerjik nöronlarla sinaps kurmak üzere glutamaterjik projeksiyonlar gönderir ve bu iki bölge de teşvik edicilik üretebilir. LHb, çoğu RMTg'deki GABAerjik nöronlarla sinaps kuran glutamaterjik projeksiyonlar gönderir ve RMTg'deki bu nöronlar da dopaminerjik VTA nöronlarının engellenmesi işlevini yürütür; fakat bazı LHb projeksiyonları da VTA internöronlarında sonlanır. Bu LHb projeksiyonları, hem caydırıcı uyaranlar hem de beklenen bir ödülün yokluğu ile aktive edilir ve LHb'nin uyarılması, isteksizliği (tiksinmeyi) indükleyebilir.
Ventral tegmental alandan projeksiyon yapan dopamin yolaklarının çoğu (diğer nöronlarla iletişim kurmak için dopamin nörotransmitterini kullanan nöronlar) ödül sisteminin bir parçasıdır; bu yolaklarda dopamin, cAMP üretimini uyarmak veya inhibe etmek için sırasıyla D1-benzeri reseptörler veya D2-benzeri reseptörler üzerinde etki gösterir. Striatumdaki GABAerjik orta boy dikensi nöronlar da ödül sisteminin birer bileşenidir. Subtalamik nükleustaki glutamaterjik projeksiyon çekirdekleri, prefrontal korteks, hipokampus, talamus ve amigdala, glutamaterjik yolaklar aracılığıyla ödül sisteminin diğer bölümlerine bağlanır. Beyin stimülasyon ödülüne (yani lateral hipotalamusun doğrudan elektrokimyasal stimülasyonuyla elde edilen ödül) aracılık eden birçok nöral yolaktan oluşan medial ön beyin demeti de ödül sisteminin bir bileşenidir.
Nükleus akumbensin (NAc) aktivitesi ile beğenme ve isteme davranışlarının ortaya çıkışı arasındaki ilişki hakkında iki teori vardır. İnhibisyon (veya hiperpolarizasyon) hipotezi; NAc'nin ventral pallidum, hipotalamus veya ventral tegmental alan gibi devrenin devamındaki yapılar üzerinde tonik inhibitör etki uyguladığını, NAc'deki orta boy dikensi nöronların inhibe edilmesi ile de bu yapıların aktive edildiğini, dolayısıyla ödülle ilgili davranışların ortaya çıktığını öne sürer. GABA reseptör agonistleri, nükleus akumbenste hem "beğenme" hem de "isteme" reaksiyonlarını ortaya çıkarma yeteneğine sahipkenbazolateral amigdala, ventral hipokampus ve medial prefrontal korteksten gelen glutamaterjik girdiler, teşvik edici belirginliği sağlayabilir. Ayrıca, çoğu çalışma, NAc nöronlarının ödüle yanıt olarak ateşlenmeyi azalttığını bulsa da, bir dizi çalışma tam tersi yanıtı bulmuştur. Bu da ödülle ilgili davranışların, NAc nöronlarının uyarılması sonucu ortaya çıktığını öne süren disinhibisyon hipotezinin sunulmasına yol açmıştır.
Beyin stimülasyonu ödülü üzerine yaklaşık 50 yıllık bir araştırmadan sonra, uzmanlar beyindeki düzinelerce bölgenin; buralara uyarıcı elektrotlar yerleştirildiği ve hayvanların buraları -örneğin bir düğmeye basarak- uyarabilmesine olanak tanındığı takdirde bu davranışın (intrakraniyal kendi kendini uyarma davranışı) devamlı sürdürüleceğini onayladılar. Bu bölgelerden, lateral hipotalamus ve medial ön beyin demetleri, intrakraniyal kendi kendini uyarma davranışını ortaya çıkarmakta özellikle etkilidir. Oradaki uyarım, yükselen yolakları (ascending pathways) oluşturan fiberleri harekete geçirir; yükselen yolaklar, ventral tegmental alandan nükleus akumbense uzanan mezolimbik dopamin yolağını içerir. Mezolimbik dopamin yolağının ödüle aracılık eden devrelerde neden merkezi olduğuna dair birkaç açıklama var. İlk olarak, hayvanlarda intrakraniyal kendi kendini uyarma deneyleri esnasında mezolimbik yolaktan dopamin salınımında belirgin bir artış vardır. İkincisi, deneyler tutarlı bir şekilde beyin stimülasyon ödülünün, normalde doğal ödüller veya ödül olarak kullanılabilen ilaçlarla aktive olan yolakların güçlendirilmesini kolaylaştırdığını gösteriyor; ya da intrakraniyal kendi kendini uyarma, ödül merkezini çevresel sinirler aracılığıyla değil de direkt olarak uyardığı için merkezi ödül mekanizmalarının daha güçlü aktive olmasını sağlayabiliyor Üçüncüsü, hayvanlara bağımlılık yapan ilaçlar verildiğinde veya hayvanlar beslenme ve cinsel aktivite gibi doğal olarak ödüllendirici davranışlarda bulunduğunda, nükleus akumbens içinde belirgin bir dopamin salımı olur. Bununla birlikte dopamin, beyinde ödüle dair tek bileşen değildir.
Ana (En Kritik) Yolak
Ventral tegmental alan
- Ventral tegmental alan (VTA), bir ödülün varlığını gösteren uyaranlara ve ipuçlarına yanıt vermede önemlidir. Ödüllendirici uyaranlar (ve tüm bağımlılık yapan ilaçlar) ödül devresine, nükleus akumbense dopamin sinyalleri salması için VTA'yı doğrudan ya da dolaylı olarak tetikleyerek etki eder. VTA'dan çıkan projeksiyonların iki önemli yolu vardır: Limbik (striatal) bölgelere giden, motivasyonel davranış ve süreçleri destekleyen mezolimbik yol ve prefrontal kortekse giden, dışsal ipuçlarını öğrenmek gibi bilişsel işlevleri destekleyen mezokortikal yol.
- Bu bölgedeki dopaminerjik nöronlar, tirozin hidroksilaz enzimini kullanarak tirozin aminoasitini DOPA'ya dönüştürür ve daha sonra DOPA, dopa-dekarboksilaz enzimi kullanılarak dopamine dönüştürülür.
Striatum
- Striatum, ödüllendirici bir ipucuna yanıt olarak öğrenilmiş davranışların edinilmesinde ve ortaya çıkarılmasında yer alır. VTA striatuma projeksiyon yapar; ventral (nükleus akumbens) ve dorsal striatumdaki D1 ve D2 reseptörleri aracılığıyla GABAerjik orta boy dikensi nöronları aktive eder.
- Ventral Striatum (nükleus akumbens), VTA tarafından beslendiğinde davranış edinme ve prefrontal korteks (PFK) tarafından beslendiğinde davranışı ortaya çıkarmada görev alır. NAc kabuk bölgesi (NAc shell), limbik ve otonomik işlevleri düzenlemek üzere palidum ve VTA'ya projeksiyon yapar. Bu, uyaranların pekiştirici özelliklerini ve ödülün kısa vadedeki özelliklerini modüle eder. NAc kor bölgesi (NAc core), substantia nigraya projeksiyon yapar; ödül arama davranışlarının gelişmesinde ve ifade edilmesinde yer alır. Bu bölge aynı zamanda ödülün uzun vadedeki etkileri olan uzamsal öğrenme, koşullu tepki ve dürtüsel seçim ile ilgilidir.
- Dorsal Striatum öğrenmede görev alır; Dorsal Medial Striatum hedefe yönelik öğrenmede görev alırken Dorsal Lateral Striatum, uyaran-tepki (stimulus-response) öğrenmesinde Pavlov tepkisinin temelini oluşturur. Aynı uyaran tarafından tekrarlı aktivasyonda NAc, bir intrastriatal döngü yoluyla Dorsal Striatumu (DS) aktive edebilir. Sinyallerin NAc'den DS'ye geçişi, ödülle ilişkili ipuçlarının, ödülün kendisi mevcut olmadan DS'yi etkinleştirmesine izin verir. Bu, istekleri ve ödül arama davranışlarını harekete geçirebilir (ve bağımlılıkta yoksunluk sırasında nüksetmeyi (relapse) tetiklemekten sorumludur).
Prefrontal korteks
- VTA'daki dopaminerjik nöronlar PFK'ye projeksiyon yapar, PFK'den Dorsal Striatum ve NAc dahil olmak üzere diğer birçok bölgeye projeksiyon yapan glutamaterjik nöronları aktive eder ve sonuçta PFK'nin uyaranlara yanıt olarak dikkat oluşumuna (salience) ve koşullu davranışlara aracılık etmesine izin verir.
- Özellikle, bağımlılık yapan ilaçlardan uzak durma PFK'yi -bu bölgeden NAc'ye olan glutamaterjik projeksiyonları- aktive eder ve bu da yoksunluktan kaynaklanan bağımlılık davranışlarının yeniden ortaya çıkmasını modüle eder. PFC ayrıca mezokortikal yol aracılığıyla VTA ile etkileşime girer ve çevresel ipuçlarını ödülle ilişkilendirmeye yardımcı olur.
Hipokampus
- Hipokampus, belleğin yaratılması ve saklanması da dahil olmak üzere birçok işleve sahiptir. Ödül devresinde, bağlamsal anılara ve ilgili ipuçlarına hizmet eder. Sonuç olarak, ipuçları ve bağlamsal tetikleyiciler aracılığıyla ödül arama davranışlarının yeniden ortaya çıkarılmasının temelini oluşturur.
Amigdala (AMY)
- AMY, VTA'dan girdi alır ve NAc'ye çıktı verir. Amigdala, güçlü duygusal flaş bellek yaratımında önemlidir ve muhtemelen ipucuyla ilişkili (cue-associated) güçlü hatıraların yaratılmasının temelini oluşturur. Ayrıca, yoksunluğun getirdiği kaygı etkilerine aracılık etmede ve bağımlılıkta artan ilaç alımında önemlidir.
Haz merkezleri
Haz, ödülün bir bileşenidir, ancak tüm ödüller zevkli değildir (örneğin, şartlanma yoluyla bu tepki oluşmadıkça, para zevk getirmez). Doğal olarak haz veren ve dolayısıyla çekici olan uyaranlar içsel ödüller olarak bilinirken; çekici ve yaklaşma davranışına güdüleyen, ancak doğal olarak zevkli olmayan uyaranlar dışsal ödüller olarak adlandırılır. Dışsal ödüller (örn. para), içsel bir ödülle bir çağrışımın öğrenilmesi sonucunda ödüllendirici olur. Başka bir deyişle, dışsal ödüller, elde edildikten sonra "beğenme" değil de "isteme" tepkilerini ortaya çıkaran motivasyonel mıknatıslar olarak işlev görür.
Ödül sistemi haz merkezleri veya hedonik sıcak noktalar içerir – yani, içsel ödüllerden gelen zevk veya "beğenme" tepkilerine aracılık eden beyin yapıları. Ekim 2017 itibarıyla hedonik sıcak noktalar, nükleus akumbens kabuk bölgesi, ventral palidum, parabrakiyal nükleus, orbitofrontal korteks (OFK) ve insular korteks içindeki belli alt kısımlar olarak belirlenmiştir.Kaynak hatası: Açılış <ref> etiketi hatalı biçimlendirilmiş veya hatalı bir ada sahip (Bkz: Kaynak gösterme) Nükleus akumbens kabuğundaki sıcak nokta, orta kabuğun rostrodorsal çeyreğinde bulunurken, hedonik soğuk nokta daha arka (posterior) bir bölgede bulunur. Posterior ventral palidum da bir hedonik sıcak nokta içerirken, ön (anterior) ventral palidum bir hedonik soğuk nokta içerir. Opioid, endokannabinoid ve oreksin mikroenjeksiyonları, bu sıcak noktalarda "beğeniyi" artırabilir. Ön OFK ve arka insulada yer alan hedonik sıcak noktalar ile arka OFK ve ön insula (bu iki bölgedeki belli kısımları kapsayacak şekilde) bölgesinde bulunan bir hedonik soğuk bölgenin, oreksin ve opioid uyaranlarına yanıt verdiği gösterilmiştir. Öte yandan parabrakiyal nükleustaki sıcak noktaların yalnızca benzodiazepin reseptör agonistlerine yanıt verdiği gösterilmiştir.
Hedonik sıcak noktalar işlevsel olarak bağlantılıdır, çünkü bir sıcak noktanın aktivasyonu, diğer sıcak noktalarda da bu uyarıya ilk yanıt veren genlerden (immediate early gene) olan c-Fos'un indüklenmiş ifadesiyle sonuçlanır. Ayrıca, bir etkin noktanın inhibisyonu, başka bir etkin noktanın etkinleştirilmesiyle oluşan etkilerin körelmesine neden olur. Bu nedenle, ödül sistemindeki her hedonik etkin noktanın eşzamanlı aktivasyonunun, yoğun bir öfori hissi yaratmak için gerekli olduğuna inanılmaktadır.Kaynak hatası: Açılış <ref> etiketi hatalı biçimlendirilmiş veya hatalı bir ada sahip (Bkz: Kaynak gösterme)
İsteme ve Beğenme
Teşvik edicilik; NAc kabuk bölgesi tarafından ödüllendirici bir uyarana atanan, motivasyonel bir bileşen içeren "istemek" veya "arzulamak" niteliğidir. Mezolimbik yoldan NAc kabuğuna dopamin nörotransmisyonunun (dopamin moleküllerinin post-sinaptik nörondaki reseptörlerine bağlanması) derecesi, ödüllendirici uyaranlara yönelik teşvik ediciliğin büyüklüğü ile yüksek oranda ilişkilidir.
NAc'nin dorsorostral bölgesinin aktivasyonu, beğenmede artış olmaksızın istemedeki artışlarla ilişkilidir. Bununla birlikte, NAc kabuk bölgesine dopaminerjik nörotransmisyon, yalnızca ödüllendirici uyaranlara yönelik iştah belirten motivasyonel davranışlardan (yani teşvik edicilikten) değil, aynı zamanda davranışı istenmeyen uyaranlardan uzaklaştıran caydırıcı motivasyonlardan da sorumludur. Dorsal striatumda D1 ifade eden (express) orta boy dikensi nöronların aktivasyonu iştah belirten bir teşvik edicilik üretirken; D2 ifade eden orta boy dikensi nöronların aktivasyonu isteksizlik üretir. NAc'de, böyle bir ikilik o kadar net değildir ve hem D1 hem de D2 ifade eden orta boy dikensi nöronların aktivasyonu motivasyonu artırmak için yeterlidir, bunun sebebi de muhtemelen D1 veya D2 aktivasyonuyla ventral pallidumun inhibe edilerek VTA'nın disinhibe edilmesidir.
Robinson ve Berridge'in 1993'te önerdikleri teşvik-duyarlılaştırma (incentive-sensitization) teorisi, ödülün "istemek" (teşvik edilmek) ve "beğenmek" (haz) olarak iki farklı psikolojik bileşeninin olduğunu öne sürmüştür. Çikolata gibi belirli bir uyaranla kurulan temasın zamanla artmasını (zamanla daha çok çikolata yenmesi) açıklamak için, iş başında iki bağımsız faktör vardır - çikolataya sahip olma arzumuz (istek) ve çikolatanın verdiği haz (beğenme). Robinson ve Berridge'e göre, istemek ve beğenmek aynı sürecin iki yönüdür, bu nedenle ödüller genellikle aynı derecede istenir ve sevilir. Ancak isteme ve beğenme de belirli koşullar altında bağımsız olarak değişir. Örneğin, dopamin aldıktan sonra yemek yemeyen (yiyecek arzusunu yitiren) fareler, yiyecekleri hala seviyormuş gibi davranırlar. Başka bir örnekte, farelerin lateral hipotalamusunda kendi-kendini uyarma işlemi için kullanılan elektrotların aktivasyonu iştahı arttırır, ancak aynı zamanda şeker ve tuz gibi tatlara karşı daha olumsuz reaksiyonlara neden olur; görünüşe göre, uyarım beğenme'yi değil de isteme'yi artırıyor. Bu tür sonuçlar sıçanların ödül sisteminin, birbirinden bağımsız isteme ve beğenme süreçleri içerdiğini göstermektedir. İsteme bileşeninin dopaminerjik yolaklar tarafından kontrol edildiği düşünülürken, beğenme bileşeninin opiat-benzodiazepin sistemleri tarafından kontrol edildiği düşünülmektedir.
Ödül Karşıtı (Anti-Reward) Sistem
Koobs ve Le Moal, ödül peşinde koşma davranışının zayıflamasından sorumlu olan ve ödül karşıtı devre olarak adlandırdıkları ayrı bir devre olduğunu öne sürdüler. Bu bileşen ödül devresinde fren görevi görür, böylece aşırı yiyecek, seks vb. peşinde koşmayı önler. Bu devre, amigdalanın birden fazla kısmını (stria terminalinin yatak çekirdeği, merkezi çekirdek), NAc'yi ve norepinefrin, kortikotropin salıcı faktör ve dynorphin dahil olmak üzere bazı sinyal moleküllerini içerir. Bu devrenin aynı zamanda stresin hoş olmayan bileşenlerine aracılık ettiği varsayılır ve bu nedenle bağımlılık ve yoksunluk (withdrawal) belirtilerinde rolü olduğu düşünülür. Ödül devresi, bağımlılığın gelişim evresindeki olumlu pekiştirmeye aracılık ederken, daha sonra olumsuz pekiştirme yoluyla ödüllendirici uyaranların peşinde koşmayı motive edip hakimiyeti alan devre, ödül karşıtı devredir.
Ödül Sisteminin Öğrenmeyle İlişkisi
Ödüllendirici uyaranlar öğrenmeyi hem klasik koşullanma (Pavlovyan koşullanma) hem de edimsel koşullama (araçsal koşullanma) formunda sağlayabilir. Klasik koşullanmada, bir ödül, koşullu uyarıcı ile ilişkilendirildiğinde, koşullu uyarıcının hem kas-iskelet sistemini (basit yaklaşma ve kaçınma davranışları biçiminde) hem de bitkisel tepkileri ortaya çıkarmasına neden olan koşulsuz bir uyarıcı olarak görev alabilir. Edimsel koşullanmada, bir ödül, kendisine yol açan eylemleri arttırdığı veya desteklediği için bir güçlendirici olarak hareket edebilir. Öğrenilmiş davranışlar, yol açtıkları sonuçların değerine (sonucun olumlu ya da olumsuz oluşuna) duyarlı olabilir veya olmayabilir: Belli bir sonucun, bir eylemin gerçekleşmesine bağlı olması (eylemin bir sonuca duyarlı olması) ve bu eylemin sonuç değerine duyarlı olması durumunda o eylem hedefe yöneliktir; sonucun değerine karşı duyarsız olan eylemlere ise alışkanlık denir. Bu ayrımın, modelsiz ve model temelli olmak üzere iki öğrenme biçimini yansıttığı düşünülmektedir. Modelsiz öğrenme, değerlerin basit bir şekilde önbelleğe alınmasını (caching) ve güncellenmesini içerir. Buna karşılık, model tabanlı öğrenme, çıkarsama ve esnek tahmine izin veren dahili bir olay modelinin depolanmasını ve oluşturulmasını içerir. Pavlovyan koşullanmanın genellikle modelsiz öğrenme olduğu varsayılsa da, koşullu bir uyarana atanan teşvik edicilik, içsel motivasyon durumlarındaki değişiklikler açısından esnektir.
Uyaranlar ve sonuçlar, eylemler ve sonuçlar ve uyaranlar ve tepkiler arasındaki ilişkileri öğrenmekten sorumlu olan nöral sistemler birbirinden farklıdır. Klasik koşullanma ödül sistemi ile sınırlı olmamakla birlikte, koşullu uyaranlarla edimsel koşullamadaki performansın arttırılması (yani Pavlovyan-araçsal aktarım) nükleus akumbensi gerektirir. Alışkanlık ve hedefe yönelik edimsel öğrenme, sırasıyla lateral ve medial striatuma bağlıdır.
Edimsel öğrenme sırasında; sırasıyla direkt ve indirekt yolağı oluşturan D1 ve D2 tipi orta boy dikensi nöronlarda, AMPA ve NMDA reseptörlerinin oranları ve fosforile olmuş ERK proteini miktarları bakımından zıt yönlü değişimler olur. Sinaptik plastisitedeki bu değişiklikler ve beraberindeki öğrenme, striatumdaki D1 ve NMDA reseptörlerinin aktivasyonuna bağlıdır. D1 reseptörleri tarafından aktive edilen hücre içi kaskadı, protein kinaz A'nın işlevselleşmesi ve sonuçta DARPP-32'nin fosforilasyonu yoluyla, ERK'yi deaktive eden fosfatazların inhibisyonunu içerir. NMDA reseptörleri, farklı fakat birbiriyle ilişkili bir Ras-Raf-MEK-ERK yolağı aracılığıyla ERK'yi aktive eder . NMDA aktivasyonu aynı zamanda ERK deaktive edici fosfatazların PKA-aracılı inhibisyonunu da inhibe ettiğinden, ERK'nin tek başına NMDA aracılı aktivasyonu sınırlanmaktadır (Özetle NMDA aktivasyonu ERK'yi aynı anda hem aktive hem de deaktive etmektedir). Fakat D1 ve NMDA kaskadları aynı anda aktif olduğunda sinerji içerisinde çalışırlar ve sonuçta aktive olan ERK; dendritik dikenlerin (dendritic spine) yeniden yapılandırılması, AMPA reseptörlerinin taşınması, CREB proteininin düzenlenmesi ve Kv4.2'nin inhibe edilmesi yoluyla nöronun uyarılabilirliğini (excitability) artırma yöntemleri ile sinaptik plastisiteyi düzenlemektedir.
Ödül Sistemi ile İlgili Bozukluklar
Bağımlılık
ΔFosB (DeltaFosB)'nin - Bir transkripsiyon faktörü - nükleus akumbensteki D1 tipi orta boy dikensi nöronlardaki aşırı ifadesi (overexpression), bağımlılığın hemen hemen tüm çeşitlerinde gözüken (örneğin davranışsal bağımlılıklar ve ilaç bağımlılığı) kritik bir durumdur. ΔFosB özellikle kendi kendine (ilaç, uyuşturucu vb.) kullanma, ödüle duyarlılığın artması ve bağımlılık yapan ilaç ve davranışların birbirlerine olan duyarlılığı artırması ( bağımlılık yapan ilaçtan birinin kullanımının, kişinin diğer ilaca olan duyarlılığını artırması gibi) etkilerini güçlendirir.Beynin belirli bölgelerindeki histon proteinlerinin kuyruk kısımlarındaki belirli epigenetik modifikasyonların, bağımlılıkların moleküler temelinde çok önemli bir rol oynadığı da bilinmektedir.
Bağımlılık yapan uyuşturucular ve davranışlar, dopamin ödül yolağı üzerindeki etkileri nedeniyle ödüllendirici ve pekiştiricidir (yani bağımlılık yapar).
Lateral hipotalamus ve medial ön beyin demeti, özellikle ilaçların beyin stimülasyonu ödülü üzerindeki etkilerine ilişkin çalışmalarda, en sık çalışılan bölgeler olmuştur. Kötüye kullanılan ilaçların alışkanlık oluşturan etkilerinin altında yatan nörotransmiter sistemi, nükleus akumbense giden nöronlar ve yerel GABAerjik nöronlardan aldığı girdilerden oluşan mezolimbik dopamin sistemidir. Amfetamin ve kokainin beyinde ödülle ilişkili etkileri, nükleus akumbensin dopaminerjik sinapslarında ve bir ihtimal medial prefrontal kortekstedir. Sıçanlar ayrıca, medial prefrontal kortekse kokain enjeksiyonu almak için (bu enjeksiyon, nükleus akumbenste dopaminin devir hızını artırır) bir kaldıraca bastırmayı da öğrenirler. Doğrudan nükleus akumbense verilen nikotin de, muhtemelen bu bölgenin dopaminerjik terminalleri üzerindeki presinaptik bir etki ile lokal dopamin salınımını arttırır. Nikotinik reseptörler dopaminerjik hücrelerin gövdelerine lokalize olur ve lokal nikotin enjeksiyonları, nikotinik ödül için kritik olan dopaminerjik hücre ateşlemesini arttırır. Opiatlarda ise, ödül etkilerinin görülmesi için en düşük eşiğe sahip bölge VTA'dır ve ödül etkisini oluşturan da buradaki GABAerjik nöronların aktivitesidir. Opiatlar ayrıca nükleus akumbensteki orta boy dikensi nöronları (bir sonraki cümle için bu nöronların GABAerjik olduklarını hatırlamakta fayda var) etkiler. Yani, şu ana kadar karakterize edilebilen ilaç-ödül devresi şunları içerir: Mezolimbik dopamin nöronlarına GABAerjik projeksiyonlar (opiatların ödül etkisinin birincil substratı), mezolimbik dopamin nöronlarının kendisi (psikomotor uyaranlara dayalı ödüllerin birincil substratı) ve mezolimbik dopamin nöronlarının GABAerjik eferentleri (önceki cümlede bahsedilen nükleus akumbensteki orta boy dikensi nöronlar).
Motivasyon
İşlevselliği engelleyici motivasyonel bozukluklar, bir dizi psikiyatrik semptom ve bozuklukta ortaya çıkar. Geleneksel olarak zevk hissetme kapasitesinin azalması olarak tanımlanan anhedoninin, çoğu anhedonik popülasyonda "beğenme" davranışları azalmadığı için aslında teşvik edilmedeki azalmayı yansıttığı düşünülmüş ve bu yüzden anhedoni yeniden incelenmiştir. Spektrumun diğer ucunda, yalnızca belirli uyaranların teşvik edici olması, davranışsal ve uyuşturucu bağımlılıklarının özelliğidir. Korku ya da paranoya durumunda, kişinin işlevselliği kaybetmesinin altında uyaranların sebep olduğu caydırıcılığın (tiksinme) artması yatıyor olabilir.
Anhedonia ile ilişkili tanılar konmuş bireylerde yapılan beyin görüntüleme çalışmaları, OFC ve ventral striatumda aktivitenin azaldığını bildirmiştir. Bir meta analiz de; anhedoninin kaudat nükleus, putamen, nükleus akumbens ve medial prefrontal korteks (mPFC) bölgelerinde ödül beklentisine verilen tepkinin azalmasıyla ilişkili olduğunu bildirmiştir.
Duygudurum bozuklukları
Ödül için çaba harcama istekliliği ile değerlendirildiği üzere, belirli depresyon türleri düşük motivasyonla ilişkilidir. Bu anormallikler kesin olmamakla birlikte striatumun belli bölgelerindeki azalmış aktivite ile bağlantılıdır ve dopaminerjik anormalliklerin bu durumda bir rol oynadığı varsayılırken, depresyonda dopamin fonksiyonunu araştıran çalışmalar tutarsız sonuçlar bildirmiştir. Postmortem ve nörogörüntüleme çalışmaları ödül sisteminin birçok bölgesinde anormallikler bulmuş olsa da, sadece birkaç bulgu tutarlı bir şekilde tekrarlanabilmiştir. Bazı çalışmalar, ödül veya pozitif uyaranlarla ilgili görevler sırasında NAc, hipokampus, mPFC ve OFC aktivitesinin azaldığını ve bazolateral amigdala ile subgenual singulat korteks (sgACC) aktivitesinin arttığını bildirmiştir. Bu anormalliklerin görüldüğü beyin görüntüleme çalışmalarını, az sayıda postmortem araştırma tamamlamaktadır; yapılan bu araştırmalar, mPFC'deki uyarıcı (excitatory) sinapsların azaldığını göstermektedir. Ödülle ilgili görevler sırasında mPFC'deki azalmış aktivite, daha fazla dorsal bölgeye (yani pregenual singulat korteks (pgACC)) lokalize oluyor gibi görünürken, daha ventral sgACC ise depresyonda normalden aktif olmaktadır.
Bu anormalliklerin altında yatan nöral devreleri hayvan modellerinde araştırma girişimleri de çelişkili sonuçlar vermiştir. Hayvanlarda depresyonu simüle etmek için kullanılan en yaygın iki model; kronik sosyal yenilgi stresi (KSYS) ve kronik hafif stres (KHS) modelidir. Bu modeller; sükroz tercihinde ve sosyal etkileşimde azalma ile zorunlu yüzme testinde hareketsizliğin artması (davranışsal çaresizlik) gibi hayvanlarda depresyonla ilişkilendirilen endofenotipler üretmektedir. KSYS'ye duyarlı hayvanlarda, fazik VTA ateşlemesinde artış görülür ve VTA-NAc projeksiyonlarının inhibisyonu, KSYS'nin neden olduğu davranışsal semptomları azaltır. Bununla birlikte, VTA- mPFC projeksiyonlarının inhibisyonu, sosyal geri çekilmeyi (social withdrawal) şiddetlendirir. Öte yandan, sükroz tercihinde ve zorunlu yüzme testinde görülen hareketsizlikte KHS ile ilişkili değişimler (sırasıyla azalma ve artış), VTA uyarımı ve inhibisyonu ile sırasıyla iyileştirilmiş ve şiddetlendirilmiştir. Bu farklılıklar, farklı stimülasyon protokollerine veya zayıf translasyonel paradigmalara atfedilebilir olsa da, bu değişken sonuçların sebebi ödülle ilgili bölgelerin işlevlerindeki heterojenlik de olabilir.
mPFC'nin tamamının optogenetik uyarımı, antidepresan etkiler üretir. Bu etkinin aslında, pgACC'nin kemirgenlerdeki homoloğunda (prelimbik korteks) lokalize olduğu görünüyor, çünkü sgACC'nin kemirgen homoloğunun (infralimbik korteks) uyarılması hiçbir davranışsal etki üretmiyor. Ayrıca inhibitör etkisi olduğu düşünülen infralimbik korteksin derin beyin stimülasyonu yöntemiyle uyarılması da antidepresan etki yaratır. Bu bulgu, infralimbik korteksin farmakolojik inhibisyonunun depresif davranışları azalttığı gözlemiyle uyumludur.
Şizofreni
Şizofreni, doğaçlama konuşmanın azalması gibi negatif semptomlarla gözlendiği üzere motivasyonda azalmalarla ilişkilendirilir . "Beğenme" deneyiminin hem nöral hem de davranışsal açıdan genellikle aynı kaldığı rapor edilmiştir, fakat bu sonuçlar para ödülleri gibi yalnızca belli başlı uyaranlara özgü de olabilir. Ayrıca, şizofrenide örtük öğrenme ve ödülle ilgili basit görevlerde de bozulma görülmemektedir. Aksine, ödül sistemindeki eksiklikler, bilişsel olarak karmaşık olan ödülle ilgili görevler sırasında belirgindir. Bu eksiklikler striatum ve OFK'deki anormal aktiviteyle, bir de dorsolateral prefrontal korteks (DLPFC) gibi bilişsel işlevlerle ilişkili bölgelerdeki anormalliklerle ilişkilidir.
Dikkat eksikliği hiperaktivite bozukluğu (DEHB)
DEHB hastalarında, ödül sisteminin temel kısımları normalden daha az aktiftir ve bu durum hastaların düzenli faaliyetlerden ödül almasını zorlaştırır. Bozukluğu olanlar, yüksek seviyede uyarıcı bir davranış dopamin salınımını tetikledikten sonra bir motivasyon artışı yaşarlar. Bu destek ve ödülün ardından, dopaminin eski seviyelere dönüşü, motivasyonda ani bir düşüşe neden olur.
Dopaminerjik ve serotonerjik fonksiyon bozukluklarının DEHB'de ana faktörler olduğu söylenmektedir. Bu bozukluklar, ödül işleme (reward processing) gibi yürütücü işlevler problemleri ve anhedoni gibi motivasyonel işlev bozukluklarına yol açabilir.
Ödül Sistemi ile İlgili Buluşların Tarihi
Beyinde bir ödül sisteminin varlığına dair ilk ipucu, 1954'te James Olds ve Peter Milner tarafından kazara yapılan bir keşifle geldi. Sıçanların, beyinlerindeki belirli bölgelere kısa süreli bir elektrik stimülasyonu uygulamak için bir çubuğa basmak gibi davranışlar sergilediklerini keşfettiler. Bu fenomene intrakraniyal kendi kendini uyarma veya beyin stimülasyonu ödülü denir. Tipik olarak, fareler bu beyin stimülasyonunu elde etmek için bir kola saatte yüzlerce veya binlerce kez basarlar ve yalnızca tükendiklerinde dururlar. Sıçanlara problem çözmeyi ve labirentlerde ilerlemeyi öğretmeye çalışırken, beyinde önceki çalışmada bahsedilen bölgelerin uyarılması hayvanlara zevk veriyor gibiydi. Aynı şeyi insanlarda da denediler ve sonuçlar benzerdi. Hayvanların neden kendilerinin veya türlerinin hayatta kalması için hiçbir değeri olmayan bir davranışta (intrakraniyal kendi kendini uyarma) bulunduğunun açıklaması, bu uyarımın beyindeki ödül sistemini harekete geçirmesidir.
1954'te yapılan temel bir keşifte James Olds ve Peter Milner, farelerin beyninin belirli bölgelerinin düşük voltajlı elektrikle uyarılmasının, hayvanlara labirentlerde ilerlemeyi ve problem çözmeyi öğretmede bir ödül olarak kullanılabildiğini buldular. Beynin bu bölümlerinin uyarılmasının hayvanlara zevk verdiği görülüyordu ve daha sonraki çalışmalarda insanlar bu tür uyaranlar karşısında haz verici duyumlar bildirdiler. Sıçanlar, bir kola basarak ödül sistemini uyarabilecekleri Skinner kutularında test edildiğinde, o kola saatlerce bastırdılar. Sonraki yirmi yılda yapılan araştırmalar, dopaminin bu bölgelerde nöral sinyalleşmeye yardımcı olan ana kimyasallardan biri olduğunu ve dopaminin beynin "zevk kimyasalı" olduğunu öne sürdü.
Ivan Pavlov , klasik koşullanmayı incelemek için ödül sistemini kullanan bir psikologdu. Pavlov bu sistemi, köpekleri bir zil veya başka bir uyaranla uyardıktan sonra yiyecekle ödüllendirerek kullanıyordu. Pavlov köpekleri ödüllendiriyordu, böylece köpekler yemeği, yani ödülü; zil ile, yani uyarıcıyla ilişkilendiriyordu. Edward L. Thorndike, edimsel koşullanmayı incelemek için ödül sistemini kullanıyordu. Kedileri bir bulmaca kutusuna koyardı ve yemeği kutunun dışına koyduğu için kediler kutudan kaçmak isterlerdi. Kediler kutudan kaçtıktan sonra mamayı yemelerine rağmen, Thorndike kedilerin mama ödülü olmadan da kutudan kaçmaya çalıştıklarını gördü. Thorndike, kedilerin ödül sistemini uyarmak için yiyecek ve özgürlüğün ödüllerini kullandı.
Diğer Türler
Hayvanlar, doğrudan (tegmentuma veya nükleus akumbense) bir afyon enjeksiyonu elde etmek için bir çubuğa basmayı çabukça öğrenirler. Aynı hayvanlar, mezolimbik yolun dopaminerjik nöronları etkisiz hale getirilirse afyon elde etmek için çalışmazlar. Bu perspektifte, hayvanlar da insanlar gibi dopamin salınımını artıran davranışlarda bulunurlar.
Bir afektif sinirbilim araştırmacısı olan Kent Berridge, tatlı ve acı tatların farklı ağız-yüz ifadeleri üretttiğini ve bu ifadelerin yeni doğan insanlar, orangutanlar ve sıçanlarda benzer şekilde üretildiğini buldu. Bu, hazzın (özellikle hoşlanmanın) nesnel özelliklere sahip olduğunun ve çeşitli hayvan türlerinde esasen aynı olduğunun kanıtıydı. Çoğu sinirbilim araştırması, ödül sayesinde ne kadar çok dopamin salınırsa, ödülün o kadar etkili olduğunu göstermiştir. Buna, ödül için harcanan çaba ve ödülün kendisi tarafından değiştirilebilen hedonik etki denir. Berridge, dopamin sistemlerinin bloke edilmesinin, tatlı bir şeye verilen pozitif tepkiyi değiştirmediğini keşfetti (yüz ifadesi ile ölçüldüğü üzere). Başka bir deyişle, hedonik etki şeker miktarına göre değişmedi. Bu, dopaminin hazza aracılık ettiğine dair geleneksel varsayımı yanlışladı. Daha yoğun dopamin değişiklikleriyle bile, veriler reaksiyonların seviyesi sabit kalıyor gibiydi.Bununla birlikte, bir dopamin öncüsünün (levodopa), antagonistin (risperidon) ve plasebonun müziğe verilen ödül tepkileri -elektrodermal aktivitedeki değişiklikler ve müzik ile rahatlama seansları sırasında sübjektif derecelendirmelerle ölçülen zevk derecesi- üzerindeki etkisini değerlendiren Ocak 2019 tarihli bir klinik çalışma, dopamin nörotransmisyonu manipülasyonlarının, insan deneklerde haz bilişini (özellikle müziğin hedonik etkisini) çift yönlü olarak düzenlediğini buldu. Bu araştırma, artan dopamin nörotransmisyonunun, insanlarda müziğe verilen hedonik tepkiler için olmazsa olmaz bir koşul olarak etki gösterdiğini bulmuştur.
Berridge, ödülün "isteme" boyutunu açıklamak adına teşvik edicilik (incentive salience) hipotezini geliştirmiştir. Uyuşturucu artık öfori üretmediğinde bile uyuşturucu bağımlıları tarafından uyuşturucuların kompulsif kullanımını ve bireyin yoksunluktan geçtikten sonra bile yaşadığı şiddetli istekleri açıklar. Bazı bağımlılar, uyuşturucuların neden olduğu sinirsel değişikliklere sebep olan belirli başka uyaranlara yanıt verir. Beyindeki bu duyarlılaşma, dopaminin yarattığı etkiye benzer çünkü isteme ve beğenme tepkileri oluşur. İnsan ve hayvan beyinleri ve davranışları, ödül sistemleriyle ilgili olarak benzer değişiklikler yaşar çünkü bu sistemler çok belirgindir.