# 핵심 요약 이 연구는 "중뇌 도파민 뉴런이 보상 예측오차(reward prediction error, RPE)를 부호화한다"는 지배적 가설이 인간에서 직접적으로 검증된 적이 거의 없다는 점, 그리고 도파민이 혐오/처벌 학습에도 관여하는지가 여전히 논쟁 중이라는 점에서 출발한다. 저자들은 DBS(deep brain stimulation, 뇌심부자극) 수술을 받는 본태성 진전(essential tremor, ET) 환자의 caudate(미상핵)에 carbon-fiber microelectrode를 삽입해 100 ms 해상도로 세포외 도파민 농도를 측정하면서, 금전적 이득과 손실이 확률적으로 주어지는 보상·처벌 학습 선택 과제(PRP task)를 수행하게 했다. 표준 temporal difference reinforcement learning(TDRL, 시간차 강화학습)이 지정한 TD-RPE로 도파민 시계열을 정렬했을 때, 전체 시행에서는 양·음 RPE가 통계적으로 구분되지 않았고, 사건 후 초기(0–300 ms) 구간에서, 그것도 **보상 시행에서만** 약하게 구분되었으며 처벌 시행에서는 전혀 구분되지 않았다. 반면 appetitive(식욕적/보상적) 정보와 aversive(혐오적/처벌적) 정보를 독립적인 두 계통(P-system, N-system)이 병렬로 TD 학습한다고 가정하는 valence-partitioned reinforcement learning(VPRL, 원자가 분할 강화학습) 모델은 행동 적합도가 더 우수했고, 이 모델이 지정한 valence-partitioned RPE(VP-RPE)는 0–300 ms에서, valence-partitioned PPE(VP-PPE)는 400–500 ms라는 **구분되는 시간창**에서 도파민 변동에 의해 부호별로 유의하게 분리되었다. 로지스틱 분류기 디코딩에서도 보상 예측오차는 두 모델 모두에서 비슷하게 디코딩되었으나, 처벌 예측오차는 VPRL로 라벨링했을 때만 디코딩이 성공하고 TDRL 라벨링에서는 우연 수준이었다(auROC 차이 P = 0.03). 저자들은 인간 선조체의 초 이하(subsecond) 도파민 변동이 보상과 처벌 예측오차를 독립적인 valence-특이 경로를 통해 서로 다른 시간 간격에 부호화할 수 있다고 결론짓는다. # 배경: 도파민 RPE 가설과 인간에서의 직접 증거의 공백 논문은 도파민 뉴런이 포유류 뇌 기능과 행동에 필수적이며, 도파민 효능의 변화가 물질사용장애, 우울증, 파킨슨병 등 광범위한 인간 뇌질환의 기저로 여겨진다는 점에서 논의를 시작한다. 중뇌 도파민 뉴런은 기저핵과 인지·변연·운동 기능과 연관된 피질 영역으로 투사하고 배쪽·등쪽 선조체와 되먹임 연결을 형성하여, 보상 학습·운동 계획과 실행·동기·정서 등 자극 주도적 및 목표 지향적 의사결정을 지지하는 분산 네트워크에 영향을 미치는 것으로 여겨진다. 이러한 이질적인 계산적 역할을 통합하는 대표 가설이 도파민 뉴런이 보상 기대 오차, 즉 RPE를 부호화한다는 것이다. 특히 비인간 동물 연구에서 도파민 뉴런의 위상성(phasic) 발화 변화가 강화학습 이론에서 유도된 최적 학습 신호인 temporal difference RPE(TD-RPE)를 부호화함이 보고되어 왔고, 이 신호는 최근 인간 전문가 수준 성능을 달성하는 심층 강화학습 인공신경망 발전의 중심이 되었다. 그러나 인간에서의 직접 증거는 제한적이다. 인간에서 추정 도파민 뉴런의 발화율이 RPE를 부호화한다는 증거가 있고(Zaghloul et al.), 도파민 입력이 풍부한 영역에서 RPE 처리와 일치하는 BOLD 신호 변화가 관찰되지만, 세포체의 발화율이나 혈역학 신호 같은 간접 지표는 **표적 영역에서의 도파민 방출 자체가** RPE를 신호한다는 직접 증거가 되지 못한다. 설치류에서는 FSCV와 dLight·GRAB 같은 유전자 부호화 형광 도파민 센서로 선조체 세포외 도파민의 초 이하 변화가 측정되었고, 이 연구들은 도파민이 RPE를 반영할 뿐 아니라 약물 예측 단서 등 다양한 정동적 자극에 반응하고, 기록 위치나 과제 요구(예: 노력 비용)에 따라 달라짐을 보여주었다. 또한 설치류와 비인간 영장류 연구는 도파민 뉴런 발화율이 혐오 예측오차도 부호화할 수 있음을 보고했고, 인간 fMRI 연구는 식욕적/혐오적 결과 학습 중 도파민 풍부 영역에서 RPE와 punishment prediction error(PPE, 처벌 예측오차) 신호가 표상됨을 시사한다. 최근 인간 뇌에서 고시간해상도로 도파민 방출을 직접 측정한 연구들은 초 이하 도파민 변동이 위험 의사결정 중 실제 및 반사실적(counterfactual) 오차 신호, 일련의 결정 후 평균 보상 가치, 비강화적이지만 목표 지향적인 지각적 의사결정을 반영함을 보였다. RPE 추정이 가능했던 실험에서는 도파민 수준이 이득과 손실 모두에 대해 실제 정보와 반사실적 정보를 얽어(entangle) 중첩된 가치 예측오차 신호를 형성하는 것으로 보였다. 이는 세포외 도파민 변동이 부호화하는 보상·처벌 정보가 **독립적인 흐름에서 유래하여** 선조체 하류 뉴런에서 결합 또는 분화될 수 있다는 가설로 이어진다. 저자들은 두 가지 질문을 설정한다. (i) 인간 선조체의 도파민 방출이 비인간 영장류 연구가 제안한 대로 TD-RPE를 특이적으로 부호화하는가? (ii) 같은 부위의 도파민 방출이 PPE도 부호화하는가(여전히 논쟁 중인 대안 가설)? 이를 검증하기 위해 인간 전압전류법(voltammetry)을 쓰면서, 보상적 피드백과 처벌적 피드백이 도파민 방출 및 선택 행동에 미치는 영향을 분리할 수 있도록 설계된 의사결정 과제를 사용했다. 과제 설계 덕분에 도파민 방출이 RPE와 PPE를 (i) 단일차원 valence 시스템으로 부호화한다는 가설과 (ii) 식욕적·혐오적 자극이 독립 시스템에 의해 처리되어 동시 발생하지만 통계적으로 독립적인 자극에 대한 학습을 가능케 하는 valence-partitioned 시스템으로 부호화한다는, 상호 배타적인 두 가설을 표현하는 두 강화학습 모델을 검정할 수 있었다(fig. S1). # 방법 ## 참가자와 수술 맥락 총 11명의 ET 진단 환자(여 6, 남 5; 연령 범위 48–82세; 평균 ± SD = 67.5 ± 10.9)가 DBS 치료 승인 후보로서 참여했다. 이 중 3명은 caudate에 carbon-fiber microelectrode를 두고 도파민 방출을 기록하며 과제를 수행했고, 1명은 시상 VIM에 carbon-fiber microelectrode를 둔 상태에서, 나머지 7명은 텅스텐 미세전극으로 기록하며 과제를 수행했다. 11명 전원의 **행동 데이터**는 위계적 파라미터 추정과 행동 분석(figs. S3, S6, S7, S9)에 포함되었으나, 텅스텐 전극(n = 7)과 시상 VIM(n = 1) 신경화학 기록은 본 논문에 포함되지 않았다. 따라서 도파민 예측오차 분석(Figs. 2, 3 및 figs. S4, S5, S8)에는 **caudate carbon-fiber 기록 3명**만 포함되었다. 11명 중 4명은 150시행을 모두 완료하지 못했다(121–148 시행 범위). ET 환자의 DBS 리드 표적은 시상의 ventralis intermediate nucleus(VIM)이며, 이 수술 경로는 도파민 신경지배와 방출의 주요 부위인 caudate 내 carbon-fiber 미세전극 기록을 가능하게 한다. 저자들은 ET의 병태생리가 도파민 시스템의 교란을 포함하지 않는 것으로 여겨진다는 점을 명시한다. DBS 리드 삽입 전, DBS 리드가 놓일 궤적을 따라 carbon-fiber 미세전극으로 전압전류법 기록을 수행하며, 본 연구에서는 전극이 caudate(대체로 내측-후방 영역)에 위치했고 도파민은 100 ms마다 한 번씩 표본화되었다. 연구 절차 후 carbon-fiber 전극을 제거하고 DBS 전극 이식 수술을 완료한다. 저자들은 이러한 두개내 연구 수행이 수술 결과나 관련 위험을 변화시키지 않는다고 보고된 바 있음을 인용한다(감염률 증가 없음). 서면 동의는 수술일 전, 임상 시술을 받기로 결정한 후에 얻었고, 실험은 Wake Forest University Health Sciences IRB(no. IRB00017138)의 승인을 받았다. 추가로 지역사회에서 모집된 건강 성인 행동 전용 코호트(N = 42; 여 19명)가 동일한 PRP 과제를 수행했다(IRB00042265). ## 확률적 보상·처벌(PRP) 학습 과제 PRP 과제는 150시행, 2선택지 금전 보상·처벌 학습 과제로, 선택된 옵션이 확률적으로 금전적 이득(또는 이득 없음) 혹은 금전적 손실(또는 손실 없음)로 강화된다. 프랙탈 이미지로 표현된 6개 옵션이 가능한 행동 집합을 구성하며, 각 옵션은 세 가지 결과 확률(25%, 50%, 75%) 중 하나와 두 가지 결과 원자가(금전적 이득 또는 손실) 중 하나에 배정된다. 따라서 보상 연합 "gain/no-gain" 옵션 3개와 "loss/no-loss" 옵션 3개가 존재하며, 옵션-확률-원자가 배정은 참가자 간 무작위화된다. 매 시행 6개 중 2개가 제시되며 옵션 쌍은 고정이 아니라 무작위이다. 과제는 참가자에게 알려지지 않은 채 단계(phase)로 구성된다(fig. S2). - **Phase 1(시행 1–25)**: 확률적 이득 시행에 치우쳐 있으며, 세 gain/no-gain 옵션 중 두 개가 제시되고 결과는 $1 또는 $0. 참가자는 phase 2에 들어가기 전 초기 현금 보유고를 축적한다. - **Phase 2(시행 26–75)**: 확률적 손실 시행(−$1 또는 $0)이 도입된다. gain/no-gain 시행과 loss/no-loss 시행이 동수로 무작위 순서로 제시된다. - **Phase 3(시행 76–150)**: 두 옵션이 무작위로 제시되어 gain-gain, loss-loss, 또는 혼합(mixed) 시행이 가능하다. 결과 **확률은 유지되지만 크기(magnitude)가 변경**되어, 25%·50%·75% "gain" 옵션이 각각 $2.50, $1.50, $0.50을 지급하고, 25%·50%·75% "loss" 옵션이 각각 −$1.25, −$0.75, −$0.25를 잃게 된다. 그 결과 기대값 순위가 바뀌어 어떤 옵션이 가장 많이/적게 지급하는지가 역전된다(reversal learning). 최적 수행을 위해서는 긍정적·부정적 피드백 모두로부터 학습하여 매 시행 기대보상을 최대화하고 기대처벌을 최소화하는 옵션을 선택해야 한다. 참가자에게는 일부 옵션이 돈을 벌게 하고 일부는 잃게 함을, 목표는 수익 극대화이며 총 수익을 방문 종료 시 보너스로 지급받음을 알려주었다. 각 시행에서 참가자는 자기 속도로 선택한다. 선택 즉시 미선택 옵션이 사라지고 선택 옵션이 강조되며 이 화면이 3초간 유지된다. 이후 결과가 1초간 표시되고, 다음 시행 전 무작위 시간 간격(λ = 3 s의 Poisson 분포)의 빈 화면이 뒤따른다. 또한 각 시행에서 확률 0.33으로 결과 제시 후 빈 화면 다음에 "How do you feel about the last outcome?"라는 텍스트와 수직 커서를 움직일 수 있는 시각 아날로그 평정 척도가 제시되어 주관적 느낌을 평정하게 했다. Fig. 1은 (A) 수술실에서의 인간 전압전류법 실험 사진과 caudate 내 carbon-fiber 미세전극의 대략적 위치를 보여주는 MRI 삽입도, (B) 과제 시행 모식도, (C) 한 참가자에서 얻은 시행별 caudate 도파민 시계열(과제 단계별 색상 구분, 선택지 제시 시점을 나타내는 수직 점선, 선택 개시(적색)·결과 개시(흑색)·평정 질의 개시(청색)·평정 제출(자홍색) 표지)을 제시한다. ## 계산 모델 ### TDRL 모델 표준 TDRL에서 상태-행동 쌍의 기대가치 Q(s_i, a_i)는 Q(s_i,a_i) ← Q(s_i,a_i) + αδ_i (Eq. 1)로 갱신되며, δ_i = [outcome_i + γ·max_ã Q(s_{i+1}, ã)] − Q(s_i, a_i) (Eq. 2)이다. 0 < α < 1은 학습률, 0 < γ < 1은 시간 할인 파라미터이다. PRP 과제의 시행은 i = {1, 2, 3, 4}의 사건 시점(1: 옵션 제시, 2: 행동 수행, 3: 결과 제시, 4: (종말) 전환 화면)으로 정의했다. 선택은 softmax(범주형 로짓) 정책으로 모형화했고(Eq. 3), 0 < τ < 20은 선택 온도 파라미터로 탐색-활용 균형을 매개한다. ### VPRL(covalent learning) 모델 VPRL은 각 행동에 대해 보상 가치와 처벌 가치라는 **두 개의 분리된 가치 표상**이 학습되고, 별개의 (신경) 시스템이 보상 특이적·처벌 특이적 예측오차를 신호하여 각각의 행동가치를 갱신한다고 명시한다. 즉 "positive(P)" 시스템과 "negative(N)" 시스템이 보상 처리와 처벌 처리 사이에 분할(partition)을 설정한다. P 시스템은 보상 결과만 추적하고(outcome_i > 0), N 시스템은 처벌 결과만 추적하며(outcome_i < 0), 각 시스템은 반대 원자가 결과와 무결과를 "아무 일도 일어나지 않은 것"으로 부호화한다. - P 시스템 예측오차(Eq. 4): outcome_i > 0이면 δ^P_i = outcome_i + γ_P·max_ã Q_P(s_{i+1},ã) − Q_P(s_i,a_i); outcome_i ≤ 0이면 outcome 항이 0. - N 시스템 예측오차(Eq. 5): outcome_i < 0이면 δ^N_i = |outcome_i| + γ_N·max_ã Q_N(s_{i+1},ã) − Q_N(s_i,a_i); outcome_i ≥ 0이면 outcome 항이 0. 처벌 결과의 **절댓값**을 사용한 이유는, N 시스템이 예상보다 큰 처벌에 대해 발화율을 증가시키고 예상보다 작은 처벌에 대해 감소시키는 신경계를 반영하도록 처벌을 양(+)의 방향으로 전달하게 하기 위함이다. - 갱신 규칙(Eqs. 6, 7): Q_P ← Q_P + α_P δ^P, Q_N ← Q_N + α_N δ^N (α_P, α_N은 각각 P·N 시스템 학습률). - 통합(Eq. 8): Q(s_i,a_i) ← Q_P(s_i,a_i) − Q_N(s_i,a_i)로 대비(contrast)하여 합성 행동가치를 계산하고 이를 softmax 정책에 입력한다(가장 단순한 뺄셈 방식이며, 대안적 통합 방식은 후속 연구 과제로 남겨둔다고 명시). 각 valence 시스템 내부 역학은 보상 학습 또는 처벌 학습을 독립적으로 지배하지만, 두 시스템의 신호는 하류 시스템에서 통합되어 더 복잡한 정동 행동의 계산(예: 자극·행동의 순 정동 원자가 = 양성 시스템 신호 − 음성 시스템 신호; 행동 활성화/각성 = 양성 + 음성)을 제공할 수 있다(fig. S1). ### 비대칭(asymmetric) 변형 모델 양·음 예측오차에 서로 다른 학습률을 쓰는 비대칭 TDRL(Eq. 9: α+, α−)과 비대칭 VPRL(Eqs. 10, 11: α+P, α−P, α+N, α−N)도 행동에 적합시켰다. ### 위계적 베이지안 적합과 모델 비교 모든 모델은 개인 수준 파라미터가 집단 수준 분포에서 추출되는 위계 구조로 지정되었다. 이 접근은 파라미터 간 의존성을 설명하고 개인 추정치를 집단 평균 쪽으로 축소시켜 추정 신뢰도·모델 식별 가능성을 높이고 과적합을 피한다. 개인 수준 파라미터의 사전분포와 집단 수준 평균(−∞ < μ < +∞) 및 SD(0 < σ)의 초사전분포는 표준정규로 정의했고, 모든 파라미터는 제약 없는 공간에서 추정한 뒤 inverse Probit 변환으로 [0,1]에 사상하고 상한으로 스케일링했다(학습률·시간할인 상한 1, 선택 온도 상한 20; Eqs. 13–16의 비중심 매개화). 표집은 Stan(rstan v. 2.21.2)의 Hamiltonian Monte Carlo로 수행했고, 각 코호트별·전체 통합별로 3개 체인 × 12,000 반복(warm-up 2,000) = 파라미터당 총 30,000 사후표본을 얻었다. Gelman-Rubin 통계량 R̂이 모든 파라미터에서 1.1 미만임을 확인했다. 모델 비교는 베이지안 주변우도(model evidence, Eqs. 17–19)에 근거했으며, 이는 모델 적합도와 복잡도의 균형을 자동으로 반영한다("베이지안 오컴의 면도날"). 로그 주변우도는 R 패키지 bridgesampling(v. 1.1-2)의 bridge sampling으로 추정했고, 안정성 확보를 위해 표집을 10회 반복하여 중앙값과 사분위범위를 보고했다. 추가로 Bayesian leave-one-out 교차검증 예측정확도(ELPD-LOO; Eqs. 20, 21)를 R 패키지 loo(v. 2.3.1)로 근사했다. 모델 비교는 ET 코호트, 행동 전용 코호트, 그리고 두 코호트를 합친 "메타 분석" 코호트(N = 53)에 대해 3중으로 수행해 재현성과 일반화 가능성을 평가했다. 이후의 행동·신경화학 분석은 관심 신경생물학적 기전(RPE와 PPE의 분할 신호)을 가장 직접적으로 다루는 기본 TDRL·VPRL 모델에 집중했으며, ET 코호트의 모든 후속 분석은 ET 코호트 단독 적합치를 사용했다. ### 모델·파라미터 복구 분석 모델 복구: ET(N = 11)와 행동(N = 42) 코호트의 개인 수준 파라미터 평균값으로 TDRL·VPRL 각각의 선택 행동을 시뮬레이션한 뒤 모델 비교 지표를 계산해 참 생성 모델이 최적 모델로 식별되는지 확인했다(table S2). 파라미터 복구: 두 코호트의 집단 수준 TDRL·VPRL 파라미터 분포 차이를 계산한 결과 어떤 파라미터에서도 신뢰할 만한 차이가 없었고(fig. S9), 표본 크기가 큰 행동 코호트 자료로 파라미터 복구를 수행했다(각 참가자의 평균 파라미터로 다른 옵션 제시 순서의 PRP 데이터 42세트를 시뮬레이션 → 재적합 → 실제 적합 파라미터와의 Pearson 상관 계산). ## 전기화학 측정 및 도파민 농도 추정 인간 FSCV 프로토콜은 선행 연구에서 상세히 기술된 바 있으며, 인간 뇌용 맞춤형 carbon-fiber 미세전극 제작을 포함한다. 이 전극의 전기화학적 특성은 설치류 뇌에서 설치류 전극과 일치함이 검증되었고, 자극 전류의 전압 파형·순환 주파수 및 전압 스윕 중 전류 시계열의 표집률은 설치류 연구와 동일하다. 인간 프로토콜의 핵심 차이는 **생체 내 분석물 농도 추정 통계 방법**이다. 전통적 방법은 알려진 농도의 in vitro 데이터에서 유도된 주성분 시계열을 회귀변수로 하는 주성분 회귀를 쓰지만, 인간 프로토콜은 지도학습 접근을 채택한다. 즉 관심 분석물(도파민, 세로토닌), 다양한 pH 수준, 표적 분석물의 흔한 대사물(DOPAC, 5-HTIAA) 또는 노르에피네프린 등 다른 신경전달물질의 알려진 농도에서 얻은 in vitro voltammogram에 elastic net 벌점 선형회귀를 훈련시킨다. 인간 기록용과 동일한 다수의 carbon-fiber 미세전극으로 훈련 데이터를 수집하고, 교차검증으로 out-of-probe 오차를 줄이도록 최적화한다. 이 방식은 특히 서로 다른 pH 조건에서 주성분 회귀보다 신뢰할 만한 도파민 추정치를 제공하며, 변동하는 pH 배경 및 대사물·노르에피네프린 변화 속에서 도파민-세로토닌 혼합물을 신뢰성 있게 구별한다. 측정 파형은 −0.6 V에서 시작해 400 V/s로 +1.4 V까지 상승 후 −400 V/s로 −0.6 V로 하강하는 삼각파이며, 전극 표면 평형을 위해 60 Hz로 10분간 순환시킨 뒤(equilibration phase), 행동 과제를 포괄하는 실험 구간 동안 10 Hz로 인가했다. 유도 전류(voltammogram)는 100 kHz 표집률로 수집했다. 전극의 caudate 내 위치는 치료용 DBS 전극의 환자별 궤적에 따라 환자마다 다르다. in vitro 훈련 데이터는 인간 실험용과 동일한 carbon-fiber 미세전극 5개 집단에서 수집했다. 각 프로브가 용액 혼합물당 1개씩 총 16개 데이터셋을 기여했고, 각 데이터셋은 알려진 농도의 도파민·DOPAC·아스코르브산(0–1500 nM, 100 nM 간격)과 pH 7.2–7.6(0.1 간격) 배경 조건에서 2분간의 voltammogram 기록으로 구성되었다. 모든 훈련 voltammogram은 250 kHz로 표집(voltammogram당 2500 샘플)한 뒤 15 샘플씩 평균하여 다운샘플링했다. 훈련에 사용한 voltammogram은 유동·전극 평형 인공물이 적은 후반 90초에서 취했고, 프로브당 용액 혼합물마다 900개, 총 14,400개의 라벨된 샘플을 확보했다. elastic net 벌점 선형회귀(Eqs. 22, 23)로 각 분석물의 알려진 농도를 예측했고 10-fold 교차검증으로 최적화했다. 목표변수 y는 도파민·DOPAC·아스코르브산·pH의 알려진 수준으로 이루어진 N × 4 행렬(N = 12,960 = 14,400의 9/10, 1/10은 교차검증용 보류), 예측변수 행렬 x는 원 voltammogram과 미분 voltammogram으로 이루어진 N × 498 행렬(다운샘플 voltammogram의 167 시점 + 1차 도함수 166 시점 + 2차 도함수 165 시점)이다. 잔차제곱합을 elastic net 벌점 하에서 최소화하며, 0 < α < 1이 ridge(ℓ2)와 lasso(ℓ1) 정규화의 상대 가중을 매개한다. MATLAB glmnet 패키지의 cvglmnet으로 10-fold 교차검증하되, 여기서는 α = 1로 고정하고 최소 λ 값을 사용해 생체 내 기록에서 도파민 농도를 추정했다. ## 도파민 시계열 전처리와 통계 최적화된 elastic net 회귀모형으로 100 ms 해상도의 도파민 농도 시계열을 생성했다. 각 시행 시계열은 옵션 제시 화면 1초(10 샘플) 전부터 다음 시행 옵션 제시 100 ms(1 샘플) 전까지 잘라내고, 시행 내에서 z 점수화한 뒤 0.3초(3 샘플) 슬라이딩 창 지연 평균으로 평활했다. 여기서 옵션 제시, 행동 선택, 결과 제시 각각에 대해 사건 전 300 ms부터 사건 후 700 ms까지(총 11 시점)의 사건 관련 도파민 반응을 추출했다. 각 사건 관련 시계열은 사건 개시 직전 −300~0 ms 구간(4 샘플) 평균을 빼고 같은 기저선 구간의 SD로 나누어 정규화했다. 이렇게 세 개의 (시행 × 시간) 기저선 보정 행렬이 사건별로 생성되고, 이들을 TDRL 또는 VPRL 모델이 지정한 양/음 RPE·PPE에 따라 정렬했다. 이 과정을 전압전류법 분석에 포함된 환자 3명 각각에 대해 반복했다. 집단 수준 분석은 두 가지로 수행했다. (i) **고정효과 분석**: 모든 사건·시행·환자의 도파민 반응을 묶은 뒤 예측오차 반응을 통계 비교(Fig. 2). (ii) **혼합효과 분석**: 환자별로 모든 사건·시행에 대해 먼저 평균한 뒤 3명의 평균 예측오차 반응으로 비교(figs. S5, S8). 모수적 검정은 이원 ANOVA(예측오차 부호 × 시간) 또는 단일 시점 독립표본 t 검정이었다. 비모수 검정(fig. S4)은 순열검정(50,000회 반복)으로, 각 시점에서 양·음 RPE/PPE 평균 도파민 반응의 차이를 계산(라벨 순열)하고 이를 해당 시점 도파민 분산의 합으로 나눈 뒤, 순열 평균차 지표가 실제 평균차의 절댓값보다 큰 비율로 P 값을 계산했다. 다중비교 보정은 Benjamini-Hochberg 절차(FDR α = 0.05)로 수행했다. ## 예측오차 ROC 디코딩 분석 사건 관련 도파민 변동의 구간을 입력으로 양·음 RPE 및 PPE를 분류하는 로지스틱 회귀 모형을 훈련했다. TDRL 또는 VPRL 계산 모델이 정의한 변동을 각각 사용해 별도 분류기를 훈련했다. RPE 분류기는 도파민 변동의 0–300 ms 샘플을, PPE 분류기는 400–700 ms 샘플을 사용했으며, 이 RPE·PPE 특이적 시간창은 Fig. 2의 시계열 분석 결과에 근거해 선택했다. 적합된 분류기에서 MATLAB perfcurve로 auROC를 계산했고, TDRL·VPRL 분류기의 상대 성능은 10,000회 반복 순열검정으로 auROC 차이의 귀무분포를 만들어 비교했다. 저자들은 두 모델의 라벨링이 상당히 어긋난다는 점을 수치로 명시한다. 양의 TD-RPE 중 68%(429 사건)만이 양의 VP-RPE로 분류되었고, 26%(168 사건)는 음의 VP-PPE, 4%(25 사건)는 양의 VP-PPE, 2%(18 사건)는 음의 VP-RPE로 분류되었다. 음의 TD-RPE의 경우 45%(234 사건)만이 음의 VP-RPE로 분류되었고, 38%(204 사건)는 양의 VP-PPE, 14%(77 사건)는 음의 VP-PPE, 2%(9 사건)는 양의 VP-RPE로 분류되었다. # 결과 ## 행동: ET 환자는 과제의 유인 구조를 학습했다 행동 데이터는 ET 환자들이 PRP 과제의 유인 구조를 학습했음을 보여주었다. 전반적으로 주어진 시행에서 최적 옵션을 우연 수준보다 더 자주 선택했다. 또한 ET 환자들은 동일 과제를 행동 실험실 환경에서 수행한 성인 대조군 코호트와 유의하게 다르게 수행하지 않았으며, ET 환자에게 이 실험 과제가 특별히 더 어려웠음을 시사할 만한 차이는 없었다(fig. S3). ## 인간 도파민 수준과 TD-RPE 초 이하 도파민 변동이 TD-RPE를 반영하는지 검정하기 위해, 옵션 제시·행동 선택·결과 제시 각 시점에 정렬한 시행별 도파민 시계열을 추출했다. 세 시점 모두 과제 진행 중 TD-RPE를 유발할 것으로 기대되는 사건이다. 저자들은 학습이 진행되면 TD 예측오차 신호가 이전에 예상치 못했던 결과에 대한 반응에서 결과 예측 자극의 제시에 대한 반응으로 시간적으로 점진 이동한다는 점을 강조한다. 이는 TD 학습 과정의 특징적 성질로, 고차 조건화 행동과 도파민 뉴런 활동의 시간 패턴을 설명하며, 시행 내 시간을 고려하지 않는 Rescorla-Wagner 규칙 같은 이론 모형으로는 설명되지 않는다. 따라서 도파민 변동이 단일 시행 내 옵션 제시·행동 선택·결과 제시 관련 사건에 대해 TD-RPE를 신호할 것으로 가설을 세웠다. 참가자 행동에 TDRL 모형을 적합시켜 양의 TD-RPE(n = 640)와 음의 TD-RPE(n = 524)에 대한 평균 도파민 시계열 추정치를 비교했다(Fig. 2A, B; figs. S4, S5). 분석 시간창 선정 근거로, 인간·설치류·비인간 영장류에서 보상·처벌과 그 예측 단서에 대한 중뇌 도파민 뉴런 발화율 변화가 사건 후 100–700 ms 내에 발생하며 보상과 처벌 간에 다른 비선형·다상성(multiphasic) 시간 패턴을 갖는다는 점, 그리고 위험 의사결정 중 인간 선조체에서 이득·손실 예측오차 신호를 반영하는 세포외 도파민의 위상성 변화가 사건 후 200–600 ms 내에 관찰되었다는 점을 든다. 이에 따라 사건 후 0–700 ms 구간에 분석을 집중했다. **전체 사건·전체 시행에서** caudate의 초 이하 도파민 변동은 양의 TD-RPE와 음의 TD-RPE를 유의하게 구분하지 못했다(이원 ANOVA, RPE 부호, 0–700 ms: F_RPE-sign(1,7) = 1.11, P = 0.29; Fig. 2A). 그러나 도파민 TD-RPE 반응은 시간에 대해 선형이 아니었다. 분석 창을 사건 관련 도파민 반응의 초기(0–300 ms)와 후기(400–700 ms) 위상 성분으로 나누자, 전체 시행의 도파민 변동은 **초기 성분에서는** TD-RPE를 구분했으나 후기 성분에서는 구분하지 못했다(초기 이원 ANOVA: F_RPE-sign(1,3) = 6.11, P = 0.013; 후기 이원 ANOVA: F_RPE-sign(1,3) = 0.18, P = 0.67). 사건 후 0–700 ms의 각 시점별 사후 이표본 t 검정과 비모수 순열검정은 200 ms에서 양·음 TD-RPE 간 유의한 차이를 보였다(우측 검정 [(RPE > 0) > (RPE < 0)]: t_200ms(1162) = 1.90, P = 0.029; 순열검정 P = 0.026; fig. S4). 다음으로 도파민 반응을 보상 시행과 처벌 시행의 예측오차로 분리했다(Fig. 2B). 그 결과 도파민 방출은 **보상 시행**에서 사건 후 처음 300 ms 이내에 TD-RPE를 약하게 구분했으나(초기 성분 이원 ANOVA: F_RPE-sign(1,3) = 3.46, P = 0.063; 순열검정 P_300ms = 0.036; 우측 t 검정: t_300ms(688) = 1.74, P = 0.041), **처벌 시행**에서는 TD-RPE를 전혀 구분하지 못했다(초기 이원 ANOVA: F_RPE-sign(1,3) = 0.04, P = 0.84; 후기 이원 ANOVA: F_RPE-sign(1,3) = 2.51, P = 0.11). 저자들의 해석: 인간 caudate 도파민 수준의 위상성 변동은 사건 후 처음 200–300 ms에 TD-RPE를 신호할 수 있으나, 이는 **보상 관련 행동 및 기대 결과에 국한**된다. ## 인간 도파민 수준과 valence-partitioned 예측오차 Fig. 2B의 결과는 결과 자극이 처벌적이거나 처벌적일 것으로 기대될 때(예: 금전적 손실) 도파민 변동이 시간차 **보상** 학습을 반영하지 않음을 시사한다. 선행 연구가 도파민 반응이 PPE를 추적할 수 있음을 보였으므로, 저자들은 도파민이 PPE를 **독립적인, 처벌 특이적 가치평가 시스템**으로서 부호화할 수 있다는 가설을 세웠다. 이를 검증하기 위해 VPRL 틀에 기반한 "covalent learning" 모형을 참가자 행동에 적합시켰다. 이 모형은 두 개의 분리된 신경계가 각각 보상 정보(양성 원자가 시스템)와 처벌 정보(음성 원자가 시스템)를 처리하는 TD 학습을 구현한다고 가정한다. VPRL 틀에서 보상 시스템은 도파민 기반 TD-RPE 신호와 동일한 역할을 하되, 양성 시스템은 부정적 결과를 아무 일도 없었던 것처럼(실제 손실을 0의 결과로) 취급한다는 점만 다르다. 이 모형의 핵심은 TD 학습 알고리즘을 사용해 **부정적 원자가 정보의 통계적 구조를 학습하는 별도의 병렬 신경계**가 존재한다는 가설이며, 이는 통계적으로 독립적인 보상·처벌 사건에 대한 최적 학습을 가능하게 한다. 행동 적합 결과, VPRL 모형이 TDRL보다 참가자 행동에 더 잘 적합했다(table S1). 이 결과는 행동 실험실에서 컴퓨터로 PRP 과제를 수행한 독립적 건강 성인 코호트(N = 42)에서도 재현되었다(table S1 및 figs. S3, S6, S7). 추가 비교에서 VPRL 알고리즘은 식욕적·혐오적 자극을 분할하지 않는 전통적 TDRL 모형보다 보상·처벌 학습을 더 효율적으로 수행할 수 있음이 나타났다(예: 처벌 구조를 더 빨리 학습; figs. S6, S7). 다음으로 도파민 방출이 VP-RPE와 VP-PPE를 부호화하는지 검정하기 위해 도파민 시계열을 VPRL 모형이 지정한 예측오차로 분류했다: 양의 VP-RPE(n = 438), 음의 VP-RPE(n = 252), 양의 VP-PPE(n = 229), 음의 VP-PPE(n = 245)(Fig. 2C 및 figs. S4, S5). - **VP-RPE(보상 시행)**: 도파민 과도현상(transient)은 TD-RPE에서 발견된 것과 같은 시간창 내에서 VP-RPE를 구분했다(초기 성분 이원 ANOVA: F_RPE-sign(1,3) = 4.51, P = 0.034; 순열검정 P_200ms = 0.047, P_300ms = 0.046; 우측 이표본 t 검정 [(RPE > 0) > (RPE < 0)]: t_200ms(688) = 1.65, P = 0.049; t_300ms(688) = 1.63, P = 0.051). - **VP-PPE**: 주목할 점으로, 위상성 도파민 반응은 VP-RPE 반응과 **구분되는 시간창**, 즉 예측오차 후 400–500 ms에서 VP-PPE 신호를 효과적으로 구분했다(후기 성분 이원 ANOVA: F_RPE-sign(1,3) = 10.7, P = 0.001; 순열검정 P_400ms = 0.014, P_500ms = 9.8 × 10⁻³; 좌측 독립표본 t 검정 [(PPE > 0) < (PPE < 0)]: t_400ms(472) = −2.3, P = 0.010; t_500ms(472) = −1.80, P = 0.036). Fig. 2 캡션에 따르면 별표는 순열검정 P < 0.05를, 괄호로 둘러싼 별표는 Benjamini-Hochberg 절차로 다중비교 보정 후에도 유의함을 나타낸다. 저자 해석: 인간 caudate의 초 이하 도파민 변동은 VP-RPE와 VP-PPE를 부호화할 수 있으며, PPE의 경우 부호 관계가 반전되어(양의 PPE에서 낮은 도파민, 음의 PPE에서 높은 도파민) 나타난다. ## VPRL의 이론적 예측 검정: 정동 원자가 대비와 행동 활성화 마지막으로 저자들은 VPRL 틀의 이론적 예측, 즉 행동이나 자극의 전반적 정동 원자가(강화 대 처벌)와 행동 활성화(각성 고/저)가 각각 VP-RPE와 VP-PPE 신호의 **차이**와 **합**으로 표상될 수 있다는 예측을 검정했다(fig. S1). 전통적 TDRL에서는 정동 원자가와 행동 활성화가 모두 단순히 TD-RPE의 부호로 정의된다고 흔히 가정된다(양의 TD-RPE는 강화적이며 행동 활성화를 증가시키고, 음의 TD-RPE는 처벌적이며 행동 활성화를 억제). 그러나 본 연구 결과는 이 정보가 TDRL 가설로는 보상 시행에서만 구분 가능함을 보여준다(Fig. 2B). 이에 비해 VPRL 같은 이중 원자가 시스템 틀은 원자가 대비와 행동 활성화 정보 처리 모두에 대해 더 높은 해상도를 제공할 수 있다고 제안되어 왔다. 검정 결과, **긍정적 정동 원자가**(강화; VP-RPE > 0과 VP-PPE < 0의 평균)와 **부정적 정동 원자가**(처벌; VP-RPE < 0과 VP-PPE > 0의 평균)를 표상하는 도파민 반응 사이에 유의한 차이가 발견되었고, 특히 사건 후 **200–500 ms**에서 그러했다(fig. S8, A와 C). 반면 행동 활성화 신호를 표상하는 도파민 반응에서는 유의한 차이가 없었다(fig. S8, B와 D). ## RPE와 PPE의 디코딩 가능성 세포외 도파민 수준의 변동은 하류 신경 구조에 디코딩 가능한 신호를 제공할 것으로 기대된다. Fig. 2C에서 보고한 신호가 디코딩될 만큼 견고한지 확인하기 위해, 보상 시행의 양·음 예측오차(Fig. 3A, B) 또는 처벌 시행의 양·음 예측오차(Fig. 3C, D)에서 유래한 도파민 시계열을 구별하도록 로지스틱 분류기를 훈련했다. 양 대 음 **RPE**(보상 시행에서의 TD-RPE 또는 VP-RPE)를 구별하도록 훈련된 분류기는 TDRL과 VPRL 모형에서 비슷한 성능을 보였고, auROC 값의 차이는 통계적으로 유의하지 않았다(P 값은 10,000회 반복 순열검정으로 산출; Fig. 3A, B). 반대로 양 대 음 **PPE**(처벌 시행에서의 TD-RPE 또는 VP-PPE)를 구별하도록 훈련된 분류기는 도파민 시계열이 VPRL 모형에 따라 분할되었을 때에만 성공했고, 도파민 과도현상이 TDRL로 부호화된다고 가정했을 때에는 우연 수준의 성능을 보였다(auROC 차이 P = 0.03; Fig. 3C, D). # 고찰 ## 주요 결론 저자들은 인간에서 caudate의 초 이하 도파민 변동이 VPRL 틀이 예측하는 대로 RPE와 PPE 신호를 반영함을 보였다고 정리한다. 종합하면, 인간 의사결정은 식욕적·혐오적 경험과 기대의 독립적·병렬적 처리에 의해 영향을 받으며, 이 처리는 수백 밀리초라는 빠른 시간 척도에서 선조체 도파민 방출의 조절에 영향을 줄 수 있다. 이 발견은 위험 의사결정 중 인간 선조체 도파민 변동이 이득·손실과 관련된 실제 정보와 반사실적 정보를 중첩하는 것처럼 보인다는 선행 관찰을 설명하며, 식욕적·혐오적 학습 과정과 관련해 인간 선조체에서 관찰된 혈역학적 변화의 후보 신경화학적 기질을 가리킨다. ## 대안 모형과의 구별 관련 아이디어들이 이전에 제안된 바 있다. 예컨대 보상과 처벌이 학습 중 통합되어 "제로섬" 예측오차를 만들고 그 예측오차가 양(보상적)일 때만 도파민 뉴런이 신호한다는 견해(Daw & Dayan), 또는 양·음 RPE가 서로 다른 학습률로 "비대칭적으로" 학습된다는 견해(OpAL, 분포적 RL)가 있다. 그러나 저자들은 이러한 제안들이 **보상과 처벌에 대해 통합된 단일 행동가치 표상을 단일 예측오차로 갱신**한다는 점에서 VPRL과 구별된다고 강조한다. VPRL에서는 보상 학습과 처벌 학습이 동시에, 병렬로, 독립적인 신경계에 의해 수행되며, 두 개의 원자가 특이적 TD 예측오차 신호가 생성되어 각각 별도의 보상 특이적·처벌 특이적 행동가치 표상을 갱신한다. 저자들은 VPRL이 최근 제안된 분포적 강화학습 방법과 양립 가능하지만, 자신들이 아는 한 분포적 접근에서 처벌 학습에 대한 구별된 분포의 명시적 표상(원자가 분할)은 아직 탐구되지 않았다고 언급한다. ## 고정효과 대 혼합효과 분석에 대한 저자들의 논의 모든 환자의 도파민 시계열을 평균한 결과 도파민 과도현상이 서로 구분되는 시간창에서 VP-RPE와 VP-PPE의 양·음을 구별함이 드러났다. 모든 환자의 모든 사건을 평균하는 대신, 환자별로 모든 시행에 걸쳐 먼저 평균한 뒤 집단 수준에서 평균하는 혼합효과 분석을 해도 유사한 결과를 얻었다(figs. S5, S8). 다만 저자들은 현재의 인간 전압전류법 데이터가 무선효과·혼합효과 분석의 가정을 위배할 수 있다고 밝힌다. 이 비교적 초기 실험에서 측정 신호의 변산 원천에 대한 지식이 크게 부족하기 때문이다. 예를 들어 비인간 영장류·설치류 연구와 달리 인간 자원자는 삶의 경험과 유전적 배경에서 상당한 변이를 가진 채 임상에 온다. 또한 수집된 데이터는 기록 전극의 미세해부학적 환경에 따라 달라질 것으로 예상되는데, 활성 표면은 길이 약 110 μm, 직경 7 μm의 원통에 불과한 반면 caudate의 부피는 약 4000 mm³이다. 영장류 caudate의 서로 다른 하위영역(head, body, tail 하위구획; matrix와 patch 하위구획)은 특정하지만 상호작용하는 전뇌 네트워크의 구성요소로서 서로 다른 기능을 수행하도록 지형학적으로 조직되어 있다. 나아가 도파민 세포체에서 생성되는 신호와 독립적으로 축삭 투사를 따라 일어나는 도파민 방출의 국소 조절이 방출 부위에서의 초 이하 도파민 변동에 변이를 초래함이 알려져 있다. 이러한 변산 원천들이 기록 신호에 어떻게 영향을 미치는지는 현재 알려져 있지 않지만, 본 연구와 같은 연구들이 인간의 초 이하 도파민 변동에 어떤 종류의 신호가 반영될 수 있는지에 대한 첫 단서를 제공하고 있다. 따라서 고정효과 분석(Fig. 2)이 보고된 모든 관찰에 공통된 도파민 반응 구조를 기술하는 데 더 민감하며(즉 caudate 하위영역에 걸쳐 암묵적으로 평균됨), 향후 연구에서 기대되는 신호의 성격에 대해 덜 단정적이라고 설명한다. ## 시간 구조의 회로적 해석 초기(0–300 ms) 도파민 반응이 RPE를, 후기(400–700 ms) 반응이 PPE를 신호했다는 관찰은, 보상적·혐오적 자극이 도파민 뉴런 활동을 조절하여 연합 학습을 일으키는 신경해부학적 회로 내 활동의 시간 특성과 대체로 일치한다고 저자들은 논한다. 예컨대 dorsolateral 및 central gray pontine tegmental nuclei와 이들의 habenula·hypothalamus 회로 상호작용이 원자가 특이적 정보를 중뇌 도파민 뉴런에 전달하여 본 발견과 관련된 시간 척도에서 예측오차 반응에 영향을 줄 수 있다. 더 일반적으로, caudate 도파민 수준에 의한 원자가 정보의 명백한 시간적 부호화(Fig. 2C 및 fig. S8)는, 기저핵과 분산된 피질 영역이 목표 지향적 의사결정을 차별적으로 조절하는 방식이 도파민(및 다른 신경조절물질) 변동의 시간적 공변에 의존함을 시사한다. 다만 관찰된 결과-원자가 의존적 시간 패턴을 낳는 세포적·회로적 기전을 규명하려면 추가 연구가 필요하다. 예를 들어 세포체에서의 도파민 활동전위 기록과 표적 영역에서의 신경전달물질 방출 기록을 결합하면, 별개의 도파민 뉴런 하위집단이 원자가 특이적 예측오차를 신호하도록 활성화되는지, 아니면 별도의 신경계가 정동적 강화자에 대한 도파민 활동의 타이밍과 극성을 보다 국소적으로 통제하는지를 더 포괄적으로 검정할 수 있다. ## 접근법의 제약과 향후 방향(저자 서술) 저자들은 본 데이터 수집 접근이 인간 뇌 심부에 접근할 수 있게 해주는 표준 진료 신경외과 시술의 요구에 의해 제약된다고 밝힌다. 그럼에도 이 데이터는 인간이 정동 정보를 처리하는 방식과 도파민 신호가 인간 뇌에서 수행하는 역할을 이해하기 위한 전통적 TDRL 기반 알고리즘의 확장을 시사한다. 나아가 이런 데이터는 도파민 같은 신경조절물질이 인간의 행동·의사결정·주관적 경험에 어떻게 영향을 미치는지 조사하는 데 매우 귀중하다. 본 연구와 같은 결과는 정신과·신경과 질환에서 도파민의 역할을 이해하고 사유하는 방식에 영향을 줄 수 있는데, 많은 경우 인간에서 도파민에 관한 기존 지식은 수 분에서 수 일 수준의 시간 해상도 측정에 국한되어 있기 때문이다. 향후 연구에서는 ET 및 동반 정신질환을 가진 인간에서 초 이하 도파민 신호가 어떻게 변화하는지, 또는 운동 증상 유무·비운동성 파킨슨병 관련 증상 동반 여부에 따라 파킨슨병 환자에서 빠른 도파민 신호가 어떻게 달라지는지를 직접 조사할 수 있을 것이라고 제시한다. 마지막으로 저자들은, 중개·기초 신경과학의 많은 연구가 모델 생물의 기초 생물학적 기전에 집중하지만, 그러한 비인간 모델이 주관적 정동, 인간 수준의 의지적 선택, 관련 정신과·신경과 질환처럼 근본적으로 인간적인 현상을 조사하기에 적절한 체계인지는 여전히 불분명하다고 논한다. 본 연구는 도파민의 RPE 부호화 역할에 관한 비인간 모델 생물에서의 선행 발견을 확인하는 동시에, 수십 년의 모델 생물 연구가 지지해 온 이 가설이 도파민의 **혐오적 피드백 부호화** 역할에 관해서는 불완전함을 보여준다. 저자들은 도파민이 단지 혐오 자극에 반응하는 것이 아니라 TD 학습과 유사한 방식으로, 그러나 혐오적 결과에 특이적으로 반응함을 보였다고 정리한다. 또한 PPE 혐오 학습 시스템이, RPE 강화학습 시스템이 중독·우울증·강박장애 모형에서 갖는 역할에 유비되는 방식으로 불안장애에서 역할을 할 가능성을 시사하는 특징을 갖는다는 점이 자신들의 주목을 벗어나지 않았다고 덧붙인다. # 데이터·코드 가용성(저자 명시) 결론 평가에 필요한 모든 데이터는 논문 및 보충자료에 있으며, 익명화된 개인 수준 행동 과제 데이터와 신경화학 시계열 데이터는 자격을 갖춘 연구자가 공식 프로젝트 개요를 제출하고 교신저자의 승인을 받으면 Wake Forest University School of Medicine IRB의 데이터 보호 규정에 따라 제공될 수 있다. 본 논문의 행동·신경화학 결과 생성을 위한 맞춤 분석 스크립트는 https://zenodo.org/records/10067904 에서 확인 가능하다.

Subsecond fluctuations in extracellular dopamine encode reward and punishment prediction errors in humans