Review: 'Factor Models for Portfolio Selection in Large Dimensions: The Good, the Better and the Ugly'

해당 게시글은 De Nard et al,(2021)의 “Factor Models for Portfolio Selection in Large Dimensions: The Good, the Better and the Ugly” 논문을 리뷰한 글입니다. 본 게시물에서 인용한 논문 및 자료에 대한 상세 정보는 아래의 링크를 통해 확인하실 수 있습니다.
De Nard et al,(2021)

이 논문은 기존 팩터 모델 기반 자산 공분산 행렬을 추정할 때 조건부 이분산성으로 인한 어려움을 언급한다. 따라서 잔차의 조건부 이분산성을 반영한 새로운 공분산 행렬 추정기를 소개하고 있으며, 기존 모델들 대비 뛰어난 성능을 기록함을 보인다.

Introduction

팩터 모델은 금융 분야에서 오랜 역사를 가지고 있으며, 포트폴리오 매니저의 성과를 평가하거나, 수익률 이상 현상을 분석하거나, 수익률 예측 또는 포트폴리오 구성 등 다양한 용도로 활용된다.

본 논문은 이러한 팩터 모델이 대규모 차원에서 자산의 공분산 행렬을 추정할 때의 유용성을 분석한다.

특히 다음과 같은 주요 질문을 해결하고자 한다.

• 시간에 따라 변하는 공분산 행렬을 가정하는 동적 팩터 모델을 사용하는 것이 좋을지, 시간에 따라 변하지 않는 정적 팩터 모델을 사용하는 것이 좋을지?
• 잠재 요인(latent factor)을 사용하는 것과 관측된 팩터를 사용하는 것 중 무엇이 더 좋을지?
• approximate factor model(AFM) 이 exact factor model(EFM) 대비 얼만큼 개선되는지?
• 팩터를 하나만 사용하는 것이 좋을지 여러 팩터를 사용하는 것이 좋을지?
• 팩터 모델이 기존의 구조 없는 공분산 추정기(ex. DCC-NLS)를 사용하는 것보다 좋은지?

※ 본 논문에서는 팩터 로딩이 동적으로 변하는 모델은 가정하지 않았는데, 비공식 연구 결과에서 해당 모델의 성과가 좋지 않았기 때문이라고 언급한다.

이러한 질문에 대한 답은 자산의 유형, 수, 수익률 빈도 등 다양한 요소에 의해 영향을 받기 때문에, 본 논문에서는 가장 대표적인 개별 주식 및 대한 일별 주기를 대상으로 분석을 진행한다.

45년간의 미국 주식 수익률에 대한 데이터셋을 사용하며, 관측 수익률 주기보다 포트폴리오 보유 기간이 더 길 경우 새로운 공분산 행렬 예측 방식을 제안한다.

1. Factor Models

1.1. Notation

1.2. Static Factor Models

기존의 팩터 모델 중 static factor model의 경우 주요 가정은 다음과 같다.

• intercepts $\alpha_i$ 와 팩터 로딩 $\beta_i$ 가 시간에 따라 변하지 않는다.
• 팩터 $f_t$ 의 조건부 공분산 행렬이 시간에 따라 변하지 않는다.
• 잔차 $u_t$ 의 조건부 공분산 행렬이 시간에 따라 변하지 않는다.

추가적으로 EFM은 잔차의 공분산 행렬이 대각행렬이라고 가정하는 반면, AFM은 L1 or L2 norm이 제한된 행렬이라고 가정한다.

※ AFM의 기준?
일반적으로 다음을 만족하면 AFM 구조를 가진다고 본다(Chamberlain and Rothschild, 1983).
$\sup_{N}\max_{i}\sum_{j=1}^{N}\left|(R_u)_{ij}\right| < \infty$

따라서 자산의 공분산 행렬은 다음과 같이 나타낼 수 있다.
$\hat{\Sigma}_r := \hat{B}’ \hat{\Sigma}_f \hat{B} + \hat{\Sigma}_u$

1.3. Dynamic Factor Models

동적 팩터 모델은 위의 정적 팩터 모델의 3가지 가정 중 하나 이상이 위반된 모형을 의미한다.

특히 팩터 로딩과 intercept가 시간에 따라 변할 수 있도록 허용한 모델을 일반적으로 conditional factor model이라고 부르는데(Avramov and Chordia, 2006; Ang and Kristensen, 2012; Engle, 2016; Bali, Engle and Tang, 2017), 이러한 모델은 asset pricing 측면에서는 정적 팩터 모델보다 더 잘 작동하는 경우가 많지만 포트폴리오 선택 측면에서는 효과적이지 않았다(비공개 결과).

따라서 본 논문은 팩터 수익률 및 잔차의 동적 허용 팩터모델을 분석하며, 자산 i = 1,…,N 에 대해 다음과 같다.
$r_{i,t} = \alpha_i + \beta’if_t + u{i,t}$ with $\beta_i := (\beta_{i,1},…,\beta_{i,K})’$ and $E(u_{i,t}|f_t) = 0$

이를 자산 공분산 행렬 구조로 변환하면 다음과 같다.
$\sum_{r,t} = B’\sum_{f.t}B + \sum_{u,t}$

2. New Estimation Schemes

2.1. Static Factor Models

최근 대부분의 문헌과 마찬가지로 EFM 가정 자체가 너무 엄격하기 때문에 본 논문에서도 AFM을 중심으로 사용한다.
AFM의 희소성을 부여하는 방법으로는 POET 방식(Fan, Liao and Mincheva, 2013)이 있는데, 잔차의 표본 공분산 행렬에 일정한 임계값을 적용하는 방식이다.

이외에도 본 논문에서는 Ledoit and Wolf(2017)의 Nonlinear Shrinkage estimator를 잔차 공분산 행렬에 사용하는 것을 제안한다.
AFM 가정이 맞을 경우, 잔차 공분산 행렬의 NL 추정기는 표본 잔차 공분산 행렬보다 더 sparse하게 될 것이다.
→ NL은 표본 공분산 행렬과 비교할 때 실제 값에 더 가까운 추정치를 제공하기 때문.

AFM 가정이 맞다면 잔차 공분산 행렬에 NL 추정기를 사용하는 것이 결과적으로 POET과 비슷한 성능을 낼 것이다.
반면 AFM 가정이 틀렸다면, 즉 사용된 팩터가 실제 팩터가 아니거나 weak factor일 경우에는 잔차 공분산 행렬이 sparse하다는 가정이 성립하지 않으므로 NL 추정기를 사용하는 것이 POET 방식보다 더 나은 성능을 낼 수 있다.

2.2 Dynamic Factor Models

동적 팩터모델 구조에서는 $\hat \sum_{f,t}$, $\hat \sum_{u,t}$ 가 필요하기 때문에, 본 논문에서는 다변량 GARCH 모델, 특히 Engle(2002)의 Dynamic conditional correlation(DCC) 를 사용한다.

Engle(2002)는 N이 100 정도일 때까지는 DCC가 잘 작동하며, $f_t$ 의 차원이 거의 5를 넘지 않기 때문에 $\hat \sum_{f,t}$ 추정에도 사용할 수 있다.
→ 문제는 자산 수가 많아졌을 때. N = 1000 과 같은 상황에서 $\sum_{u,t}$ 를 추정하는 것은 어려움이 있음.

이를 정확하게 추정할 수 있는 방법을 Engle, Ledoit, Wolf(2019) 에서 제안함.
먼저 Pakel et al.,(2017) 의 composite-likelihood 방법을 사용하여 높은 차원에서도 추정이 가능하게 하며, DCC의 상관 타겟 행렬 추정을 위해 Ledoit and Wolf(2012, 2015) 의 Nonlinear Shrinkage 를 사용한다.

본 논문에서는 이러한 방법론을 팩터모델의 잔차 공분산에 적용시키는 것이다.

2.3 Averaged Forecasting of Dynamic Covariance Matrices

본 논문에서는 일일 데이터를 사용하여 공분산 행렬을 추정하지만, 포트폴리오는 월별로 리밸런싱한다.
→ 이는 동적 모델에서 mismatch를 발생시키는데, 동적 모델은 공분산 행렬이 예측 주기(일) 단위로 변한다고 가정하기 때문.

이러한 mismatch를 해결하기 위해 본 연구에서는 동적 모델에 대해 평균 예측 접근법을 사용한다.
즉 한 달 동안의 일일 공분산 행렬을 예측하여 이를 평균내는것.

단변량 변동성 예측으로는 GARCH(1,1)을 사용한다.
$d_{i,t}^2 = w_i + \delta_{1,i}x_{i,t-1}^2 + \delta_{2,i}d_{i,t-1}^2$

다음으로 DCC-NL은 다음과 같다.
$Q_t=(1-\delta_1-\delta_2)C+\delta_1s_{t-1}s_{t-1}^{\prime}+\delta_2Q_{t-1}$
행렬 $Q_t$ 는 conditional pseudo-correlation matrix 또는 변동성을 제거한 잔차의 conditional covariance matrix 일 수 있다.

하지만 대각 원소가 정확히 1이 아니기 때문에 바로 사용할 수는 없고, 정규화를 통해 $R_t$ 를 얻으면 자산의 조건부 공분산 행렬을 얻을 수 있다.
$R_t := \text{Diag}(Q_t)^{-1/2} Q_t \, \text{Diag}(Q_t)^{-1/2} \quad \text{and} \quad \Sigma_t := D_t R_t D_t$

그리고 DGP는 다변량 정규분포로 이루어진다.
$x_t \mid \mathcal{F}_{t-1} \sim N(0, R_t)$

그렇게 조건부 공분산 행렬 $\Sigma_{h+l} = D_{h+l} R_{h+l} D_{h+l}$ 의 $l$ 개 예측치 평균을 구하기 위해 3단계 접근법을 제안한다.

2.3.1 Step 1: Forecasting conditional univariate volatilities

GARCH(1,1) 을 통한 각 잔차의 미래 조건부 변동성 예측.
일반적으로 MLE를 사용하여 GARCH 모델을 학습한다.
현재 사용 가능한 마지막 정보가 h-1 시점이라고 할 때, h시점 조건부 분산 예측값은
$\mathbb{E}\left[d_{i,h}^2 \mid \mathcal{F}{h-1}\right] = \omega_i + \delta{1,i} x_{i,h-1}^2 + \delta_{2,i} d_{i,h-1}^2$
→ 1-step ahead variance forecast

이때 조건부 분산의 특징을 살펴보면,
$d_{i,t}^2 = \operatorname{Var}\left(x_{i,t} \mid \mathcal{F}{t-1}\right)$
에서 $F{t-1}$ 은 t-1까지 이용할 수 있는 모든 정보를 의미하며, 잔차를 다음과 같이 표현할 수 있다.
$x_{i,t} = d_{i,t}s_{i,t}$
여기서 $d_{i,t}$ 는 현재 예상되는 변동성 크기, $s_{i,t}$ 는 표준화된 새로운 충격을 의미한다.
따라서 다음이 성립한다.
$\mathbb{E}[s_{i,t} \mid \mathcal{F}{t-1}] = 0$
$\mathbb{E}[s{i,t}^2 \mid \mathcal{F}_{t-1}] = 1$

※ 표준화된 충격의 조건부 평균, 분산이 왜 0, 1인가?
자산 수익률을 $r_{i,t} = u_{i,t} + x_{i,t}$ 로 분해하면 $\mu_{i,t} = \mathbb{E}[r_{i,t} \mid \mathcal{F}{t-1}]$ 이고, 잔차의 조건부 기댓값은
$\begin{aligned} \mathbb{E}[x{i,t} \mid \mathcal{F}{t-1}] &= \mathbb{E}\left[r{i,t} - \mathbb{E}[r_{i,t} \mid \mathcal{F}{t-1}] \mid \mathcal{F}{t-1}\right]
&= \mathbb{E}[r_{i,t} \mid \mathcal{F}{t-1}] - \mathbb{E}[r{i,t} \mid \mathcal{F}_{t-1}]
&= 0 \end{aligned}$

이후 잔차의 조건부 분산을 $d_{i,t}^2 = \operatorname{Var}(x_{i,t} \mid \mathcal{F}{t-1})$ 라고 정의하면, $\begin{aligned} d{i,t}^2 &= \mathbb{E}\left[\left(x_{i,t} - \mathbb{E}[x_{i,t} \mid \mathcal{F}{t-1}]\right)^2 \mid \mathcal{F}{t-1}\right]
&= \mathbb{E}[x_{i,t}^2 \mid \mathcal{F}_{t-1}] \end{aligned}$

그 다음 잔차를 조건부 표준편차로 나누면 $s_{i,t} = \frac{x_{i,t}}{d_{i,t}}$
$\mathbb{E}[s_{i,t} \mid \mathcal{F}{t-1}] = \mathbb{E}\left[\frac{x{i,t}}{d_{i,t}} \mid \mathcal{F}{t-1}\right] = \frac{1}{d{i,t}}\mathbb{E}[x_{i,t} \mid \mathcal{F}_{t-1}] = 0$

$\operatorname{Var}(s_{i,t} \mid \mathcal{F}{t-1}) = \operatorname{Var}\left(\frac{x{i,t}}{d_{i,t}} \mid \mathcal{F}_{t-1}\right) = 1$

따라서 평균이 0, 분산이 1이기 때문에 $\begin{aligned} \mathbb{E}[s_{i,t}^2 \mid \mathcal{F}{t-1}] &= \operatorname{Var}(s{i,t} \mid \mathcal{F}{t-1})
&\quad + \left(\mathbb{E}[s{i,t} \mid \mathcal{F}_{t-1}]\right)^2
&= 1 + 0^2
&= 1 \end{aligned}$

따라서 $l$ 기 후의 분산에 기댓값을 취하면
$\begin{aligned} \mathbb{E}[d_{i,h+1}^2 \mid \mathcal{F}{h-1}] &= \omega_i + \delta{1,i} \mathbb{E}[x_{i,h}^2 \mid \mathcal{F}{h-1}]
&\quad + \delta{2,i} \mathbb{E}[d_{i,h}^2 \mid \mathcal{F}{h-1}]. \end{aligned}$
이때 $\mathbb{E}[x{i,h}^2 \mid \mathcal{F}{h-1}] = \mathbb{E}[d{i,h}^2 \mid \mathcal{F}{h-1}]$ 이므로 $\mathbb{E}[d{i,h+1}^2 \mid \mathcal{F}{h-1}] = \omega_i + (\delta{1,i} + \delta_{2,i}) \mathbb{E}[d_{i,h}^2 \mid \mathcal{F}_{h-1}].$

여기서 $\rho_i=\delta_{1,i}+\delta_{2,i}$ 라고 하면 $m_1=\omega_i+\rho_i m_0$

이걸 2기, 3기, …로 넘어가면 $m_l=\omega_i\left(1+\rho_i+\rho_i^2+\cdots+\rho_i^{l-1}\right)+\rho_i^l m_0.$ 이므로 $\mathbb{E}[d_{i,h+l}^2 \mid \mathcal{F}{h-1}] = \sum{j=0}^{l-1} \omega_i (\delta_{1,i} + \delta_{2,i})^j + (\delta_{1,i} + \delta_{2,i})^l \mathbb{E}[d_{i,h}^2 \mid \mathcal{F}_{h-1}]$

이후 분산 예측값에 제곱근을 취함으로써 N차원의 대각행렬을 만든다.
$\mathbb{E}[D_{h+l} \mid \mathcal{F}{h-1}] = \operatorname{Diag}\left(\sqrt{\mathbb{E}[d{1,h+l}^2 \mid \mathcal{F}{h-1}]}, \ldots, \sqrt{\mathbb{E}[d{N,h+l}^2 \mid \mathcal{F}_{h-1}]}\right).$

2.3.2 Step 2: Forecasting conditional correlation matrices

다음으로 DCC를 통해 자산의 상관행렬을 추정한다.

DCC 재귀식은 다음고 같다.
$Q_{t+1} = (1 - \delta_1 - \delta_2) C + \delta_1 s_t s_t^\top + \delta_2 R_t$
이때 표준화 잔차 $s_t$ 의 조건부 공분산은
$\mathbb{E}[s_t s_t^\top \mid \mathcal{F}{t-1}] = R_t$ 이므로 step 1과 동일하게 $l$ 기 후를 정리하면
$\mathbb{E}[R{h+l} \mid \mathcal{F}{h-1}] = \sum{j=0}^{l-1} (1 - \delta_1 - \delta_2) C (\delta_1 + \delta_2)^j + (\delta_1 + \delta_2)^l \mathbb{E}[R_h \mid \mathcal{F}_{h-1}]$

여기서 장기평균 상관행렬 $C$ 는 완전한 상관행렬이 아니기 때문에 마지막에 대각 원소가 정확히 1이 될 수 있도록 정규화해야 한다.
$C = \operatorname{Diag}(\tilde C)^{-1/2} \tilde C \operatorname{Diag}(\tilde C)^{-1/2}$

이후 $\mathbb{E}[R_h \mid \mathcal{F}{h-1}] \approx \mathbb{E}[Q_h \mid \mathcal{F}{h-1}]$ 로 근사하면 조건부 상관행렬 $R_t$ 또한 정규화 작업을 수행한다.
$R_t = \operatorname{Diag}(Q_t)^{-1/2} Q_t \operatorname{Diag}(Q_t)^{-1/2}$

2.3.3 Step 3: Averaging forecasted conditional covariance matrices

포트폴리오를 L기간 동안 보유할 경우 h시점의 예측 공분산 뿐만 아니라 h+L-1 기간 까지의 예측 공분산을 평균내야하므로
$\bar{\sum}b := \frac{1}{L} \sum{l=0}^{L-1} \hat{\sum}_{h+l}$

여기서 비조건부 상관 행렬 C는 NL 추정기를 사용하여 최종적으로 만들어진다.

2.4 Maximum Number of Observed Factors

그동안 팩터 모델 기반의 공분산 추정에 있어서 위험 요인의 성격과 수에 대해 결정된 바가 없기 때문에, 본 연구에서는 FF5 팩터 모델을 사용한다.

팩터 모델은 주식 수익률의 횡단면을 설명할 때도 쓰이긴 하지만 본 논문에서는 second moments, 즉 자산의 공분산 행렬을 예측하는 것에 중점을 둔다.

3 Empirical Analysis

3.1 Data and General Portfolio-Construction Rules

데이터는 1973년 1월 1일 부터 2017년 12월 31일까지의 일일 주식 수익률 데이터를 CRSP에서 가져왔으며, NYSE, AMEX, NASDAQ 증권거래소 주식을 대상으로 한다.

공분산 행렬 추정에 사용되는 기간은 과거 5년동안의 일일 수익률 데이터이며, 실험 대상 포트폴리오의 크기는 N = 100, 500, 1000 이다.

미래 한 달 동안의 수익률 데이터가 모두 존재하고 과거 5년간의 수익률 데이터의 결측치 비율이 2.5% 이하인 종목 중 표본 상관계수가 0.95를 초과하는 쌍이 존재하면 시가총액이 더 낮은 종목을 제거한다(결측치는 0으로 대체).
이후 그 중 시가총액을 기준으로 N 조합을 선정한다.

3.2 Competing Covariance Matrix Estimators

보다 강건한 비교를 위해, 팩터 모델 구조가 아닌 추정기들도 함께 분석한다.

• NL: Ledoit and Wolf(2017) 의 NL 축소 추정기.
• DCC-NL: Engle, Ledoit and Wolf(2019) 의 다변량 GARCH 추정기.
• POET: Fan, Liao, Mincheva(2013) 이 제안한 방법으로, PCA 기반의 latent factor model을 사용한다. 전체 표본 공분산에서 상위 5개 PC가 설명하는 부분을 제거함으로써 잔차 공분산을 구하고, 비대각 성분을 특정 임계값을 기준으로 sparse하게 만든다.
• EFM: CAPM과 FF5 팩터 모델을 대상으로 한 exact factor model. 잔차를 대각 행렬로 가정한다.
• AFM-POET: POET과 유사한 구조지만, 팩터를 latent factor가 아닌 Observable factor로 모델을 구성하여 얻은 잔차에 thresholding을 적용한 것.
• AFM-NL: 잔차 공분산 행렬에 NL 추정기를 적용한 버전
• AFM-DCC-NL: 잔차 공분산 행렬에 DCC-NL을 적용한 버전

※ 본 논문에서는 잔차 공분산에 대해서만 동적 추정기를 사용하는 것과 팩터 공분산도 함께 동적 추정기를 사용하는 것 모두 실험해 보았으나, 매우 유사한 결과를 나타냈다고 언급한다.

3.3 Global Minimum Variance Portfolio

성과 비교를 위해 공매도 제약이 없는 GMV 포트폴리오를 사용한다.
이외에도 벤치마크 모델로 동일가중 포트폴리오를 사용하며, 성과 비교는 총 3가지 지표를 사용한다.

• 연율화 수익률(AV)
• 연율화 변동성(SD)
• 연율화 정보비율(IR)

성과 차이의 통계적 유의성은 Ledoit and Wolf(2011) 의 분산 비교 검정을 통해 평가한다.

• AFM-POET 을 제외하면 모든 모델이 EW 포트폴리오보다 더 우수한 성능을 보인다.
• 전반적으로 AFM이 EFM 보다 좋은 성능을 보인다.
• DCC-NL은 거의 대부분의 모델보다 높은 성능을 보인다.
• single factor AFM-DCC-NL이 가장 우수한 성능을 보이며, 이는 포트폴리오 크기가 달라져도 동일한 결과를 보인다.
  • 다만 포트폴리오 크기가 커질수록 FF5 팩터 모델 기반의 AFM-DCC-NL의 성과 또한 DCC-NL을 능가한다.

다음으로는 월별 평균 포트폴리오 턴오버 및 레버리지 결과를 비교한다. 평가 지표들은 다음과 같다.

• TO: $\mathrm{TO}=\frac{1}{479}\sum_{h=1}^{479}\left\lVert \widehat{\mathbf{w}}{h+1}-\widehat{\mathbf{w}}{h}^{\mathrm{hold}}\right\rVert_{1}$
• GL: $\mathrm{GL}=\frac{1}{480}\sum_{h=1}^{480}\left\lVert \widehat{\mathbf{w}}{h}\right\rVert{1}$
• PL: $\mathrm{PL}=\frac{1}{480N}\sum_{h=1}^{480}\sum_{i=1}^{N}\mathbf{1}!\left{\widehat{w}_{i,h}<0\right}$

• AFM-DCC-NL은 DCC-NL보다 더 일관되게 더 낮은 TO, GL, PL 값을 가진다.
• 전반적으로 동적 모델들이 정적 모델들에 뒤처지며, 반면에 EFM은 AFM보다 성과가 좋다.

3.4 Markowitz Portfolio with Momentum Signal

추가적으로 GMV 포트폴리오의 실용성을 위해 모멘텀 팩터를 제약식에 활용한다.
$\min_{w} \; w^\top R_{r,t} w$
$\text{s.t.} \qquad w^\top m_t = b, \qquad w^\top \mathbf{1} = 1$
이 경우 GMV 포트폴리오가 b보다 모멘텀 노출이 작을 경우 모멘텀 팩터에 양의 tilting이 이루어지고, b보다 모멘텀 노출이 클 경우 음의 모멘텀 tilting이 이루어진다.

추가적으로 모멘텀 상위 20% 주식에 동일가중한 포트폴리오(EW-TQ)를 벤치마크로 추가했다.

이후 EW-TQ에서 얻은 b값을 GMV 포트폴리오의 입력 b값으로 넣는다.

이때 수익률이 제약식에 반영된 만큼, 가장 중요한 성과 지표를 IR로 본다.

• AFM-POET을 제외하면 모든 모델은 EW-TQ보다 항상 큰 차이로 성과가 우수함.
• AFM은 EFM보다 전반적으로 더 우수한 성과를 기록함.
• DCC-NL은 N=100에서 AFM-POET을 제외한 모든 모델을 능가하며, N = 100에서는 AFM-POET이 가장 우수한 성과를 기록함.
• 반면 N = 500, 1000에서는 AFM1-DCC-NL 이 가장 우수한 성과를 기록함.
• 연율화 변동성을 기준으로 보면, AFM-POET은 포트폴리오 규모가 커질 경우 크게 폭발하는 경향을 보인다.

• AFM-DCC-NL의 턴오버가 DCC-NL에 비해 일관되게 낮다.
• 비제약 GMV에서와 동일하게 EFM이 AFM보다 성과가 좋은 경향을 보인다.
• AFM-POET의 경우 N이 커질 때 TO 및 GL이 폭발한다.

3.5 Summary of Results

결과적으로 AFM-DCC-NL이 대부분의 시나리오에서 가장 좋은 성과를 거두었으며, 특히 FF5 팩터 모델이 아닌 single factor model 기반의 AFM-DCC-NL이 가장 성과가 좋았다는 것은 매우 중요한 시장 팩터 이외에 다른 팩터들은 공분산 추정에 중요하게 활용되지 않는다는 것을 시사한다.