リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

リケラボ 全国の大学リポジトリにある学位論文・教授論文を一括検索するならリケラボ論文検索大学・研究所にある論文を検索できる

大学・研究所にある論文を検索できる 「Robust Prediction and Sparse Estimation for Long Memory Time Series」の論文概要。リケラボ論文検索は、全国の大学リポジトリにある学位論文・教授論文を一括検索できる論文検索サービスです。
リケラボ

コピーが完了しました

URLをコピーしました

論文の公開元へ論文の公開元へ
書き出し

Robust Prediction and Sparse Estimation for Long Memory Time Series

Xue Yujie 早稲田大学

2021.08.03

概要

本学位論文において申請者は、時系列解析におけるロバスト予測とスパース推定問題を研究する。 時系列の分析は、経済学、水文学、生物学などの多くの分野に適用される。 定常過程の時系列解析に対しては時間領域と周波数領域 2 つのアプローチがある。本論文では、周波数領域における 5 つの問題について説明する。まず、スペクトル分布がε - 混合の形を持つ定常過程のミニマックス補間と外挿の問題を検討する。 観測系列に対して L^p ノルムでの内挿および外挿誤差の評価の観点から、ミニマックス内挿と外挿を得るための 2 つの条件を与える。次に、スペクトル密度をもつ定常過程について、固定点でのスペクトル密度の局所 Whittle 尤度推定量を導入する。局所 Whittle 推定量の一致性を示し、漸近効率を議論し、これに基づいて、新しい予測子を導入する。 LASSO は、最小の絶対収縮および選択演算子の略であり、線形回帰モデルで推定するための一般的な手法である。回帰行列がもっと緩い条件を満たすとき、推定問題を展開するために、修正 LASSO を提案する。その上で線形モデルの誤差は、長期記憶誤差の場合を含める。さらに、2 つの形式の AIC を導入する。最後に、長期記憶誤差を伴う線形分位点回帰モデルの修正 LASSO 推定量の性質についても議論する。

本学位論文の構成は、以下の通りである:
第 1 章 Introduction
第 2 章 Robust linear interpolation and extrapolation of stationary time series in L^p
第 3 章 Local Whittle likelihood approach for generalized divergence
第 4 章 Modified LASSO estimation for linear regression models with dependent disturbances
第 5 章 Two forms of AIC based on Modified LASSO
第 6 章 Modified LASSO estimators for linear quantile regression models with long- memory disturbances
以下、第 2 章から各章の概要と所見を述べる。

第 2 章は、ロバスト予測問題である。スペクトル構造がε-混合であるクラスの中で、Hosoya(1978)の2次定常時系列の線形予測のミニマックス問題を解いた。時系列のindexは通常、整数上で等間隔に配置されると想定されている。この状況では、無限の過去の時間indexに基づいて最良の線形平均二乗予測子を見つける問題としてKolmogorov(1941b)は研究した。Kolmogorov(1941a)が定常ランダムシーケンスの内挿と外挿への概念の拡張を議論した。周波数領域での内挿および外挿問題のいくつかのケースに関する議論は、Yaglom(1962)およびRozanov(1967)にある。近年、信号処理、財務、パターン認識に不確実性があるシステムをモデル化する際に、統計的決定のためのロバストな方法への関心が高まっている。この章では、L^pノルムでε-混合スペクトルモデルの状況下での線形補間と外挿問題を考える。既知のスペクトル分布関数の場合、Pourahmadietal.(2007)では、L^2ノルムで線形補間と外挿の問題を取り扱った。L^pノルムの下での線形補間および外挿問題については、RajputandSundberg(1994)では、ハーディ空間H^pの2つの二重極値問題に対する新しい方法を導入した。Nakazi(1984)で最初に与えられた関数空間間の二重性に基づいて、L^pで内挿と外挿を導出するための主なアプローチはMiameeandPourhmadi(1988)およびChengetal(1998)が展開した。ただし、定常時系列のスペクトル構造が指定されている場合、線形補間と外挿の問題を長い間考慮されてきたが、L^pでの線形補間と外挿のミニマックス問題は、まだ解決されていない。この論文は、ε-混合の形を持つスペクトル分布の場合、L^pの線形補間と外挿のミニマックス問題を提示する。また、ミニマックス補間子と外挿子を構成する方法を示すために2つの例を挙げる。更に、スペクトル分布にジャンプがある場合の状況についても言及する。

第 3 章は、スペクトル密度の推定問題である。スペクトル密度の推定には多くのアプローチがある。パラメトリックアプローチに関して、Taniguchi(1980)では、スペクトル密度の特定のパラメトリック族を、ガウス定常過程に適合させる際の3つのWhittle尤度が含まれるダイバージェンスを提案した。さらに、提案された方法のいくつかを多次元の場合に拡張した。過程のモデルを指定できないことが多いため、ノンパラメトリック手法も非常に一般的である。それらは、平滑化されたピリオドグラム（Hannan(1970)に基づいている。局所尤度推定量は、確率密度の平滑化された推定量の代わりと見なすことができる。前者のバイアスは後者のバイアスよりも潜在的に小さいことが示された。Tjosteim(2013)は、局所尤度推定を用いてローカル二変量密度を近似し、新しいアプローチを使用して金融オブジェクト間のローカル依存性を測定できるようにした。この章では、スコア関数形式として局所Whittle尤度アプローチを提案する。実際、局所Whittle尤度推定は、元々、原点周辺のスペクトルの推定アプローチとしてKunsh(1987)によって開発された。長期記憶過程の場合、局所Whittle推定量の漸近効率をShimotsuandPhillips(2006)が評価した。スコア関数がパラメトリックスペクトル密度と見なされる場合、これらはローカルホイットル尤度推定量のケースとして扱うことができる。確率過程の多くのモデルのスペクトル密度の形式が関数のp次ノルムで表現できることを考慮すると、それはL^p局所Whittle尤度推定量になる。さらに、それをKoenkerの分位スコアと見なすと、分位局所Whittle推定量を導入できる。したがって、この構成は非常に一般的である。この論文では、一般的な局所Whittle推定量の漸近効率を評価して、平滑化されたピリオドグラムとの比較をする。これに基づいて、新しい予測子を導入する。サンプルサイズが十分に大きい場合、局所Whittle予測子の予測誤差は、通常の指数加重線形予測子の予測誤差より小さくなる。

第 4 章では、関連する変数が一般には無限個母数をもつ、長期記憶誤差が含まれる場合に、線形回帰モデルを推定することを目的としている。実際の応用では、データの数が増え続けているにもかかわらず、パラメータ数が有限であることはめったにない。それがモデル選択を提案する理由である。Tibshirani（1996）によってL^1ノルムとして提案された最小絶対収縮および選択演算子（LASSO）を、その計算の実現可能性のために、予測および変数選択の問題に広く適用する。Wangetal(2007)には、その回帰擾乱を伴う回帰モデルにその応用を拡張した。Tangetal（2012）は、自加重分位点回帰に基づく適応LASSOが、無限分散自回帰モデルのオラクルプロパティを持っていることを示した。さらに、高次元の場合でも議論した。Kaul（2014）は、回帰誤差が長期記憶過程を形成し、回帰子が非ランダムであることがわかっている場合を研究した。この章では、回帰行列がもっと緩い条件を満たすとき、通常なLASSOを適用しないから、推定問題を展開するために、修正LASSOを提案する。回帰子が非ランダムとして、Grenander条件を満たすし、母数次元が固定されている状況と、次元がサンプルの長さに対して変化する状況で、回帰係数推定量の漸近効率について議論する。Grenander条件は、母数次元が固定されている際に、一般的な設定である。この論文で、回帰誤差は依存するように設定する。この設定は、Kaul（2014）より一般的である。

第 5 章では、 修正 LASSO に基づく AIC ( Akaike Information Criterion) の2つの形式を導入する。知られているように、LASSO のパフォーマンスは、最適なモデルを選択するための調整パラメーターの選択に大きく依存している。予測の目的で、予測誤差は、交差検定（ CV） または情報量基準（ Hastie et al (2009a)） を使用して推定される。情報量基準を使用することの欠点は、自由度を知る必要があることである。Zou et al ( 2007) では、非ゼロ係数の数がLASSOの自由度の不偏推定であり、不偏推定量が漸近的に一致していることを示す。変数選択の目的では、予測の最適値が正しい選択という意味で一貫していないため、最適な調整パラメーターを選択することはより困難である。Kim et al ( 2012) は、特定の高次元のケースでは、LASSOによって決定されたサブモデルの GIC ( General Information Criterion) が正しい選択という意味で一貫していることを示している。第 4 章で設定されたモデルの場合、通常の LASSO 推定はうまく機能しない可能性がある。このような状況下で、修正 LASSO に基づく 2つの形式の AIC を紹介する。さらに、予測の目的および変数選択の目的より、それらの AIC を比較する。

第 6 章では、長期記憶誤差を伴う線形分位点回帰モデルの修正 LASSO 推定量を提案する。第 4 章より、修正 LASSO に基づく損失関数が平均二乗誤差の 損失関数 じゃなく て、分位点回帰の損失関数である。Koul and Mukherjee（ 1994）は、誤差が定常長期記憶であるガウス確率変数の関数である場合に、線形回帰設定で回帰分位数の漸近効率を議論する。この章では、同じの設定を採用する。したがって、Hermitランクを導入して、線形分位点回帰の誤差に関して残差を制限できる。その上、回帰子が非ランダムとして、 Grenander 条件を満たすことを設定する。ここでは第4章のように、通常なLASSOを適用しない。この章では、母数次元が固定されている状況と、次元がサンプルの長さに対して変化する状況で、回帰係数推定量の漸近効率について議論する。

論文の公開元へ

関連論文

関連論文をもっと見る

参考文献

Akaike, H. (1998). Information theory and an extension of the maximum likelihood principle. in Selected papers of hirotugu akaike: Springer, Berlin, pp. 199–213.

Anderson, T. W. (1971). The statistical analysis of time series: John Wiley & Sons, New York.

Belloni, A. and Chernozhukov, V. (2011). ℓ1-penalized quantile regression in high-dimensional sparse models. The Annals of Statistics, Vol. 39, pp. 82–130.

Ben-Tal, A., El Ghaoui, L., and Nemirovski, A. (2009). Robust optimiza- tion: Princeton University Press.

Beran, J. (1992). Statistical methods for data with long-range dependence.Statistical Science, pp. 404–416.

Birge, J. R. and Louveaux, F. (2011). Introduction to stochastic program- ming : Springer Science & Business Media, Berlin.

Birr, S., Volgushev, S., Kley, T., Dette, H., and Hallin, M. (2017). Quantile spectral analysis for locally stationary time series. Journal of the Royal Statistical Society Series B.

Brillinger, D. R. (1981). Time series: data analysis and theory : Holden- Day, San Francisco.

Brockwell, P. J. and Davis, R. A. (2009). Time Series: Theory and Meth- ods: Springer, Berlin.

Calafiore, G. and Dabbene, F. (2006). Probabilistic and randomized meth- ods for design under uncertainty : Springer, Berlin.

Candes, E. and Tao, T. (2007). The Dantzig selector: Statistical estimation when p is much larger than n. The Annals of Statistics, pp. 2313–2351.

Chen, W. and Sim, M. (2009). Goal-driven optimization. Operations Re- search, Vol. 57, pp. 342–357.

Cheng, R., Miamee, A. G., and Pourahmadi, M. (1998). Some extremal problems in Lp(ω). Proceedings of the American Mathematical Society, Vol. 126, pp. 2333–2340.

Cox, D. R. (1961). Prediction by exponentially weighted moving averages and related methods. Journal of the Royal Statistical Society: Series B, Vol. 23, pp. 414–422.

Dehling, H. and Taqqu, M. S. (1989). The empirical process of some long- range dependent sequences with an application to U-statistics. The An- nals of Statistics, pp. 1767–1783.

Dette, H., Hallin, M., Kley, T., Volgushev, S. et al. (2015). Of copu- las, quantiles, ranks and spectra: An L1-approach to spectral analysis. Bernoulli, Vol. 21, pp. 781–831.

Duren, P. L. (1970). Theory of Hp spaces: Academic Press New York.

Dzhaparidze, K. (1986). Parameter estimation and hypothesis testing in spectral analysis of stationary time series: Springer, Berlin.

Franke, J. (1985). Minimax-robust prediction of discrete time series. Zeitschrift fu¨r Wahrscheinlichkeitstheorie und Verwandte Gebiete, Vol. 68, pp. 337–364.

Granger, C. and Joyeux, R. (1980). An introduction to long-memory time series models and fractional differencing. Journal of Time Series Anal- ysis, Vol. 1, pp. 15–29.

Grenander, U. and Rosenblatt, M. (1954). An extension of a theorem of G. Szego¨ and its application to the study of stochastic processes. Transac- tions of the American Mathematical Society, Vol. 76, pp. 112–126.

Hallin, M., Taniguchi, M., Serroukh, A., and Choy, K. (1999). Local asymp- totic normality for regression models with long-memory disturbance. The Annals of Statistics, Vol. 27, pp. 2054–2080.

Hannan, E. J. (1970). Multiple Time Series: Wiley, New York.

Hastie, T., Tibshirani, R., and Friedman, J. (2009a). The elements of sta- tistical learning: data mining, inference, and prediction: Springer Sci- ence & Business Media, Berlin.(2009b). Overview of supervised learning. in The elements of sta- tistical learning : Springer, Berlin, pp. 9–41.

Hjort, N. L. and Jones, M. C. (1996). Locally parametric nonparametric density estimation. Annals of Statistics, pp. 1619–1647.

Hosoya, Y. (1978). Robust linear extrapolations of second-order stationary processes. The Annals of Probability, Vol. 6, pp. 574–584.(1982). Harmonizable stable processes. Zeitschrift fu¨r Wahrscheinlichkeitstheorie und Verwandte Gebiete, Vol. 60, pp. 517–533.

Hunt, R. A. (1968). On the convergence of Fourier series. in Orthogonal expansions and their continuous analogues, pp. 235–255.

Hurvich, C. M. and Tsai, C.-L. (1989). Regression and time series model selection in small samples. Biometrika, Vol. 76, pp. 297–307.

Jankov´a, J., Shah, R. D., Bu¨hlmann, P., and Samworth, R. J. (2019). Goodness-of-fit testing in high-dimensional generalized linear models. arXiv preprint arXiv:1908.03606.

Kato, H., Taniguchi, M., and Honda, M. (2006). Statistical analysis for multiplicatively modulated nonlinear autoregressive model and its appli- cations to electrophysiological signal analysis in humans. IEEE Trans- actions on Signal Processing, Vol. 54, pp. 3414–3425.

Katznelson, Y. (2004). An introduction to harmonic analysis: Cambridge University Press.

Kaul, A. (2014). Lasso with long memory regression errors. Journal of Statistical Planning and Inference, Vol. 153, pp. 11–26.

Kedem, B. (1994). Time series analysis by higher order crossings : IEEE press New York.

Kharin, Y. (2013). Robustness in statistical pattern recognition, Vol. 380: Springer Science & Business Media, Berlin.

Kiefer, J., Wolfowitz, J. et al. (1952). Stochastic estimation of the maximum of a regression function. The Annals of Mathematical Statistics, Vol. 23,pp. 462–466.

Kim, Y., Kwon, S., and Choi, H. (2012). Consistent model selection criteria on high dimensions. The Journal of Machine Learning Research, Vol. 13, pp. 1037–1057.

Kock, A. B. and Callot, L. (2015). Oracle inequalities for high dimensional vector autoregressions. Journal of Econometrics, Vol. 186, pp. 325–344.

Koenker, R. (2005). Quantile Regression, No. 38: Cambridge university press.

Koenker, R. and Bassett, J. G. (1978). Regression quantiles. Econometrica: journal of the Econometric Society, Vol. 46, pp. 33–50.

Koenker, R. and Hallock, K. F. (2001). Quantile regression. Journal of Economic Perspectives, Vol. 15, pp. 143–156.

Koenker, R. and Zhao, Q. (1994). L-estimatton for linear heteroscedastic models. Journaltitle of Nonparametric Statistics, Vol. 3, pp. 223–235.

Kolmogorov, A. (1941a). Interpolation and extrapolation of stationary ran- dom sequences. Izv. Akad. Nauk SSSR Ser. Mat., Vol. 5, pp. 3–14.

(1941b). Stationary sequences in Hilbert space. Byull. Moskov.Gos. Univ. Mat., Vol. 2, pp. 1–40.

Koul, H. L. and Mukherjee, K. (1994). Regression quantiles and related processes under long range dependent errors. Journal of multivariate analysis, Vol. 51, pp. 318–337.

Ku¨nsch, H. (1987). Statistical aspects of self-similar processed. In: Prokhorov, Yu., Sazanov, V.V. (Eds.), Proceedings of the First World Congress of the Bernoulli Society, pp. 67–74.

Liu, R. Y., Singh, K. et al. (1992). Moving blocks jackknife and bootstrap capture weak dependence. Exploring the limits of bootstrap, Vol. 225, p. 248.

Liu, Y. (2017). Robust parameter estimation for stationary processes by an exotic disparity from prediction problem. Statistics & Probability Letters, Vol. 129, pp. 120–130.

Luati, A., Proietti, T., and Reale, M. (2012). The variance profile. Journal of the American Statistical Association, Vol. 107, pp. 607–621.

Mallows, C. L. (2000). Some comments on Cp. Technometrics, Vol. 42,pp. 87–94.

Mandelbrot, B. and Taqqu, M. (1979). Robust R/S analysis of long run serial correlation. 42nd Internat. Statist. Inst., Manila, pp. 1–38.

Mandelbrot, B. B. and Van Ness, J. W. (1968). Fractional Brownian mo- tions, fractional noises and applications. SIAM review, Vol. 10, pp. 422– 437.

Medeiros, M. C. and Mendes, E. F. (2016). ℓ1-regularization of high- dimensional time-series models with non-Gaussian and heteroskedastic errors. Journal of Econometrics, Vol. 191, pp. 255–271.

Meinshausen, N., Bu¨hlmann, P. et al. (2006). High-dimensional graphs and variable selection with the lasso. The annals of statistics, Vol. 34, pp. 1436–1462.

Miamee, A. and Pourahmadi, M. (1988). Best Approximations in Lp(dµ) and Prediction Problems of Szeg¨o, Kolmogorov, Yaglom, and Nakazi. Journal of the London Mathematical Society, Vol. 2, pp. 133–145.

Mutapcic, A. and Boyd, S. (2009). Cutting-set methods for robust convex optimization with pessimizing oracles. Optimization Methods & Soft- ware, Vol. 24, pp. 381–406.

Nakazi, T. (1984). Two problems in prediction theory. Studia Mathematica, Vol. 1, pp. 7–14.

Newey, W. K. (1991). Uniform convergence in probability and stochastic equicontinuity. Econometrica: Journal of the Econometric Society, pp. 1161–1167.

Osborne, M. R., Presnell, B., and Turlach, B. A. (2000). On the lasso and its dual. Journal of Computational and Graphical statistics, Vol. 9, pp. 319–337.

Politis, D. N. and Romano, J. P. (1992). A general resampling scheme for triangular arrays of α-mixing random variables with application to the problem of spectral density estimation. Annals of Statistics, pp. 1985– 2007.

Pourahmadi, M., Inoue, A., and Kasahara, Y. (2007). A prediction problem in L2(ω). Proceedings of the American Mathematical Society, Vol. 135,pp. 1233–1239.

Pourahmadi, M. (1984). On minimality and interpolation of harmonizable stable processes. SIAM Journal on Applied Mathematics, Vol. 44, pp. 1023–1030.

Proietti, T. and Luati, A. (2015). The generalised autocovariance function.Journal of Econometrics, Vol. 186, pp. 245–257.

Rajput, B. S. and Sundberg, C. (1994). On some extremal problems in Hp and the prediction of Lp-harmonizable stochastic processes. Probability Theory and Related Fields, Vol. 99, pp. 197–210.

Rozanov, Y. (1967). Stationary random processes: Holden Day. San Fran- cisco.

S, D. and G, L. (2012). Large sample inference for long memory processes: World Scientific Publishing Company, Singapore.

Schilder, M. (1970). Some structure theorems for the symmetric stable laws.

The Annals of Mathematical Statistics, Vol. 41, pp. 412–421.

Shapiro, A., Dentcheva, D., and Ruszczyn´ski, A. (2009). Lectures on stochastic programming: modeling and theory : SIAM.

Shimotsu, K. and Phillips, P. C. (2006). Local Whittle estimation of frac- tional integration and some of its variants. Journal of Econometrics, Vol. 130, pp. 209–233.(2016). From Statistical Decision Theory to Robust Optimization: A Maximin Perspective on Robust Decision-Making. Robustness Analy- sis in Decision Aiding, Optimization, and Analytics. International Series in Operations Research & Management Science, Vol. 241, pp. 59–87.

Sniedovich, M. (2010). A bird’s view of info-gap decision theory. The Jour- nal of Risk Finance, Vol. 11, pp. 268–283.

Stein, C. M. (1981). Estimation of the mean of a multivariate normal dis- tribution. The annals of Statistics, pp. 1135–1151.

Surgailis, D., Koul, H. L., and Giraitis, L. (2012). Large sample infer- ence for long memory processes: World Scientific Publishing Company, London.

Tang, L., Zhou, Z., and Wu, C. (2012). Efficient estimation and variable selection for infinite variance autoregressive models. Journal of Applied Mathematics and Computing, Vol. 40, pp. 399–413.

Taniguchi, M. (1980). On estimation of the integrals of certain functions of spectral density. Journal of Applied Probability, pp. 73–83.(1981a). An estimation procedure of parameters of a certain spec- tral density model. Journal of the Royal Statistical Society. Series B, Vol. 43, pp. 34–40.(1981b). Robust regression and interpolation for time series. Jour- nal of Time Series Analysis, Vol. 2, pp. 53–62.(1987). Minimum contrast estimation for spectral densities of sta- tionary processes. J. Roy. Statist. Soc. Ser. B, Vol. 49, pp. 315–325.

Taniguchi, M., Hirukawa, J., and Tamaki, K. (2007). Optimal statistical inference in financial engineering : CRC Press.

Taniguchi, M. and Kakizawa, Y. (2012). Asymptotic theory of statistical inference for time series: Springer Science & Business Media, Berlin.

Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), Vol. 58, pp. 267–288.

Tikhonov, A. (1963). Solution of incorrectly formulated problems and the regularization method. Soviet Meth. Dokl., Vol. 4, pp. 1035–1038.

Tjøstheim, D. and Hufthammer, K. O. (2013). Local Gaussian correlation: A new measure of dependence. Journal of Econometrics, Vol. 172, pp. 33–48.

Verdu, S. and Poor, H. V. (1984). On minimax robustness: A general approach and applications. Information Theory, IEEE Transactions on, Vol. 30, pp. 328–340.

Wald, A. (1939). Contributions to the theory of statistical estimation and testing hypotheses. The Annals of Mathematical Statistics, Vol. 10, pp. 299–326.(1945). Statistical decision functions which minimize the maxi- mum risk. Annals of Mathematics, pp. 265–280.

Wang, H., Li, G., and Tsai, C.-L. (2007). Regression coefficient and au- toregressive order shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Statistical Methodology), Vol. 69, pp. 63–78.

Yaglom, A. M. (1962). An introduction to the theory of stationary random functions: Prentice-Hall.

Yajima, Y. (1991). Asymptotic properties of the LSE in a regression model with long-memory stationary errors. The Annals of Statistics, Vol. 19,pp. 158–177.

Ye, J. (1998). On measuring and correcting the effects of data mining and model selection. Journal of the American Statistical Association, Vol. 93, pp. 120–131.

Yuan, M. and Lin, Y. (2007). Model selection and estimation in the Gaus- sian graphical model. Biometrika, Vol. 94, pp. 19–35.

Zou, H., Hastie, T., and Tibshirani, R. (2007). On the “degrees of free- dom” of the lasso. The Annals of Statistics, Vol. 35, pp. 2173–2192.

参考文献をもっと見る

全国の大学の
卒論・修論・学位論文
を
一発検索！

この論文の関連論文を見る