Identification of Stochastic Nonlinear Dynamical Models Using Estimating Functions

• Data-driven modeling of stochastic nonlinear systems is recognized as a very challenging problem, even when reduced to a parameter estimation problem. A main difficulty is the intractability of the likelihood function, which renders favored estimation methods, such as the maximum likelihood method, analytically intractable. During the last decade, several numerical methods have been developed to approximately solve the maximum likelihood problem. A class of algorithms that attracted considerable attention is based on sequential Monte Carlo algorithms (also known as particle filters/smoothers) and particle Markov chain Monte Carlo algorithms. These algorithms were able to obtain impressive results on several challenging benchmark problems; however, their application is so far limited to cases where fundamental limitations, such as the sample impoverishment and path degeneracy problems, can be avoided.This thesis introduces relatively simple alternative parameter estimation methods that may be used for fairly general stochastic nonlinear dynamical models. They are based on one-step-ahead predictors that are linear in the observed outputs and do not require the computations of the likelihood function. Therefore, the resulting estimators are relatively easy to compute and may be highly competitive in this regard: they are in fact defined by analytically tractable objective functions in several relevant cases. In cases where the predictors are analytically intractable due to the complexity of the model, it is possible to resort to {plain} Monte Carlo approximations. Under certain assumptions on the data and some conditions on the model, the convergence and consistency of the estimators can be established. Several numerical simulation examples and a recent real-data benchmark problem demonstrate a good performance of the proposed method, in several cases that are considered challenging, with a considerable reduction in computational time in comparison with state-of-the-art sequential Monte Carlo implementations of the ML estimator.Moreover, we provide some insight into the asymptotic properties of the proposed methods. We show that the accuracy of the estimators depends on the model parameterization and the shape of the unknown distribution of the outputs (via the third and fourth moments). In particular, it is shown that when the model is non-Gaussian, a prediction error method based on the Gaussian assumption is not necessarily more accurate than one based on an optimally weighted parameter-independent quadratic norm. Therefore, it is generally not obvious which method should be used. This result comes in contrast to a current belief in some of the literature on the subject. Furthermore, we introduce the estimating functions approach, which was mainly developed in the statistics literature, as a generalization of the maximum likelihood and prediction error methods. We show how it may be used to systematically define optimal estimators, within a predefined class, using only a partial specification of the probabilistic model. Unless the model is Gaussian, this leads to estimators that are asymptotically uniformly more accurate than linear prediction error methods when quadratic criteria are used. Convergence and consistency are established under standard regularity and identifiability assumptions akin to those of prediction error methods.Finally, we consider the problem of closed-loop identification when the system is stochastic and nonlinear. A couple of scenarios given by the assumptions on the disturbances, the measurement noise and the knowledge of the feedback mechanism are considered. They include a challenging case where the feedback mechanism is completely unknown to the user. Our methods can be regarded as generalizations of some classical closed-loop identification approaches for the linear time-invariant case. We provide an asymptotic analysis of the methods, and demonstrate their properties in a simulation example.

• Det är välkänt att datadriven modellering av icke-linjära stokastiska system är ett utmanande problem, även i fallen där det kan reduceras till ren parameterskattning. Den huvudsakliga svårigheten är att likelihoodfunktionen inte är analytiskt hanterbar, vilket medför problem vid tillämpning av standardmetoder såsom maximum likelihood. Under det senaste decenniet har numeriska algoritmer baserade på sekventiell Monte Carlo (partikelfilter) rönt stort intresse. Dessa algoritmer har imponerande prestanda på en rad benchmarkproblem; dock så är deras praktiska tillämpning än så länge begränsad till specialfall där fundamentala begränsningar kan undvikas.Den här avhandlingen introducerar nya metoder som kan användas för parameterestimering i en stor klass av icke-linjära stokastiska system. Metoderna baseras på enstegsprediktorer som är linjära i systemets observerade utsignal. Våra nya metoder kräver inte att likelihoodfunktionen beräknas; istället använder de, i en rad relevanta fall, analytiskt hanterbara uttryck som gör dem högst attraktiva. I fallen där prediktorerna är analytiskt ohanterbara (på grund av modellens komplexitet) kan man använda vanliga Monte Carlo-approximationer. Vi visar att klassiska resultat från asymptotisk teori kan användas under rimliga antaganden, och via dessa, att våra föreslagna skattare är konsistenta samt asymptotiskt normalfördelade. Skattarnas prestanda utvärderas i numeriska simulationer, samt nyligen föreslagna benchmarkproblem baserade på verklig data, med bra resultat.Vidare diskuterar vi de föreslagna metodernas asymptotiska egenskaper: deras nogrannhet beror inte enbart på hur modellen har parametriserats, utan även på datans sannolikhetsdistribution (via dess tredje och fjärde ordningens moment). Speciellt visar vi att när modellen inte uppfyller antaganden om normalfördelning, så är en prediktionsfelsmetod baserad på ett normalfördelningsantagande inte nödvändigtvis bättre än en prediktionsfelsmetod baserad på en viktad parameteroberonde kvadratisk norm. Vår slutsats är att det därför inte är uppenbart vilken prediktionsfelsmetod som bör användas. Detta resultat står i kontrast mot den vedertagna uppfattningen som finns i delar av litteraturen.Avhandlingen introducerar även den så kallade skattningsfunktionsmetoden (främst utvecklad inom statistiklitteraturen) som en generalisering av maximum likelihood- och prediktionsfelsmetoderna. Vi visar hur denna metod kan användas för att systematiskt konstruera optimala skattare, inom en specifierad modellklass, från enbart partiella specifikationer på den underliggande probabilistiska modellen. Detta ger skattare som asymptotiskt är likformigt mer noggrannare än linjära prediktionsfelsmetoder baserade på kvadratiska optimeringsobjektiv. Vi härleder konvergensresultat, såsom konsistens, för dessa skattare under standardantaganden.Slutligen behandlar vi identifieringsproblemet för återkopplade system som är stokastiska och icke-linjära. Vi behandlar ett par varianter på antaganden om mät- samt processbrus, och på kunskap om hur systemets återkoppling sker. Ett speciellt utmanande fall är när återkopplingsmekanismen är helt okänd. Metoderna vi föreslår kan ses som generaliseringar av klassiska metoder för identifiering av återkopplade system med linjärt tidsvarierande parametrar. Vi utför en asymptotisk analys av metoderna, och demonstrerar deras prestanda i numeriska experiment.

Ämnesord

TEKNIK OCH TEKNOLOGIER  -- Elektroteknik och elektronik -- Reglerteknik (hsv//swe)

ENGINEERING AND TECHNOLOGY  -- Electrical Engineering, Electronic Engineering, Information Engineering -- Control Engineering (hsv//eng)

Nyckelord

Prediction Error Method

Maximum Likelihood

Data-driven

Learning

Stochastic

Nonlinear

Dynamical Models

Non-stationary Linear Predictors

Intractable Likelihood

Latent Variable Models

Estimation

Process Disturbance

Electrical Engineering

Elektro- och systemteknik

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)