Module identification in dynamic networks: parametric and empirical Bayes methods

• The purpose of system identification is to construct mathematical models of dynamical system from experimental data. With the current trend of dynamical systems encountered in engineering growing ever more complex, an important task is to efficiently build models of these systems. Modelling the complete dynamics of these systems is in general not possible or even desired. However, often, these systems can be modelled as simpler linear systems interconnected in a dynamic network. Then, the task of estimating the whole network or a subset of the network can be broken down into subproblems of estimating one simple system, called module, embedded within the dynamic network.The prediction error method (PEM) is a benchmark in parametric system identification. The main advantage with PEM is that for Gaussian noise, it corresponds to the so called maximum likelihood (ML) estimator and is asymptotically efficient. One drawback is that the cost function is in general nonconvex and a gradient based search over the parameters has to be carried out, rendering a good starting point crucial. Therefore, other methods such as subspace or instrumental variable methods are required to initialize the search. In this thesis, an alternative method, called model order reduction Steiglitz-McBride (MORSM) is proposed. As MORSM is also motivated by ML arguments, it may also be used on its own and will in some cases provide asymptotically efficient estimates. The method is computationally attractive since it is composed of a sequence of least squares steps. It also treats the part of the network of no direct interest nonparametrically, simplifying model order selection for the user.A different approach is taken in the second proposed method to identify a module embedded in a dynamic network. Here, the impulse response of the part of the network of no direct interest is modelled as a realization of a Gaussian process. The mean and covariance of the Gaussian process is parameterized by a set of parameters called hyperparameters that needs to be estimated together with the parameters of the module of interest. Using an empirical Bayes approach, all parameters are estimated by maximizing the marginal likelihood of the data. The maximization is carried out by using an iterative expectation/conditional-maximization scheme, which alternates so called expectation steps with a series of conditional-maximization steps. When only the module input and output sensors are used, the expectation step admits an analytical expression. The conditional-maximization steps reduces to solving smaller optimization problems, which either admit a closed form solution, or can be efficiently solved by using gradient descent strategies. Therefore, the overall optimization turns out computationally efficient. Using markov chain monte carlo techniques, the method is extended to incorporate additional sensors.Apart from the choice of identification method, the set of chosen signals to use in the identification will determine the covariance of the estimated modules. To chose these signals, well known expressions for the covariance matrix could, together with signal constraints, be formulated as an optimization problem and solved. However, this approach does neither tell us why a certain choice of signals is optimal nor what will happen if some properties change. The expressions developed in this part of the thesis have a different flavor in that they aim to reformulate the covariance expressions into a form amenable for interpretation. These expressions illustrate how different properties of the identification problem affects the achievable accuracy. In particular, how the power of the input and noise signals, as well as model structure, affect the covariance.

• Systemidentifiering används för att skatta en modell av ett dynamiskt system genom att anpassa modellens parametrar utifrån experimentell mätdata inhämtad från systemet som ska modelleras. Systemen som modelleras tenderar att växa sig så omfattande i skala och så komplexa att direkt modellering varken är genomförbar eller önskad. I många fall går det komplexa systemet att beskriva som en komposition av enklare linära system (moduler) sammakopplade i något vi kallar dynamiska nätverk. Uppgiften att modellera hela eller delar av nätverket kan därmed brytas ner till deluppgiften att modellera en modul i det dynamiska nätverket.Det vanligaste sättet att skatta parametrarna hos en model är genom att minimera det så kallade prediktionsfelet. Den här typen av metod har nyligen anpassats för att identifiera moduler i dynamiska nätverk. Metoden åtnjuter goda egenskaper vad det gäller det modelfel som härrör från stokastisk störningar under experimentet och i de fall där störningarna är normalfördelade sammanfaller metoden med maximum likelihood-metoden. En nackdel med metoden är att functionen som minimeras vanligen är inte är konvex och därmed riskerar metoden att fastna i ett lokalt minimum. Det är därför essentiellt med en bra startpunkt. Andra metoder krävs därmed för att hitta en startpunkt, till exempel kan instrumentvariabelmetoder användas. I den här avhandlingen föreslås en alternativ metod kallad MORSM. MORSM är motiverad med argument hämtade från maximum likelihood och är också asymptotiskt effektiv i vissa fall. MORSM består av steg som kan lösas med minstakvadratmetoden och är därmed beräkningsmässigt attraktiv. Den del av nätverket som är utan intresse skattas enbart ickeparametriskt vilket underlättar valet av modellordning för användaren.En annan utgångspunkt tas i den andra metoden som föreslås för att skatta en modul inbäddad i ett dynamiskt nätverk. Impulssvaret från den del av nätverket som är utan intresse modelleras som realisation av en Gaussisk process. Medelvärdet och kovariansen hos den Gaussiska processen parametriseras av en mängd parametrar kallade hyperparametrar vilka skattas tillsammans med parametrarna för modulen. Parametrarna skattas genom att maximera den marginella likelihood funktionen. Optimeringen utförs iterativt med ECM, en variant av förväntan och maximering algoritmen (EM). Algoritmen har två steg. E-steget har en analytisk lösning medan CM-steget reduceras till delproblem som antingen har analytisk lösning eller har låg dimensionalitet och därmed kan lösas med gradientbaserade metoder. Den övergripande optimeringen är därmed beräkningsmässigt attraktiv. Med hjälp av MCMC tekniker generaliseras metoden till att inkludera ytterligare sensorer vars impulssvar också modelleras som Gaussiska processer.Förutom valet av metod så påverkar valet av signaler vilken nogrannhet eller kovarians den skattade modulen har. Klassiska uttryck för kovariansmatrisen kan användas för att optimera valet av signaler. Dock så ger dessa uttryck ingen insikt i varför valet av vissa signaler är optimalt eller vad som skulle hända om förutsättningarna vore annorlunda. Uttrycken som framställs i den här delen av avhandlingen har ett annat syfte. De försöker i stället uttrycka kovariansen i termer som kan ge insikt i vad som påverkar den nogrannhet som kan uppnås. Mer specifikt uttrycks kovariansen med bland annat avseende på insignalernas spektra, brussignalernas spektra samt modellstruktur.

Ämnesord

TEKNIK OCH TEKNOLOGIER  -- Elektroteknik och elektronik -- Reglerteknik (hsv//swe)

ENGINEERING AND TECHNOLOGY  -- Electrical Engineering, Electronic Engineering, Information Engineering -- Control Engineering (hsv//eng)

Nyckelord

Electrical Engineering

Elektro- och systemteknik

Publikations- och innehållstyp

vet (ämneskategori)

dok (ämneskategori)