Home Research Staff Projects

Projects

Prof. Dr. Daniel Durstewitz

DFG - Deutsche Forschungsgemeinschaft DU 354/10-1: Inferenz computationaler Dynamiken aus. 10/2018-09/2021.

Grundlegend in den theoretischen Neurowissenschaften ist die Annahme, dass computationale Prozesse im Gehirn über die zugrundeliegende neuronale Dynamik implementiert sind. Z.B. können kognitive Prozesse wie Arbeitsgedächtnis, Entscheidungsfindung, Zeitschätzung oder gedankliche Sequenzen in Termini von Attraktorzuständen, probabilistischen Übergängen zwischen diesen oder langsamen Transienten beschrieben werden. Aus dieser Sicht sollte ein wesentliches Ziel in den computationalen Neurowissenschaften sein, aus experimentellen Datenreihen zugrundeliegende Dynamiken zu extrahieren. Die neuronale Dynamik selbst ist aber in der Regel nicht direkt beobachtbar, sondern muss aus verrauschten und begrenzten physiologischen Datensätzen erschlossen werden, die Beobachtungen nur über einen kleineren Teil des zugrundeliegenden Systems enthalten. Methodische Werkzeuge, die dies leisten können, wären daher von sehr großem Nutzen. Die Entwicklung solcher basierend auf tiefen rekurrenten neuronalen Netzen (RNN), und deren Erprobung an experimentellen Datensätzen, ist daher zentrales Ziel dieses Antrags. In vorhergehenden Arbeiten haben wir eine Kombination aus Delay- Einbettungen und nichtlinearen Basiserweiterungen verwendet, um aus Multizellableitungen wesentliche Charakteristika der zugrundeliegenden Dynamik, wie z.B. Konvergenz zu semiattrahierenden Zuständen, zu extrahieren (Balaguer-Ballester et al. 2011; Lapish et al. 2015). Kürzlich haben wir zudem Methoden für die statistische Schätzung von RNNs aus experimentellen Daten entwickelt (Durstewitz 2017). RNNs sind computational und dynamisch universell, d.h. können prinzipiell jedmögliches dynamische System approximieren bzw. emulieren, und damit prinzipiell auch jede Hirndynamik, die dem beobachteten Verhalten und neuronalen Messungen zugrundeliegt. Basierend auf diesen früheren und vorläufigen Arbeiten werden in diesem Antrag eine Reihe wichtiger Probleme angegangen: 1) Existierende Methoden zur statistischen Schätzung von tiefen RNNs skalieren nicht gut mit der Systemgröße, was aber sehr wichtig wäre, um gute Approximationen an die Dynamik zu erzielen und größere Datensätze zu verarbeiten; dafür werden hier verschiedene Lösungen vorgeschlagen. 2) Wichtiger noch, bisher fehlt es an einer systematischen Validierung und einem Vergleich zwischen verschiedenen RNN-Architekturen und Inferenzalgorithmen anhand biophysikalischer Modellsysteme, deren (wahres) Verhalten bekannt ist, insbesondere in Bezug auf experimentell realistische Szenarien mit vergleichsweise limitierten Messungen von verrauschten hoch-dimensionalen neuronalen Systemen, von denen nur wenige Dimensionen direkt beobachtet wurden. 3) Primär als ein Anwendungsbeispiel werden wir dann mithilfe dieser Methoden Multizellableitungen vom präfrontalen Kortex und Hippocampus von Ratten während Arbeitsgedächtnisaufgaben reanalysieren und damit Fragen zur gekoppelten Systemdynamik adressieren, die bisherigen Analysetools nicht zugänglich waren.

DFG - Deutsche Forschungsgemeinschaft : Netzwerkdynamiken und computationale Mechanismen des Regellernens II. 10/2016-09/2019.

Lernvorgänge bei Tieren werden häufig als eher langsame, graduelle Prozesse angesehen, die in der inkrementellen Stärkung assoziativer Verbindungen zwischen Stimuli, Reaktionen und Rückmeldungen aus der Umwelt bestehen. Basierend auf statistischen Analysen individueller Lernvorgänge und Beobachtungen zu plötzlichen Sprüngen zwischen Regel-repräsentierenden neuronalen Populationszuständen im präfrontalen Kortex (PFC) etabliert sich in den letzten Jahren aber zunehmend die Sichtweise vom Lernen als aktivem Inferenz- und Entscheidungsprozess. Ergebnisse aus der letzten Antragsperiode legen nahe, dass 'neuronale Sprünge' eher den Wechsel der Entscheidung bzgl. alternativer Regeln abbildet, als einen durch Unsicherheit initiierten Übergang in eine Explorationsphase, und dass dieser Wechsel durch das dopaminerge System beeinflusst wird. Basierend auf diesen und anderen Beobachtungen werden wir drei weitergehende Fragestellungen mithilfe einer Kombination aus Multizellableitungen, optogenetischen Manipulationen und fortgeschrittenen Zeitreihen- und auf computationalen Modellen basierenden statistischen Analysemethoden untersuchen: 1) Wie genau sind neuronale Zellverbände im PFC und im ventralen tegmentalen Areal (VTA) während des Regellernens zeitlich koordiniert und welche Einflüsse hat Dopamin im Einzelnen auf verschiedene computationale Teilprozesse (z.B. Werteinferenz oder Antwortselektion); 2) Können von uns postulierte Modelle der zugrundeliegenden neurodynamischen Mechanismen die in verschiedenen PFC-Arealen beobachteten Aktivitätsmuster unter unterschiedlichen experimentellen Bedingungen prädizieren und erklären; 3) Lassen sich bestimmte, mit einfacheren Modellen nur schwer erklärbare Verhaltensbeobachtungen in diesem Kontext durch Modelle des Strukturlernens und der aktiven Informationssuche erfassen, und wie sind diese höheren Prozesse neuronal realisiert? Zentraler Gedanke unseres Projektes ist damit weiterhin, Regellernen als aktiven Inferenzprozess in seinen neurophysiologischen, -dynamischen und -computationalen Grundlagen zu verstehen. Animal learning is often conceived as a gradual process that develops over many trials and involves the incremental strengthening of associations among stimuli, responses, and outcomes. However, in recent years there is mounting evidence that animal learning is better understood as an active inference and decision making process. This view comes from careful statistical examination of the individual, trial-by-trial learning progress, and from the observation of sudden transitions among neural ensemble states coding for different behavioral rules in prefrontal cortex (PFC) which accompany the learning process. Results from the last funding period suggest that a) these sudden neural transitions may reflect a change in choice between the different rules (following a crossover of value signals) rather than reflecting a period of uncertainty and/or exploration, and b) that dopamine may also primarily affect the choice process rather than value updating. Building on these results and other observations, here we aim to further validate and extend our current understanding along three major directions, using a combination of multi-tetrode recordings, optogenetic manipulations, and advanced time series and computational model based analysis of the learning process: 1) We will dissect in more detail the task periods during which dopamine input is most crucial, how dopamine neuron activity is coordinated with PFC activity as the task progresses, and how it impacts on various subcomponents of rule learning like action selection and value updating; 2) We will address in more detail specific hypotheses regarding the neurodynamical mechanisms underlying the active inference process in various subdivisions of the rat PFC; 3) Through variations of the basic behavioral task design, we will further explore learning in terms of structural inference and active information seeking. Thus, we will continue toward our goal of a comprehensive understanding of rule learning as active inference at the neurophysiological, neuro-dynamical, and neuro-computational levels.

DFG - Deutsche Forschungsgemeinschaft SFB 1134: D01: Statistische Charakterisierung zellulärer Ensembles in neuronalen Daten. 01/2015-12/2018.

BMBF - Bundesministerium für Bildung und Forschung 01ZX1611A: e:Med II SPs 7: Mathematical Modeling II: Local neurodynamics and treatment predictions. 01/2017-12/2018.

In SP7, changes in local neurodynamics in prefrontal areas are examined in relation to behavioral alterations that occur during the addiction cycle and decision making. In this SP, the extent to which pharmacological treatment options (deriving from SP5) can potentially restore normal network function are also tested. However, as already mentioned – due to age-related problems – animals derived from the DSM-based model of SP5 are not well suited for the proposed electrophysiological studies and the different PIs have decided to use animals from the “post-dependent model”7 (SP5) to do these experiments. What has been achieved in the first two years is a computational framework for highthroughput characterization of network models composed of physiologically derived single cell models (Hertäg et al., 2014). Specifically, we have developed mean-field methods based on the biophysically realistic “adaptive exponential leaky-integrate-&-fire” model, on which our fast algorithms for translating electrophysiological recordings into single cell models are based5.

Rietschel M. BMBF - Bundesministerium für Bildung und Forschung 01ZX1314G: e:Med Integrament, Integrierte Untersuchungen von Ursachen und Mechanismen psychiatrischer Störungen. 01/2014-12/2016.

1. Vorhabenziel Teilprojekt 2 (ZP2) verfolgt die Ziele der Identifikation von Phenotyp-Phänotyp-Assoziationen, der Bereitstellung von großen Patientenstichproben sowie der Ausweitung der Patientenressource des Konsortiums auf eine deutschlandweite multizentrische Kohorte. In TP4 und TP5 stehen die Identifizierung und Validierung neuer Marker (Bildgebung/Imaging, Genetik, Klinik, Umwelteinflüsse) für Schizophrenie (SCZ) sowie Unipolare und Bipolare Störung (MD) im Vordergrund. Es sollen computationale Netzwerk-Modelle zur Darstellung der dynamischen Abläufe im Gehirn, vor allem des präfrontalen Cortex, von Patienten mit SCZ und MD erarbeitet werden (TP10). Es ist folgende Gliederung einzuhalten: 1. Vorhabenziel, 2. Arbeitsplanung 2. Arbeitsplanung TP2: Identifizierung robuster Genotyp-Phänotypmuster mittels Genomsequenzierung und ggf. Patienten-Wiederbegutachtung. TP4 und 5: Etablierung der Bioinformatik-Infrastruktur, Marker-Identifizierung und –Validierung, Festlegen prädiktiver Marker. TP 10: Statistische Beschreibung zellulärer und synaptischer Transferfunktionen bei Kandidatengenen (CACNA1C, NCAN) und anschließende Netzwerk-Darstellung. 3. Ergebnisverwertung Ein vertieftes Verständnis der Pathophysiologie psychiatrischer Erkrankungen wir mittel- und langfristig zur Entwicklung von neuen und besser wirkenden Behandlungsstrategien und Medikamenten führen.

Durstewitz D. DFG - Deutsche Forschungsgemeinschaft DU 354/8-1: Netzwerkdynamiken und computationale Mechanismen der Regellernens. 10/2013-09/2016.

Durstewitz D, Kelsch W. DFG - Deutsche Forschungsgemeinschaft SFB 636: TP B08: Phasic dopamine-modulation of spike-timing-dependent plasticity and its. 01/2012-12/2015.

A long-standing behavioral, pharmacological, and electrophysiological literature relates dopamine (DA) to reinforcement learning and reward prediction. In particular the phasic firing of DA midbrain neurons has been interpreted as an important learning signal that may drive adaptive processes in DA-innervated target regions. These processes are also thought to be of major clinical relevance in addiction, posttraumatic stress and anxiety disorders. One of the major DA target areas is the medial prefrontal cortex (mPFC) which itself has been implicated in associative rule learning and extinction. DA is known to modulate long-term-potentiation and -depression in the mPFC, but only very few studies so far have dealt with DA-modulation of spike-timing-dependent plasticity (STDP), a relatively recent phenomenon of particular relevance to associative learning theories. While previous studies were mainly performed in juvenile animals and with tonic pharmacological stimulation of DA receptors, here we aim to investigate DA-modulation of STDP at prefrontal cortico-cortical connections between pyramidal cells and interneurons in adult preparations in vitro. To overcome previous limitations in selectively and phasically stimulating DA fibers into the mPFC, optogenetic tools will be used. The putative role of the recently discovered parallel or co-release of glutamate from VTA neurons will be studied as well. The experimental findings will be translated into a formal STDP rule which will be further explored in biophysical neural network simulations for its role in mPFC-mediated associative and extinction learning. Computational predictions will be fed back into experimental design. Thus, by combining slice-electrophysiological, optogenetic, and neuro-computational methods we aim to gain deeper insights into the role of phasic DA signals in regulating synaptic plasticity, associative and extinction learning.

Durstewitz D. BMBF - Bundesministerium für Bildung und Forschung 01GQ1003B: BCCN: Bernstein Center for Computational Neuroscience: Implications of genetic variations for neural information processing in psychiatric conditions. 05/2010-04/2015.

The Bernstein Center Heidelberg-Mannheim investigates implications of genetic variations for neural information processing in psychiatric conditions. Recent years have seen a tremendous progress in identifying risk genes for a number of psychiatric conditions, but we mostly lack a mechanistic understanding of the causal and dynamical links between genetically determined neuronal properties, their implications for cortical network dynamics, and their impact in turn on behavior and cognition. However, such knowledge would be of tremendous clinical relevance. Computational models of neuronal systems are an excellent tool to study such causal links. The ultimate goal of the Bernstein Center Heidelberg-Mannheim is to derive an explanatory and theoretical framework for linking genetic conditions to higher cognitive function and its aberrations in schizophrenia, depression, and age-related mental decline. To these ends, biologically detailed models of relevant brain structures as well as their connection to intracellular processes on the one hand and to macroscopic brain dynamics (fMRI, EEG) on the other hand, will be developed. In close exchange with experimental studies on different levels (genes, intracellular processes, network physiology, fMRI/EEG-measurements, behavior) these models will be parameterized, validated, and their predictions tested. Translation into clinical application is sought through novel diagnostic predictors and a computational platform for an "in-silico psychopharmacology". In Heidelberg the more cellular and network-physiological aspects of the proposal will be pursued, while work at the Central Institute of Mental Health in Mannheim will focus more on the psychiatric, human, and applicational aspects. The BCCN Heidelberg-Mannheim integrates projects at the following research institutions: Heidelberg University Central Institute of Mental Health Mannheim

Durstewitz D. BMBF - Bundesministerium für Bildung und Forschung 01GQ1003B: BCCN TP B5: Polymorphisms in PFC / HC models. 05/2010-04/2015.

Durstewitz D, Spanagel R. BMBF - Bundesministerium für Bildung und Forschung 01GQ1003B: BCCN TP D1: In-silico neuropharmacology. 05/2010-04/2015.

Durstewitz D. BMBF - Bundesministerium für Bildung und Forschung 01GQ1003B: BCCN TP D2: Physiological indicators from fMRI. 05/2010-04/2015.

Durstewitz D. BMBF - Bundesministerium für Bildung und Forschung 01GQ1003B: BCCN Central projekt. 05/2010-04/2015.

Durstewitz D. DFG - Deutsche Forschungsgemeinschaft DFG DU 354/7-2: Heisenbergprofessur: Anpassung neuronaler Dynamiken an kognitive Erdordernisse - Dopaminerge Kontrolle kortikaler Aivitätsregime, 2. FP. 10/2011-10/2013.

Durstewitz D. Canadian Institutes of Health Research : Dopamine modulation of perfrontal network activity. 10/2008-10/2013.

Durstewitz D. DFG - Deutsche Forschungsgemeinschaft DU 354/6-1: Anpassung neuronaler Dynamiken an kognitive Erfordernisse - Dopaminerge Kontrolle kortikaler Aktivitätsregime. 10/2008-08/2013.

Das dopaminerge System des Gehirns ist entscheidend involviert in kognitive Anpassungsleistungen, die Prozesse wie Arbeitsgedächtnis und die Fokussierung auf behaviorale Zielzustände einerseits, und die flexible Anpassung an neuartige und wechselnde Situationen andererseits umfassen. Ein neuro-mechanistisches Verständnis dieser Prozesse ist entscheidend, um mentale Erkrankungen wie z.B. die Schizophrenie effektiver behandeln zu können. Die neue Grundhypothese dieses Antrages ist, daß Dopamin über die differentielle Aktivierung von D1- und D2-Typ-Rezeptoren die adaptive Balance zwischen diesen beiden grundlegenden kognitiven Erfordernissen (Fokussierung/Arbeitsgedächtnis vs. Flexibilität und Ausrichtung auf neue Informationen) in Abhängigkeit vom Verhaltenskontext reguliert, indem es die kortikale Netzwerkdynamik entsprechend ausrichtet. Dies geschieht u.a. über die Modulation oszillatorischer Aktivität und der Kohärenz im Feuerverhalten der Neurone, sowie über das Ausmaß an (Un-)ordnung im Netzwerkverhalten. Ziel dieses Antrages ist es, einerseits basierend auf physiologischen und morphologischen Daten ein biophysikalisch hochrealistisches Computermodell dieser Prozesse zu entwickeln, und aus diesem andererseits spezifische Prädiktionen für Tierund Humanexperimente und mögliche klinische Eingriffsmöglichkeiten herzuleiten.


Zentralinstitut für Seelische Gesundheit (ZI) - https://www.zi-mannheim.de