Pilotprojekt: Evaluation

Vorbemerkung

Die wichtigsten Akteure: Die beteiligten Einrichtungen

Nicht nur für die Entwicklung und Ausgestaltung des Empfehlungssiegels sondern auch für den Evaluationsprozess sind die beteiligten Einrichtungen die wichtigsten Akteure. Mit verlässlicher Präsenz und Engagement brachten sie sich sowohl in den jährlichen Austauschtreffen als auch in die inhaltliche Mitarbeit an den Evaluationsinstrumenten ein. Die nachhaltige und wertvolle Kooperation zwischen den Einrichtungen, der Empfehlungsgruppe und der Evaluatorin war maßgeblich für die reibungslose Durchführung des Pilotprojektes.

Folgende DGSF-empfohlene Einrichtungen gewannen Ihre Mitarbeitenden für das Pilotprojekt und beteiligten sich am Pilotprojekt:

Ihnen gilt unserer besonderer Dank!

Gabriele Bachem-Böse, Michaela Herchenhan, Liz Nicolai und Bernward Vieten
– Empfehlungsgruppe und Vorstand der DGSF –

Das Wichtigste in Kürze

Die Deutsche Gesellschaft für Systemische Therapie, Beratung und Familientherapie (DGSF e. V.) hat sich das Ziel gesetzt, systemisches Arbeiten insbesondere in der Familienberatung und -therapie zu fördern und lädt seit mehreren Jahren Organisationen ein, an einem Qualitätsprozess zum Siegel "DGSF-empfohlene systemisch-familienorientiert arbeitende Einrichtung" teilzunehmen.

Im Dezember 2016 ist auf dem Treffen der empfohlenen Einrichtungen der Startschuss für ein Pilotprojekt "Evaluation der DGSF-empfohlenen Einrichtungen in der Jugendhilfe" gegeben worden, nachdem ein Rahmenkonzept gemeinsam mit den Einrichtungen erarbeitet und vorgestellt wurde. Der vorliegende Bericht (s. u.) gibt Auskunft über das Pilotprojekt und seine Ergebnisse. Auf dieser Grundlage werden Schlussfolgerungen und Entwicklungsoptionen in Bezug auf Rahmenkonzept und Erhebungsinstrumente abgeleitet.

Evaluationszweck und Fragestellungen

Die Evaluation soll zum einen dem Zweck der Berichtslegung (Transparenz) dienen, zum anderen der Weiterentwicklung der empfohlenen Jugendhilfe-Einrichtungen sowie dem fachlichen Diskurs auf DGSF-Ebene. Die zentralen Fragestellungen der Evaluation sind:

  • A) Inwiefern wird an den empfohlenen Einrichtungen systemisch gearbeitet?
  • B) Inwiefern nehmen die Klient*innen, deren Angehörige und Vertretende der jeweiligen Jugendämter die systemische Arbeitsweise der Einrichtungen wahr?

Im Rahmen des Pilotprojektes war darüber hinaus zu prüfen, inwiefern die für die Evaluation formulierten Ziele und Kriterien zu den aktuell an den Einrichtungen verfolgten fachlichen Standards systemischen Arbeitens passen ("DGSF-Brille") und den in den Einrichtungen verfolgten Zielen entsprechen ("Einrichtungs-Brille"). Aufgrund mangelnder Vorerfahrungen war außerdem zu klären, welche Rahmenbedingungen für die Durchführung von Evaluation in diesem Kontext zu beachten sind. Auf Grundlage der Ergebnisse und Erkenntnisse sollen im Nachgang die Befragungsinstrumente optimiert werden.

Methodisches Vorgehen

Die Befragungsinstrumente "DGSF-Brille" behandeln die Fragestellung A auf Grundlage von spezifisch abgeleiteten fachlichen Standards systemischen Arbeitens. Sie bestehen aus zwei Online-Befragungen einerseits der Mitarbeitenden und andererseits der Leitungskräfte der Jugendhilfe-Einrichtungen. Die Instrumente "Einrichtungs-Brille" bearbeiten schwerpunktmäßig die Fragestellung B, unter anderem auf Basis von Outcome-Zielen zu den Zielgruppen Kinder/Jugendliche sowie Eltern/Angehörige. Sie bestehen aus strukturierten Interviews dieser beiden Zielgruppen sowie einem leitfadengestützten Interview von Jugendamtsvertretenden zur Zusammenarbeit mit der Einrichtung. In Online-Befragungen und strukturierten Interviews werden offene und geschlossene Fragen integrativ eingesetzt. Außerdem enthalten alle Instrumente in der Pilotphase jeweils nach den einzelnen Themenblöcken die Möglichkeit zur Kommentierung in Bezug auf die Verständlichkeit der Fragen oder Unsicherheiten bei der Beantwortung. Die Kommentare werden neben weiteren Erkenntnissen aus dem Piloten im Nachgang für die Optimierung der Befragungsinstrumente genutzt. (Anm.: Die aktualisierten Fragebögen stellen wir Interessierten auf Anfrage zur Verfügung.)

Ergebnisse

Die freiwillige Beteiligung am Pilotprojekt ist mit 11 von 22 möglichen Einrichtungen sehr hoch. Insgesamt haben 287 Mitarbeitende (Rücklauf 56%) sowie 49 Leitungskräfte (Rücklauf 77%) an den Online-Befragungen "DGSF-Brille" teilgenommen.

Mitarbeitende bestätigen Aussagen zum systemischen Arbeiten mit den Klient*innen für sich/ihr Team fast durchweg als zutreffend bis voll zutreffend. Abweichungen werden meist in den Kommentarfeldern inhaltlich begründet. Leitungskräfte bestätigen Aussagen zur systemischen Personal- und Organisationsentwicklung überwiegend als zutreffend bis voll zutreffend für ihre Einrichtung.

Das Angebot zum Testen des Instrumentariums "Einrichtungs-Brille" ist von sechs der Einrichtungen zusätzlich angenommen worden. Hier liegen insgesamt 515 ausgefüllte Fragebögen von Kindern und Jugendlichen (N=225), ihren Eltern und Angehörigen (N=218) sowie von Jugendämtern (N=72) vor.

Die Kinder/Jugendlichen stimmen den einzelnen Aussagen zu den intendierten Outcomes der Hilfemaßnahme mehrheitlich bis einstimmig zu. Die Zustimmung der Eltern/Angehörigen zu den intendierten Outcomes der Hilfemaßnahme auf Ihrer Seite ist ebenfalls hoch bis sehr hoch.

Dort, wo Ansprechpartner*innen beim Jugendamt im Rahmen eines qualitativen Interviews durch Einrichtungsvertretende befragt worden sind, gaben diese sehr bereitwillig Auskunft. Es gab viele positive Rückmeldungen sowie einige Anregungen.

Eignung von Konzept und Instrumenten

Die speziell für die Evaluation formulierten Ziele und abgeleiteten Standards systemischen Arbeitens werden durch die Ergebnisse validiert. Veränderungsbedarf zeigt sich im Wesentlichen bezüglich einzelner Formulierungen und zu erhebender Details in den Instrumenten. Für die Befragung von Kindern/Jugendlichen und Eltern/Angehörigen ("Einrichtungs-Brille") ist zudem einer vereinfachten Sprache verstärkt Beachtung zu schenken. In der Mitarbeitenden-Befragung ("DGSF-Brille") ist die Heterogenität von Jugendhilfemaßnahmen, wie Kindeswohlgefährdung oder Zwangskontext, künftig stärker in der Fragebogenstruktur zu berücksichtigen.

Der nach den Erhebungen von Einrichtungsvertretenden eingeschätzte Nutzen übersteigt bei beiden "Brillen" den damit verbundenen Aufwand. Darüber hinaus bestätigen Rückmeldungen von Einrichtungsvertretenden, dass der Evaluationsprozess an sich bereits zur fachlichen Reflexion an den Einrichtungen angeregt hat.

Fazit und Ausblick

Das Evaluationsrahmenkonzept und die Befragungsinstrumente sind nach dem Pilotprojekt als umfassend erprobt und gut geeignet für die Evaluation der DGSF-empfohlenen Einrichtungen zu den vorgesehenen Zwecken der Berichtslegung/Transparenz und Weiterentwicklung zu bewerten. Im Sinne des Evaluationszwecks der Weiterentwicklung ist es empfehlenswert, die Einrichtungen im Prozess der Ergebnisnutzung weiter zu unterstützten und ihnen einen Rahmen für den Austausch über die Evaluation, deren Ergebnisse sowie angestoßene Entwicklungs- und Lernprozesse zu bieten.

Dr. Dörte Schott, Freie Evaluatorin, Wiesbaden, info[at]doerte-schott.de