Dokumentation af prototype, test og implementering (fase 4, 5)
Dokumentation af prototype, test og implementering (fase 4, 5) Mobil applikation baseret på sundhedspædagogiske metoder målrettet nydiagnosticerede personer med type 2-diabetes OPI-satsning ’Et nyt liv med type 2-diabetes’ Samarbejdspartnere: Steno Diabetes Center A/S BridgeIT APS Forebyggelsescenter Vanløse, Brønshøj, Husum Frederiksberg Hospital Lægepraksis Tine Lindinger og Thomas Saxild I/S 1 of 38 Indholdsfortegnelse Opsummering .................................................................................................................... 3 Scopingmøde - samarbejdsparterne ................................................................... 5 Ekstern designer .............................................................................................................. 5 Interaktiv workshop med borgere ........................................................................ 6 Praksiskonsulenter fra KAP-H ................................................................................. 6 Facebookafstemning ..................................................................................................... 7 App – indhold og validering ...................................................................................... 8 Knap- og hjælpetekster .................................................................................... 10 Interviews med testpersoner – foreløbige fund ........................................ 11 Testpersoner ......................................................................................................... 11 Foreløbige fund fra interviews ........................................................................ 11 Foreløbige udviklingspunkter for app’en .................................................... 14 Skitse for implementering ....................................................................................... 15 Bilagsoversigt .................................................................................................................. 16 Bilag A: Wireframes – 1. udkast ................................................................... 17 Bilag B: Billeder fra workshop med borgere ............................................. 18 Bilag C: Wireframes – ekstern designer .................................................... 20 Bilag D: Udvikling af prototypen ................................................................... 22 Bilag E: Screenshot af prototypen LevMedType2 ................................... 23 Bilag F: Facebookafstemning .......................................................................... 24 Bilag G: Modificeret teoretisk model ........................................................... 25 Bilag H: Knap- og hjælpetekster ................................................................... 26 Bilag I: To modeller over evaluering af app i større skala ................. 28 2 of 38 Opsummering Med udgangspunkt i idé- og konceptudviklingen i fase 3 er fokus for fase 4 og 5 udvikling og test af en funktionel prototype. Prototypen er skabt i en iterativ proces med involvering af projektets samarbejdspartnere, brugerne (borgere med type 2 diabetes) og sundhedsprofessionelle. Der er i denne proces gennemført en række aktiviteter (møder, interviews og workshops), som er kort beskrevet nedenfor. Derudover har der løbende afholdt møder mellem udvikler (BridgeIT) og projektets tovholder (Steno). Afrapporteringen indeholder desuden en kort beskrivelse af app’ens indhold, en kortfattet beskrivelse af udviklingspunkter, fund fra foreløbige interviews i forbindelse med afprøvning og en skitse for forskning ift. implementering. Scopingmøder: Vi har afholdt adskillige scopingmøder med det formål at komme tættere på en samlet løsning for app’en baseret for de 2 løsningskoncepter (fase 3). I denne proces har partnerne i OPI-projektet, brugerne og en ekstern designer været involveret. Interaktiv workshop med borgere med type 2-diabetes: Til workshoppen blev der præsenteret foreløbige wireframes udarbejdet af BridgeIT (billeder af app funktioner). Her fik vi feedback på både indhold og design af borgere med type 2-diabetes. Møder med tre praktiserende læger fra KAP-H: Formålet med møderne var at præsentere de praktiserende læger for app’ens indhold (behov og løsning) og det foreløbige design (wireframes) og få feedback. Derudover drøftede vi mulighederne for implementering af app’en i praksis. Facebook afstemning Der har været en afstemning om app’ens navn på Diabetesforeningens facebookside, hvor medlemmer har haft mulighed for at stemme på tre navneforslag og/eller selv forslå et navn. App – indhold og validering: Indholdet i app’en består af både sundhedsfaglig viden og knap- og hjælpetekster. Sidstnævnte henviser til de tekster, der vedrører app’ens brugervenlighed. Teksterne med et sundhedsfagligt indhold er valideret af blandt andet Danske fodterapeuter, praksiskonsulenter fra KAP-H og andre relevante sundhedsfaglige personer fra projektgruppen. 3 of 38 Interviews med testpersoner: I skrivende stund er app’en i gang med at blive afprøvet af ny-diagnosticerede borgere med type 2diabetes (n=15). Formålet med afprøvningen er at undersøge, hvordan app’en virker i praksis, samt i hvilket om app’en evt. skal justeres/optimeres med henblik på implementering. 4 of 38 Scopingmøde - samarbejdsparterne Med udgangspunkt i borgernes ønske om at integrere to løsningskoncepter i en funktionel prototype, blev der afholdt et scopingmøde med samarbejdspartnerne. Formålet med mødet var at få input til løsningskoncepterne for at komme tættere på en løsning. Workshoppen blev afholdt i Vanløse Forebyggelsescenter den 21. maj kl. 9.30-11. Her deltog Sygeplejerske Sanna Persson fra Vanløse Forebyggelsescenter, praktiserende læge Thomas Saxild fra Lægepraksis Tine Lindinger og Thomas Saxild I/S, Vibeke Wara, Mobility Solutions Manager fra BridgeIT, Senior forsker Nana F. Hempler, praktikant Christine Drost, og videnskabelig assistent Mira M. Petersen fra Steno Diabetes Center (Steno). Til scopingmødet præsenterede Steno de to løsningskoncepter fra fase 3: 1. At styrke borgeren med ny-diagnosticeret type 2-diabetes i at varetage ’tovholderrollen’ i eget sygdomsforløb via klarhed over muligheder ved bl.a. at visualisere vigtige forebyggende aktiviteter og aftaler i relation til diabetes samt stimulere til refleksion over udfordringer, mål og behov 2. At understøtte hverdagen med diabetes i form af personaliserende grafer, der giver klarhed over sammenhænge i relation til ens helbred og daglige rutiner, hvilket kan være afsæt for en dialog med sundhedsprofessionelle. I den forbindelse havde BridgeIT udarbejdet wireframes (billeder af app-sider) med det formål at gøre diskussionen og input så konkrete som muligt (bilag A). Til mødet drøftede gruppen begge løsningskoncepter og også muligheden for at integrere begge løsninger i prototypen. BridgeIT havde udarbejdet et udkast til integration af løsningerne, som blev drøftet på mødet. Det blev i projektgruppen besluttet, at vi ville arbejde videre med at integrere begge løsningskoncepter i prototypen. Ekstern designer Som et led i udviklingen af en funktionel prototype blev der benyttet en ekstern designer. I tæt samarbejde med BridgeIT og Steno har designeren haft til opgave at udarbejde det endelige design til app’en, herunder hvilke farver, funktioner, knapper mv. app’en skulle indeholde. Således er det endelige design et resultat af mange fælles scopingmøder afholdt på Steno. Designeren har løbende udviklet og justeret de wireframes, som Steno har anvendt i workshops med borgere med type 2-diabetes og i forbindelse med møder med praktiserende læger. 5 of 38 Interaktiv workshop med borgere Der blev afholdt en workshop den 22. juni i Vanløse Forebyggelsescenter kl. 12-14.30. Her deltog 6 borgere med type 2-diabetes i alderen 39-70 år, herunder 5 kvinder og 1 mand. Derudover deltog Vibeke Wara, Mobility Solutions Manager fra BridgeIT, Nana F. Hempler, seniorforsker og Mira M. Petersen, videnskabelig assistent fra Steno (bilag B). Til workshoppen blev app’ens indhold (behov og løsning) drøftet og det foreløbige design (wireframes) med det formål at få borgernes feedback. De fremmødte borgere fik udleveret det foreløbige design i A3 (bilag C). Vi gennemgik de forskellige funktioner og spurgte ind til dem undervejs. Det kunne eksempelvis være spørgsmål, som: ’Skal der være mulighed for at tilføje andre aktiviteter på forsiden?’, ’Hvad tænker I om ordet test?’, ’Foretrækker I ordet stress eller diabetesstress?’, ’Foretrækker I, at grafen vises ved hjælp af farvekode eller smileys’? mv. Der var også fokus på eventuelle mangler i app’en. Flere borgere gav til workshoppen udtryk for, at app’en manglede kort og præcis information om blodsukker, blodsukkerstrimler, blodsukkerapparater, blodtryk og kolesterol. Til slut blev borgerne spurgt, om de havde nogle forslag til, hvad app’en skulle hedde. Som det fremgår af nedenstående billede, kom borgerne med følgende forslag: NymedT2D, Diabetes2, NyMedDiabetes2, NyMedType2 mv. Praksiskonsulenter fra KAP-H Der blev afholdt to møder med tre praktiserende læger omkring app’ens indhold (behov og løsning) og det foreløbige design (wireframes). Disse møder blev muliggjort af KAP-H, der havde bevilliget 24 6 of 38 timer til projektet til fire praksiskonsulenter. Formålet med møderne var at få lægernes feedback på den foreløbige løsning og drøfte mulighederne for implementering af app’en i praksis. Ud af de fire praktiserende læger fik vi aftaler i stand med tre af dem. Det første møde blev afholdt torsdag den 25. juni kl. 16-17. Her deltog praktiserende læge Christian Ivar Müller. Til det andet møde deltog to praktiserende læger, Helle Middelfart og Lars Jørgen Hansen. Mødet fandt sted tirsdag den 7. juli kl. 15-17. Derudover deltog Vibeke Wara, Mobility Solutions Manager fra BridgeIT, Senior forsker Nana F. Hempler og videnskabelig assistent Mira M. Petersen fra Steno. Begge møder blev afholdt på Steno. Til møderne drøftede vi de foreløbige wireframes (bilag C). Vi havde særligt fokus på indholdet til ’Den praktiserende læge’, som lægerne validerede og kom med input til. De praktiserende læger var generelt positive stemt over for app’en som et redskab, der skal understøtte borgernes hverdag ved at give overblik, klarhed og stimulere til refleksion i relation til diabetes. I forlængelse af dette og som en hjælp til at kvalificere dialogen mellem borger/læge yderligere, var der blandt lægerne enighed om, at app’en med fordel kunne indeholde de behandlingsmål, som er centrale i diabetesbehandlingen dvs. blodsukker, blodtryk, kolesterol og vægt. Som nævnt i ovenstående afsnit, var dette også et ønske for flere borgere. Dette blev efterfølgende tænkt ind i løsningen. For at tydeliggøre den iterative proces, som det har været at udvikle en prototype med udgangspunkt i brugerinvolverende processer, er udviklingsprocessen visualiseret i bilag (bilag D), som bevæger sig fra behovsafdækning til idéer til idékatalog til wireframes til udviklingen af en funktionel prototype. Det er BridgeIT, der har udviklet den endelige prototype af app’en (bilag E). Prototypen til test er kompatibel med Apples iOS-styresystem til iPhone og iPad. I forhold til den igangværende afprøvning, har borgerne således skullet downloade app’en via en hockey-app, som de har skullet installere inden, de har kunnet downloade app’en. Facebookafstemning Som led i den brugerinvolverende proces, var det naturligt for os at lade brugerne stemme om et navn til app’en. Vi kontaktede derfor kommunikationsafdelingen i Diabetesforeningen, som gav tilladelse til, at afstemningen kunne foregå via deres facebookside. Diabetesforeningen havde dog ikke mulighed for selv at poste afstemningen, eftersom det ville se ud som om, det var deres projekt. Det næste vi gjorde var derfor at oprette en helt ny facebookprofil, som indeholdt en kort introduktion til projektet med et link til hjemmesiden ’Et nyt liv med type 2-diabetes, samt selve afstemningen (bilag F). Denne afstemning blev delt af Diabetesforeningens facebookside den 29. august. 7 of 38 Nedenstående er et screenshot af opslaget, der blev delt: Opslaget fik på kort tid 46 likes og 53 kommentarer, og der var et helt klar favoritnavn blandt medlemmerne. Ud af de 53 stemmer havde 34 personer stemt på forslag 3, som er ’LevMedType2’. Derudover bidrog medlemmerne med andre gode forslag som fx Dia2-app, DialogMedType2, KlarTilType2, Sukkersjov2, HjælpType2, MinusSukker etc. App – indhold og validering Nærværende mobile app integrerer det sundhedspædagogiske koncept Next Education (NEED), herunder den sundhedspædagogiske værktøjskasse og den teoretiske model ’Det balancerende menneske’. Vi har imidlertid videreudviklet den teoretiske model ’Det balancerende menneske’ til en model, der har særlig fokus på behov blandt nydiagnosticerede (Bilag G). App’en indenholder 5 hovedfunktioner ’Mit overblik’, ’Status’, ’Nye vaner’, ’Mine tal’ og ’Quiz’. Indholdet til funktionerne er valideret af fagpersoner i samarbejdet (Sanna, Jeanett og Thomas). Men også andre relevante sundhedsprofessionelle har været inddraget i 8 of 38 valideringen af forskelligt indhold herunder Danske Fodterapeuter, tre praksiskonsulenter (KAP-H), Diabetesforeningen, Øjenklinikken (Steno) og Mette Due (sygeplejerske og ph.d.-studerende ved Steno). Mit overblik Den modificerede teoretiske model har fokus på overblik og ressourcer i lokalsamfundet (bilag G). Analysen viste, at mange ny-diagnosticerede borgere mangler overblik over relevante forebyggende aktiviteter og muligheder i relation til deres diabetes, hvorfor nærværende app indeholder en liste med muligheder og aktiviteter efter diagnose (praktiserende læge, forebyggelsescenter, fodterapeut, øjenlæge, hospital, diabetesforeningens motivationsgruppe og mulighed for at tilføje andre aktiviteter). Det er muligt at tilføje aftaler inden for aktiviteterne og lave noter til aftaler (forberedelse), og der er relevante emner og informationer knyttet til hver aktivitet. Fx emner under fodterapeut indbefatter: ’Kan du få tilskud til fodterapi?, Valg af fodterapeut (link til sundhed.dk), ’Du kan forebygge gener ved at..’, ’Hvorfor til fodterapeut’. Mine tal I mine tal er der kort og præcis viden om blodsukker, herunder gamle og nye værdier (tabel), Hba1c, blodtryk, kolesterol, vægt og BMI. Der er desuden mulighed for at indtaste værdier, sætte mål og se historik. Nye vaner I nye vaner er det muligt at sætte mål inden or kategorierne ’Min sygdom og mig’, ’Mad’, og ’Motion’. Det er muligt at teste om man har de samme udfordringer som andre med type 2 diabetes (via patient citater). Fromålet er at igangsætte refleksion over prioriteringer og udfordringer. Det er endvidere muligt at sammenholde ’mål’ med psykosocialt velbefindende i funktionen ’Status’. Testen bygger på øvelser fra Next Education: ’Min sygdom og mig’, ’Mine spisevaner’, ’Mine motionsudfordringer’, ’Mine tanker’ og ’Hvad kan X Gøre’. 9 of 38 ’Status’ En anden funktion i app’en ’Status’ består af tre sundhedsparametre, som borgerne kan vurdere dagligt (smileys) og få visualiseret i en graf. Spørgsmålenes udformning og de dertilhørende svarmuligheder er inspireret af undersøgelsen ”En undersøgelse af trivsel, sundhed og sygdom blandt voksne i Danmark,” som er foretaget af Statens Institut for Folkesundhed (2013). De spørgsmål, der indgår, er: 1. ”Har du følt dig nervøs og stresset?” 2. ”Synes du selv, du får nok søvn til at føle sig udhvilet?” og 3. ”Hvordan har du det?” Quiz Der er udvalgt 4 x quiz fra værktøjskassen: ’Motion’, ’Type 2-diabetes’, ’Fødder’ og ’Mad og diabetes’. Vi har sorteret udsagn baseret på interviews med nydiagnosticerede ift. deres udfordringer og spørgsmål (fase 1,2). Til quiz om ’Fødder’ blev der fx tilføjet et ny spørgsmål: ’Hvorfor skal man gå til fodterapeut?’ Spørgsmål og svarmuligheder er valideret af en fodterapeut fra Steno. Efter hver quiz findes der information og link vedr. muligheder og aktiviteter, der knyttet sig til emnet i den pågældende quiz. Knap- og hjælpetekster Det er vigtigt, at app’en er brugervenlig og nem at navigere rundt i. Til dette formål har BridgeIT udleveret knap- og hjælpetekster, som Steno har udfyldt. Konkret dækker knap- og hjælpetekster over al den tekst, der vedrører knapper, introtekster til de forskellige funktioner, hjælpetekster etc. Dokumenterne er blevet revideret i takt med, at design og indhold er blevet justeret. Eksempler på disse dokumenter fremgår af bilag H. 10 of 38 Interviews med testpersoner – foreløbige fund Dette afsnit indeholder en kort gennemgang af de foreløbige fund fra den igangværende afprøvning af app’en. En grundigere gennemgang af analyseresultaterne vil blive præsenteret i afrapporteringen af tillægsprojektet. Det er tilstræbt, at inkludere så mange ny-diagnosticerede som muligt. Borgerne har afprøvet app’en i 3-4 uger, hvorefter de er blevet interviewet om deres generelle oplevelse af app’en, de enkelte funktioner, navigerbarhed, mangler, muligheder mv. Formålet med afprøvningen er således at undersøge, hvordan app’en virker i praksis med henblik på justering og optimering. Testpersoner Borgerne, der har testet app’en, udgør 7 kvinder og 8 mænd i alderen 33 – 64 år. Nedenstående fund er baseret på foreløbige 9 interviews. Nogle af borgerne er ny-diagnosticeret jf. OPI-programmets definition på 2 år efter diagnose, mens andre rækker ud over denne definition. De har enten downloadet app’en på en iPhone eller en iPad. To borgere har lånt en iPad af Steno. Uddannelsesniveauet er - lige fra folkeskolens afgangseksamen til en lang videregående uddannelse. Foreløbige fund fra interviews Indstilling overfor app og readiness: - De 9 testpersoner har alle brugt app’en mere end to gange men i meget varierende grad (fra 34 gange i alt til næsten dagligt) - Testpersonerne er generelt positive over for sundhedsapp’s - Dog har kun få downloadet sundhedsapp’s, som de bruger en gang i mellem (fx Dia+, Endomondo, sundhed, sundhed.dk) - En forudsætning for at bruge app’en er, at det tekniske virker optimalt, at den er relevant for den enkelte bruger, at den tjener et formål, samt at den er en hjælp i hverdagen - Der er en tendens til sammenhæng mellem svær accept af diagnose og manglende parathed til brug af app’en (dette gælder uafhængigt af diagnosetidspunktet) - Der er en tendens til sammenhæng mellem ikke at kunne ’mærke’ sin diabetes og mindre brug af app’en De mest populære funktioner og mindre populære: - Folk er forskellige og har forskellige behov og præferencer - De foreløbige fund peger på, at de mest populære funktioner, er: ’Mine tal’, ’Quiz’ og ’Status’ - Næsten alle testpersoner fremhæver, at funktionen ’Mit overblik’ er god (især kalender og overblikket over vigtige forebyggende aktiviteter), og at denne funktion er særligt god til ny- 11 of 38 diagnosticerede med type 2-diabetes, fordi der her står, hvad man skal til og hvorfor. To testpersoner nævner af sig selv, at de gerne ville have haft app’en, da de fik diabetesdiagnosen - Det tyder på, at den funktion, der er mindst populær blandt testpersoner, er ’Nye vaner’. Dog er det ikke nødvendigvis ensbetydende med, at testpersonerne ikke ønsker at sætte mål, men at den måde, målarbejdet fungerer på i app’en, ikke er så relevant for dem. Stort set alle testpersoner fortæller nemlig, at de har mål, som de arbejder med. Det kan mål, som er gode at gøre hver dag, som fx at huske at tage sin medicin eller mere langsigtede mål, som fx at tabe sig Brugervenlighed og teknik: - Testpersonerne opfatter generelt app’en som nem og intuitiv, når de bliver spurgt direkte - Men det kommer også frem i interviewene, at det ikke altid er tydeligt, hvad funktionerne rummer af muligheder, fx at man kan gå ind og se sine mål under grafen i ’Status’, at påmindelsestidspunktet kan ændres etc. Endvidere kommer det bl.a. frem under interviewene, at nogle testpersoner overser knapper, hvis de skal scrolle ned på skærmen for at se dem, og at det ikke altid er nemt at vide, hvor man skal trykke for at komme et bestemt sted hen eller for opnå noget bestemt. Interviewer observerer også, at alle testpersoner trykker på tilbageknappen i stedet for burgermenuen, når de vil frem til forsiden. Dertil siger en testperson, at hun ikke har fundet fidusen endnu. En anden observation er, at testpersonerne ofte skal trykke meget præcist i app’en, før det bliver registreret - Tekniske udfordringer hæmmer brugen af app’en og kan have betydning for, om testpersonerne vil fortsætte med at bruge den. Nogle af udfordringerne er: app crash, problemer med at installere app’en, ikke muligt at tage testen i ’Nye vaner, fordi der mangler udsagn, påmindelser flere gang om dagen også efter funktionen er deaktiveret, mange løbende opdateringer. For få har disse opdateringer medført, at de tre sundhedsparametre har været deaktiverede i ’Status’, samt at de har skullet skrive deres brugernavn og password hver gang, de har logget ind i app’en En social dimension: - Flere testpersoner italesætter, at app’en på forskellige måder lægger op til en social dimension: o En testperson fortæller, at diabetes er en sygdom, der vedrører ens samlever mht. alt, herunder kost, motion etc. Derfor vil han også involvere sin kone i app’en o En testperson nævner, at hendes samlever har hjulpet hende med app’en i forhold til det tekniske o Nogle testpersoner lægger op til, at app’en er sjovere, hvis man har en såkaldt ’brugermakker’, hvor man kan sparre med hinanden, sammenligne tal, sætte mål, og opmuntre hinanden. 12 of 38 o Flere testpersoner mener, at app’en kan bruges som en slags forberedelse og/eller et dialogværktøj til sundhedsprofessionelle. Her fremhæves især funktionerne ’Mine tal’ og ’Status’ samt huskenoterne i kalenderen o En testperson fortæller, at hendes praktiserende læge og sygeplejersken er meget positive over for app’en. Det er især funktionerne ’Mit overblik’ og ’Mine tal’, som ifølge lægen gør hendes arbejde meget lettere og giver borgeren mulighed for at få det samme overblik, som lægen har. På den måde har borgeren altid sine tal på sig. I den forbindelse tilføjer testpersonen, at app’en er relevant, idet den giver nydiagnosticerede muligheden for at få et overblik over sin sygdom i ro og mag og samtidig blive klædt bedre på i forhold til sin sygdom og dermed til sine aftaler med forskellige sundhedsprofessionelle Målgruppe til app’en: Til interviewet er testpersonerne blevet spurgt om, hvem de tror, der vil have gavn af app’en. På spørgsmålet har de svaret følgende: o Ny-diagnosticerede med type 2-diabetes o Alle med type 2-diabetes o Personer der er usikre på deres diabetes o Personer der er hårdt angrebet af diabetes o Personer med type 1-diabetes o Personer der kan lide at have styr på tal og grafer o Pårørende Derudover peger de foreløbige fund på, at udvide kriteriet for at være ny-diagnosticeret (diabetesdiagnose inden for 2 år, jævnfør OPI programmets definition), idet brug af app’en i høj grad handler om parathed og accept af sin sygdom, som ikke nødvendigvis hænger sammen med diagnosetidspunkt. Omvendt er det også et foreløbigt fund, at relativt ny-diagnosticerede kan have bedre overblik over forløb end personer, der har haft diagnosen i mange år. Dette peger også på at udvide kriteriet for målgruppen. Udbytte af app’en: - Hvad testpersonerne siger, de har fået ud af at bruge app’en: o ”Jeg bliver mindet om nogle ting, som gør, at jeg tænker endnu mere over dem i hverdagen” 13 of 38 o ”Jeg er blevet mere bevidst om, hvordan jeg generelt har det i hverdagen” o ”Jeg har fået et overblik over mit daglige helbred og søvn” o ”Jeg har fået mere information om type 2-diabetes” - o ”Jeg havde forventet noget andet” o ”Den er ikke relevant for mig” Det er interessant, at de få testpersoner, der har haft en iPad, tror, de ville have brugt app’en mere, hvis de havde haft den på deres smartphone. Dette begrundes bl.a. med, at de ikke bruger deres iPad på samme måde og lige så ofte Fremtidig brug: - Størstedelen af testpersonerne vil fortsætte med at bruge app’en, hvis den justeres (det tekniske og app’ens funktioner) - Derudover er der andre faktorer, som gør sig gældende i forhold til brugen af app’en. Det kan være manglende tid og overskud, ikke at være tryg ved det teknologiske, ikke at have gener i relation til sin diabetes mv. Foreløbige udviklingspunkter for app’en Udviklingspunkterne til prototypen vil kort blive gennemgået i det følgende. Afrapporteringen af tillægsprojektet vil indeholde en detaljeret anbefaling til justering af app’en. - ’Mit overblik’ skal kunne gemme aftaler og huskenoter (historik), og kalenderen skal kunne synkroniseres med telefonens kalender (ikke nået før testperioden) - Borger ser ikke en relevant sammenhæng mellem ’Status’ og ’Nye vaner’ - Muligheden for at indtaste sine tal bagud i tid (’Mine tal’) og grafvisning over blodsukker - ’Nye vaner’ skal modificeres. Det skal være tydeligere, hvad man svarer ja/nej til i testen. At svare ja/nej til om man har nået sit mål dagligt, er ikke relevant. Der er behov for en anden form for motivation. Det kan fx være registrering af mål og delmål via farverne rød, gul og grøn eller via push-meddelelser som fx, ’Hvordan går det med dit mål?’ Det er vigtigt med et overblik over, hvor dan det går med ens mål - Grafen over sundhedsparametre for unuanceret (’Status’). Bedre med en bredere skala fra 1-10 - I ’Quizzen’ skal man kunne se hvornår, man svarer rigtigt/forkert (ikke nået før testperioden), og en kort forklaring på, hvorfor det er rigtigt/forkert - Muligheden for at personalisere sin app. Det kan være i form af løbende til- og fravalg af hvilke funktioner, der skal være på forsiden - 14 of 38 Teknikken skal forbedres og fungere optimalt, og brugervenligheden skal optimeres Skitse for forskning ift. implementering Steno har sammen med OPI programgruppen ved flere møder drøftet implementering af app’en og Stenos eventuelle rolle i forbindelse med en implementering. Der er udarbejdet to forskellige modeller, der beskriver en forskningsdel relateret til implementering af app’en – en evaluering af pragmatisk karakter (Model 1) og et RTC studie (Model 2), (Bilag I). Modellerne er udarbejdet med afsæt i møder, som er afholdt med OPI programmet herunder Eva Jacobsen (Region H), Merete Halkjær og Jens Egsgaard (København Kommune) samt Henning Langberg (Københavns Universitet). Programgruppen og Steno har endvidere drøftet, at det kan være uhensigtsmæssigt at anvende et tidskrævende RTC design, idet teknologien (en app) forældes i løbet af et år. Det er afgørende at fastholde brugere og rekruttere nye brugere løbende, og dette forudsætter også løbende forbedring af app’ens funktioner og indhold i tråd med den teknologiske udvikling og udvikling i regional og kommunal praksis. Fordelen ved en pragmatisk evaluering er desuden rekruttering via mange kanaler fx Diabetesforeningen, praktiserende læger, hospitalsafdelinger, 1813, online diabetesgrupper, forebyggelsescentre, fodterapeuter, forsikringsselskaber, arbejdspladser, moskeer mv. Steno anbefaler en større afprøvning af app’en i form af et modelprojekt (en evaluering af pragmatisk karakter) i et partnerskab mellem Københavns Kommune, Region H og Steno Diabetes Center og eventuelle andre partnere. Det anbefales endvidere, på baggrund af brugernes erfaringer fra testen, at udvide målgruppen til personer der er diagnosticeret inden for de sidste 5 år. 15 of 38 Bilagsoversigt Bilag A: Wireframes – 1. udkast Bilag B: Billeder fra workshop med borgere Bilag C: Wireframes – ekstern designer Bilag D: Udvikling af prototypen Bilag E: Screenshot af prototypen LevMedType2 Bilag F: Facebook afstemning Bilag G: Modificeret teoretisk model Bilag H: Knap- og hjælpetekster Bilag I: To modeller over evaluering af app i større skala 16 of 38 Bilag A: Wireframes – 1. udkast 17 of 38 Bilag B: Billeder fra workshop med borgere 18 of 38 19 of 38 Bilag C: Wireframes – ekstern designer 20 of 38 21 of 38 Bilag D: Udvikling af prototypen 22 of 38 Bilag E: Screenshot af prototypen LevMedType2 23 of 38 Bilag F: Facebookafstemning 24 of 38 Bilag G: Modificeret teoretisk model 25 of 38 Bilag H: Knap- og hjælpetekster 26 of 38 27 of 38 Bilag I: To modeller over evaluering af app i større skala Model 1: Skitse for evaluering af mobil applikation (app) ’LevMedType2’ Introduktion App’en ’LevMedType2’ skal fungere som en støtte til borgeren med nydiagnosticeret type 2 diabetes. Formålet med app’en er at motivere til sundhedsfremmende handling, fx sundhedsfremmende og hensigtsmæssig håndtering af diabetes og brug af relevante behandlingstilbud i sundhedsvæsenet som fodterapeut og forebyggelsescenter. Indholdet i app’en er centreret omkring 1) overblik over muligheder og ressourcer i lokalsamfundet, 2) overblik og klarhed om egne ressourcer, udfordringer og behov i relation til at leve godt med diabetes samt 3) understøttelse af konstruktiv og borgerstyret dialog med sundhedsfaglige personer. En evaluering af nærværende app vil undersøge, hvad der karakteriserer brugere af app’en i relation til socialklasse, køn, alder mv. Der er særligt fokus på at undersøge, om der er social ulighed i brugen af/download af app’en, hvordan brugere er blevet præsenteret for app’en, og hvordan app’en anvendes af brugerne. Brugere, som accepterer videregivelse af data til forskningsbrug, kan følges i relevante sundhedsregistre, og der kan gennemføres en spørgeskemaundersøgelse og/eller interviews vedrørende diabetes håndtering samt kendskab til og brug af sundhedsvæsenets tilbud. Deltagere og rekruttering Det kan i nærværende evaluering overvejes, om app’en skal målrettes borgere fra Københavns Kommune eller fra hele Region Hovedstaden1. Funktionen ’overblik’ i app’en skal justeres, såfremt den også målrettes borgere uden for Københavns Kommune. Borgere vil kunne downloade app’en, og den kan blive introduceret via mange kanaler fx Diabetesforeningen, praktiserende læger, hospitalsafdelinger, 1813, online diabetesgrupper, forebyggelsescentre, fodterapeuter, forsikringsselskaber, arbejdspladser, moskeer mv. 28 of 38 Dataindsamling Evalueringen vil være af pragmatisk karakter1. I modsætning til situationen, hvis der var tale om et lodtrækningsforsøg (en randomiseret kontrolleret undersøgelse/RCT), vil der i evalueringen være mulighed for, at app’en løbende kan blive forbedret mht. funktioner, design mv., hvorved der kan tages højde for den teknologiske udvikling, som måtte ske i den givne periode. En app er typisk forældet efter 1-2 år, hvilket kan medføre, at brugerne holder op med at bruge den. Angivelse af CPR nummer anses som en væsentlig barriere for at få borgere til at tage app’en i brug. Derfor foreslås det, at borgere med type 2 diabetes kan få adgang til app’en, men at der er enkelte funktioner, som brugerne kun kan få adgang til ved at acceptere videregivelse af data (herunder CPR) til forskningsbrug. Data login: Fase 1 Obligatoriske data mhp at få adgang til app’en: Oplysninger om postnummer, køn, alder, varighed af diabetes, arbejdsmarkedstilknytning, uddannelse, samt hvor brugeren har hørt om app’en (scroll funktion: praktiserende læge, app store, venner, fodterapeut, forebyggelsescenter mv.). Det kan undersøges, hvor meget og hvordan brugerne anvender app’en. Data opsamles i anonymiseret form i en database. Data login: Fase 2 Samkøring med registre og mulighed for spørgeskema og/eller interviews. Der vil være mulighed for at undersøge, hvilke borgere fra fase 1, som vælger at give tilladelse til data til forskningsbrug. Der må påregnes et års forsinkelse på indhentning af registerdata. Løsning: App’en skal tilpasses både Android og IOS. Oversættelse til 3-4 sprog, fx engelsk, urdu, arabisk og tyrkisk. Det vil således være muligt at undersøge, hvor mange ikke-dansk talende, der bruger app’en. Denne relativt korte skitse af et evalueringsprojekt vil i givet fald skulle udvides til en regulær forskningsprotokol, der i detaljer beskriver evalueringen. 29 of 38 Model 2: Protokol vedr. RCT- studie i relation til effektevaluering af app’en LevMedType2 baseret på NEED-koncept 30 of 38 Baggrund Inden for de sidste 10 år er der sket en fordobling af personer med diabetes (2002-2012). En væsentlig årsag til dette er stigningen i antallet af personer med type 2-diabetes [1]. Eksempelvis fik 320.545 danskere konstateret diabetes ved udgangen af 2012, hvoraf 80 % var diagnosticeret med type 2-diabetes. Derudover går 200.000 danskere rundt med type 2diabetes uden at vide det, mens 750.000 danskere skønnes at have forstadie til diabetes, hvoraf 30-40 % vil udvikle type 2-diabetes inden for de næste 3,5 år [2]. Som et led i den nationale diabetesudfordring har Københavns Kommune og Region Hovedstaden iværksat et Offentligt-Privat-Innovationsprogram (OPI-program) kaldet ’Et nyt liv med type 2-diabetes’. Programmet har til formål at udvikle nye innovative løsninger til nydiagnosticerede borgere med type 2-diabetes, der støtter op om de nuværende tilbud i forløbsprogrammet i Københavns Kommune. OPI-programmet, sætter specifikt fokus på, hvordan nye digitale løsninger kan være med til at sikre et bedre og sundere liv for nydiagnosticerede borgere. Projektet, som denne protokol omhandler, udspringer af OPI-programmet. Formålet er at udvikle og afprøve en mobil applikation (app), der er baseret på sundhedspædagogiske metoder, og som er målrettet ny-diagnosticerede med type 2-diabetes. Målet med app’en er 1) at øge sundhedsfremmende handling, 2) give overblik over muligheder og ressourcer i lokalsamfundet, 3) give klarhed om egne ressourcer, udfordringer samt behov i relation til at leve med diabetes og 4) at understøtte en konstruktiv og borgerstyret dialog med sundhedsprofessionelle. App’en baserer sig på ’NExt EDucation’ (NEED) [3], som er et sundhedspædagogisk koncept til patientundervisning, der stimulerer til aktiv deltagelse og refleksion, og som tager udgangspunkt i deltagernes behov og udfordringer. NEED består af to sundhedspædagogiske modeller og en sundhedspædagogisk værktøjskasse, hvor værktøjskassen, søges integreret i app’en. Værktøjskassen består af 24 dialogværktøjer i papirform. Dialogværktøjerne varierer og appellerer til forskellige læringsstile og deltagerforudsætninger med det formål at motivere og stimulere til refleksion over deltagernes egne udfordringer og behov således at bæredygtig sundhedsfremmende handling fremmes. 31 of 38 Det er centralt i OPI-programmet, at udviklingen af nye innovative løsninger skabes i samarbejder på tværs af private virksomheder, vidensinstitutioner og centrale aktører som fx borgere og sundhedsprofessionelle. I tråd med dette udføres projektet som et samarbejde mellem Steno Diabetes Center, BridgeIT, Lægepraksis Tine Lindinger og Thomas Saxild, Forebyggelsescenter Vanløse, Brønshøj, Husum samt Frederiksberg Hospital. App’en er udviklet med inspiration fra ’Design Thinking’, som er en tilgang, der indebærer, at brugerne dvs. ny-diagnosticerede og sundhedsprofessionelle involveres aktivt i hele udviklingsprocessen [4]. I denne proces har det været centralt at afdække brugernes behov og udfordringer i forbindelse med at være ny-diagnosticeret. Til dette formål har vi anvendt kvalitative metoder som enkeltinterviews og observationer. Bearbejdelsen af vores data har ført til nye indsigter, som er blevet præsenteret for brugerne i interaktive workshops. I samarbejde med brugerne har disse workshops ført til udviklingen af 7 idéer, som er visualiseret i et idékatalog. App’en integrerer to overordnede fokusområder. Det ene fokusområde sætter fokus på at styrke den ny-diagnosticerede i at varetage ’tovholderfunktionen’ i sundhedsvæsnet ved at skabe overblik over de muligheder og forventninger, der er i relation til at være nydiagnosticeret. Derudover sigter dette fokusområde på at stimulere til refleksion over ens udfordringer og behov. Det andet fokusområde handler om at understøtte den nydiagnosticerede i hverdagen via personaliserede grafer, der giver mulighed for at sammenligne flere parametre som fx stress, søvn og velbefindende. Disse grafer kan på den måde være med til at give en større forståelse for, hvordan daglige handlemønstre og rutiner indvirker på ens krop og velbefindende. I skrivende stund er en prototype af app’en i gang med at blive udviklet og afprøvet. I udviklingens sidste fase har vi lagt særligt vægt på at inddrage de praktiserende læger, idet de har en afgørende rolle i forbindelse med at introducere app’en for borgerne. I efteråret 2015 vil der blive gennemført en kvalitativ afprøvning af app’en i almen praksis og forebyggelsescentret. Afprøvningen danner grundlag for eventuelle justeringer af app’en og lægger op til at foretage en effektevaluering. Nærværende protokol er vores bud på, hvordan denne effektevaluering kan designes og tilrettelægges, som et RCT-studie. 32 of 38 Effektevalueringens praktiske udførelse Introduktion Effektevalueringen udføres som et RCT-studie, hvor app’en afprøves i en periode på op til et år. En del af deltagerne, der alle er ny-diagnosticerede borgere, får adgang til app’en og sammenlignes løbende med en kontrolgruppe for at bestemme om brug af app’en har gavnlige effekter på deres viden, adfærd og sundhed. Det er hypotesen, at app’en giver anledning til øget brug af sundhedsvæsnets forebyggende tilbud og forbedrer de ny-diagnosticeredes sundhed. Deltagere og rekruttering Effektevalueringen udføres i Region Hovedstaden, hvor deltagerne introduceres til studiet via de praktiserende læger eller eventuelt deres øvrige personale, eksempelvis en sygeplejerske, hvorefter den potentielle deltager selv melder sig til studiet. Vi estimerer, at vil være ca. 2000 potentielle borgere til at indgå i studiet (se bilag A). Introduktionen består af trykt materiale som fx en pjece, og såfremt det er muligt en kort introduktion til app’en (både android og iOS), idet vi antager, at dette øger borgernes motivation for at deltage i evalueringen. I forhold til rekrutteringen af borgerne har vi drøftet muligheden for, at de praktiserende læger modtager en tillægstakst for at præsentere projektet og evt. introducere app’en for borgerne og/eller at app’en tænkes ind i lægernes overenskomst/forløbsbeskrivelser. I forbindelse med at deltageren tilmelder sig, skal der gives tilladelse til at indhente kliniske mål optaget ved rutineprøver hos den praktiserende læge. Argumentet for at rekruttere igennem de praktiserende læger er, at vi når deltagerne tidligt i deres sygdomsforløb dvs. omkring diagnosetidspunktet. Således rettes intervention imod den del af målgruppen, der forventes at have det største udbytte af app’en. Når borgerne er tilmeldt studiet bliver de randomiseret ind i to lige store grupper – en interventions- og en kontrolgruppe. Målet er at rekruttere mindst 343 ny-diagnosticerede til studiet. Således er der tilstrækkelig statistisk styrke til at lave de ønskede beregninger. Se bilag for detaljerede styrkeberegninger. Dataindsamling Evalueringen bygger på tre primære datakilder: 1. Løbende kliniske målinger taget hos den praktiserende læge, 2. data-logging af interventionsgruppens brug af app’en og 3. et spørgeskema der sendes ud til deltagere fra både intervention- og kontrolgruppe. Dermed er der mulighed for at undersøge både adfærd og kliniske helbredsmål samt at sammenholde 33 of 38 disse mål med interventionsdeltagernes faktiske brug af app’en. Dette giver mulighed for at pege mere specifikt på, hvordan brug af app’en hænger sammen med eventuelle sundhedsfremmende effekter. Hypotesen er, at omfattende brug af app’en giver deltagerne de største helbredsmæssige gevinster. Biologiske mål De kliniske mål indhentes hos den praktiserende læge efter forudgående tilladelse fra deltageren. De kliniske mål skal bestå af rutineprøver af HbA1c, BMI og kolesterol der i forvejen måles hos den praktiserende læge hver tredje måned. Med en opfølgningsperiode på 1 år er der dermed mulighed for 4-5 opfølgende målinger. Vi forventer dog, at nogle deltagere vil have manglende eller usystematisk fremmøde hos lægen. Opfølgningsperioden giver mulighed for at måle kortvarig og længerevarende effekter af interventionen. Da vi ikke foretager ekstra kliniske målinger fra deltagerne i forbindelse med studiet forenkles godkendelsesprocessen, og vi kræver samtidig mindre af de praktiserende læger og nydiagnosticerede borgere. Spørgeskemadata Deltagernes selvoplevede helbred, diabetes management, sundhedsadfærd (KRAM faktorerne: kost, rygning, alkohol og motion) og brug af sundhedsvæsenets tilbud måles med et spørgeskema ved begyndelsen og afslutningen på interventionen. Spørgeskemaet skal i udgangspunktet besvares elektronisk, men der gives også mulighed for at udfylde spørgeskemaet i papirform, som sendes til borgeren. Data logging Oplysninger om deltagernes brug af app’en registreres og gemmes løbende i en database, som administreres af BridgeIT. I databasen registreres hvilke funktioner i app’en deltagerne benytter og hvor ofte. Disse oplysninger har selvstændig værdi, fordi de fortæller noget om anvendeligheden af app’en, men de giver også mulighed for at sammenligne brug af app’en med sundhedsoplysninger og dermed give et mere præcist billede af, hvordan brug af app’en hænger sammen med øvrig sundhedsadfærd og helbred. 34 of 38 Etiske godkendelser Det er en forudsætning for studiet, at der opnås registrering og godkendelser fra relevante instanser. Med udgangspunkt i nærværende forslag til udrulning af effektstudiet, indhenter vi tilladelse fra: Datatilsynet, Videnskabsetisk Komité og Clinical Trials. Ændringer i protokollen kan ændre behovet for tilladelser Samarbejdspartnere a) Steno Diabetes Center, Health Promotion Research, Patient Education Group* b) Region Hovedstaden c) Praktiserende læger i Region Hovedstaden d) BridgeIT *Projektet forventes gennemført som et ph.d. studie eller som et post.doc forløb. Samarbejdsparternes rollefordeling Steno Diabetes Center, Patient Education Research: Projektholder. Planlægger og koordinerer effektevalueringen. Gennemfører kvantitativ dataindsamling. Bearbejder og analyserer data. Er ansvarlig for afrapporteringsdelen i form af en kort rapport og publicering af en artikel. Yder evt. support til deltagerne i forhold til app’en. Region Hovedstaden: Samarbejdspartner. Rekrutterer praktiserende læger til RCT-studiet. Ansvarlig for koordinering og udbetaling af takster i forbindelse med, at de praktiserende læger præsenterer projektet for målgruppen. Praktiserende læger i Region Hovedstaden: Samarbejdspartnere. Præsenterer/introducerer projektet for deres patienter med ny-diagnosticeret type 2-diabetes. BridgeIT: Samarbejdspartner. Bidrager med dataudtræk fra database og yder evt. support til deltagerne i forhold til app’en. 35 of 38 Tidsplan Vi forestiller os, at studiet løber over sammenlagt 3 år. 1. Planlægning og tilrettelæggelse af RCT-studiet: 1-2 mdr. 2. Rekruttering af ny-diagnosticerede borgere: 6 mdr. 3. Dataindsamling: 1 år udover rekrutteringsperioden 4. Analyser og afrapportering: 6 mdr. Referencer 1. www.ssi.dk 2. www.diabetes.dk 3. Engelund G. I Balance med kronisk sygdom – sundhedspædagogisk værktøjskasse til patientuddannelse. 2. udgave, 2012. 4. Brown T, Wyatt J. Design Thinkning for social innovation. Stanford Social Innovation Review; 2010. Bilag A: Forventede rekrutteringsmuligheder I Danmark diagnosticeres årligt 26.057 tilfælde af diabetes (alle typer). Heraf er cirka 80 % af tilfældene type 2, svarende til 20.846. Baseret på indbyggertal bor cirka en tredjedel af disse i Region Hovedstaden svarende til cirka 7000 nydiagnosticerede borgere. Det reelle antal er sandsynligvis lavere på grund relativt mange unge indbyggere i hovedstaden. - Der må påregnes et væsentligt bortfald af potentielle deltagere, idet det kræves at deltagerne har adgang til en relevant smartphone eller tablet (nyere model med internetadgang). Ifølge en undersøgelse fra Danmarks Statistik (IT-anvendelse i befolkningen), har 16 % af den ældre befolkning 65-89 år hentet en mobil app indenfor de sidste 3 måneder (67 % for under 65årige). Vi må antage at denne andel er højere for projektets målgruppe, da denne også udgøres af yngre personer. Desuden er der tale om en stigende tendens, så flere kan være kommet til siden foråret 2014 hvor DST indsamlede sine data. Yderligere er nogle borgere fint i stand til at downloade og bruge en app, selvom de ikke har gjort det indenfor de seneste 3 måneder. I 36 of 38 alt antager vi derfor, at en tredjedel (33 %) af de potentielle deltagere har adgang til en relevant mobil enhed. - For deltagelse kræves også borgerens villighed til at deltage i projektet, samt en faktisk brugbar besvarelse af de opfølgende henvendelser. Erfaringsmæssigt kan både villighed til deltagelse og manglende besvarelser af spørgeskemaer være årsag til betydeligt bortfald i interventioner. Dog er der tale om faktorer, man selv har væsentlig indflydelse på. Rekrutteringen sker under det vilkår, at deltagerne lige er blevet diagnosticeret med en alvorlig sygdom, og derfor (måske) føler begrænset overskud til at deltage i et forskningsprojekt - Uanset at projektet er ment som en støtte til deltageren. - For at få udbytte af app’en er det tillige en forudsætning, at deltageren kan læse og forstå dansk, herunder at deltageren har ”rimeligt” syn (”Rimeligt” afhænger af app’en og brugerens mobile enhed). Det forventes dog, at deltagere med smartphone også har tilstrækkeligt syn til almindeligt brug af enheden. Et yderligere bortfald må forventes i forbindelse med ”deltagere” der ikke ønsker at være med, denne andel afhænger med af fremgangsmåde ved rekruttering. Eksempel på rekrutteringsmuligheder: Antal nydiagnosticerede borgere i RegionH, årligt. Ca 90 % kan læse og forstå dansk - 7000 personer - 6300 tilbageværende pers. Ca 33 % af de tilbageværende har adgang til mobil - 2100 tilbageværende pers. Nogle ønsker ikke at være med op til… - 2000 tilbageværende pers. Dermed vil der årligt være op imod 2000 potentielle deltagere til projektet, med forbehold for de meget spekulative forudsætninger beregningerne bygger på. Udvides rekrutteringen til deltagere, der er blevet diagnosticeret over en periode på 2-3 år bliver antallet naturligvis enten fordoblet eller tredoblet. En yderligere udfordring bliver, at faktisk nå ud til de mange potentielle deltagere. 37 of 38 Bilag 2: Styrkeberegninger Nedenstående viser 2 eksempler på væsentlige analyser i projektet. Disse eksempler danner grundlag for det ønskede antal deltagere, der skal rekrutteres til studiet. På baggrund af disse beregninger anbefales det, at mindst 203 personer rekrutteres til studiet. Men da vi forventer et anslået bortfald på op til 50 % (alle årsager), vil det kræve henvendelse til det dobbelte antal borgere, at opnå et datagrundlag med tilstrækkelig statistisk styrke. Altså skal vi som udgangspunkt henvende os til op imod 400 borgere, dog vil et endnu højere antal deltagere være attraktivt, da det giver mulighed for endnu mere præcise målinger og mindre sårbarhed overfor bortfald. Eksempel 1: Besøg hos fodterapeut Eksemplet tager udgangspunkt i antagelsen, at 33 % af de nydiagnosticerede konsulterer en fodterapeut indenfor en given opfølgningsperiode (Dette kunne i princippet også være en øjenlæge). Ved brug af app’en kunne man dog forvente at denne andel steg til 50 %. Skal en reel effekt af denne størrelse kunne dokumenteres med 80 % sikkerhed, kræver det 103 deltagere i henholdsvis intervention- og kontrolgruppe. Eksempel 2: Forskel i HbA1c Eksemplet tager udgangspunkt antagelsen, at A1c blandt nydiagnosticerede i udgangspunktet er højt men falder efter påbegyndt behandling. Det er hypotesen, at deltagere i interventionsgruppen ligger 0,5 procentpoint lavere end kontrolgruppen som følge af interventionen. For at kunne måle en forskel i HbA1c på 0,5 (spredning =1,5; Power =0.8) kræves der 286 deltagere i studiet, hvilket svarer til 143 deltagere i henholdsvis intervention og kontrolgruppe. Analyser af HbA1c afhænger dog ikke af svarprocent i opfølgende spørgeskemaer, selvom der stadig kan forventes et mindre bortfald som følge af død, flytning, o.a. 38 of 38
© Copyright 2024