Adrienne Ossko, Product Lead Photography bei EyeEm

Adrienne gewährt uns einen Einblick in die Produktentwicklung von EyeEm. Sie erklärt, warum sie einen modifizierten Google Design Sprint verwenden und wie sie mit Machine Learning einen Computer Vision Algorithmus trainieren.

Hallo Adrienne, welche Aufgabe hast du bei EyeEm?

Bei EyeEm bedienen wir zwei Usergruppen: Die Creator, also Fotografen und Videografen, die Content produzieren. Und die Buyer, das sind Agenturen und Firmen, die unsere Fotos lizenzieren. Ich bin für die Creator zuständig und verantworte die Entwicklung unserer iOS und Android Apps sowie den Teil der Web Plattform, der für Creator bestimmt ist. Dazu arbeite ich mit einem Team aus Entwicklern, Designern und QA-lern zusammen.

Wie viele Entwickler sind das?

Zwei iOS-Entwickler, zwei Android-Entwickler und zwei Web Frontend-Entwickler.

Das sind gar nicht so viele.

Ja, das liegt daran, dass wir keine Feature-Teams haben, sondern ein separates Backend-Team. Für größere Projekte bei denen es Backend Abhängigkeiten gibt, werden einzelne Backend-Ressourcen dem Projekt zugeteilt und wir arbeiten dann in einem zeitlich begrenzten “Cross-Functional-Team” zusammen.

Wie lässt sich deine Rolle hier bei EyeEm zusammenfassen?

Produktmanagement ist einer der wenigen Bereiche in der Produktentwicklung, bei dem man von Anfang bis Ende im kompletten Prozess involviert ist. Der allererste Schritt besteht darin, zu verstehen, was beim User los ist. Ich würde sagen, User-Feedback ist das Wichtigste über die komplette Produktentwicklung, über den ganzen Zyklus hinweg. Darum ist ein ganz wichtiger Bestandteil meiner Arbeit, mit Usern in Kontakt zu kommen und von ihnen zu lernen. Was sind die Bedürfnisse der User? Wie schaffen wir es, als Produkt-Team Lösungen für die User zu finden?

User-Feedback ist das Wichtigste über die komplette Produktentwicklung, über den ganzen Zyklus hinweg.

Meine Aufgaben variieren stark. Je nachdem woran ich gerade arbeite, kann es vor dem Release schon mal turbulent werden.

Wann bist du im Büro?

Mein Wecker klingelt um 7.10 Uhr und nach dem Frühstück bin ich gegen 9 Uhr im Büro. Ich komme gerne mit dem Rad zur Arbeit, weil das ein schöner Start in den Tag ist.

Das Erste, was ich dann mache, ist in Amplitude einen Blick auf die Analytics zu werfen, um ein Gefühl dafür zu bekommen, ob sich alles im Normalbereich bewegt oder ob’s irgendwo brennt. Um 10.30 Uhr geht es mit den ersten Standups los. Dadurch, dass ich iOS und Android betreue, machen wir nicht jeden Tag ein Stand-up. Es ist eher so, dass wir Ad-hoc-Meetings aufsetzen, wenn etwas anliegt. Es muss ja auch nicht alles zu sehr in Prozesse übergehen. Gerade bei kleinen Teams kann das auch mal kontraproduktiv sein.

Nutzt ihr Scrum oder Kanban?

Wir arbeiten nach einem typischen Scrum-Prozess mit Sprint Planning, Stand-ups, Retros und alles was dazu gehört. Allerdings haben wir keinen Scrum Master, sondern unser QA-ler im Team übernimmt ein paar Aufgaben des Scrum Masters. Er stellt sicher, dass in Jira alles auf dem aktuellen Stand ist, die Sprints gestartet werden und Jira nach unseren Bedürfnissen konfiguriert ist. Ich habe die Erfahrung gemacht, dass Teams mit Scrum Master sehr gemütlich werden. Denn der Scrum Master kümmert sich schon. Wenn wir jemand Neues einstellen würden, dann wäre das kein Scrum Master.

An welchem Projekt arbeitet ihr gerade?

Wir sind gerade an einem sehr wichtigen Projekt für uns und heute ist sogar der Launch-Day.

Da habe ich mir ja den richtigen Tag für das Interview ausgesucht.

Absolut. Wir haben allerdings schon gestern mit dem staged Rollout angefangen. Seit iOS 11 ist das nun ja auch endlich auf iOS möglich. Man launcht die App nicht an alle User gleichzeitig, sondern rollt sie Stück für Stück aus. Die Entwickler sind gerade dabei, die Crash-Rates zu analysieren.

Um was geht es bei diesem Launch?

Wir haben den kompletten Foto-Upload-Flow überarbeitet. Für EyeEm als Plattform für Fotografen ist dies das wichtigste Feature der App. Die User posten ihre Fotos und optimieren sie während dem Upload für den Market. Der Flow muss einfach einwandfrei funktionieren und sowohl auf die Bedürfnisse der User als auch auf unsere Unternehmensziele angepasst sein. Zum Beispiel verkaufen sich Fotos besser, wenn sie die richtigen Keywords und Angaben zur Location enthalten. Es ist unsere Aufgabe den Foto-Upload so zu konzipieren, dass User diese Angaben ohne viel Mühe und zum Teil mit Hilfe unserer Computer Vision Technologie ergänzen können.

Welches Tool nutzt du, um die KPIs zu messen?

Amplitude ist das Tool, das wir nutzen, um zum Beispiel den Foto-Upload Funnel zu analysieren. Ich liebe es! Früher haben wir Localytics benutzt und erst vor Kurzem sind wir umgestiegen. Damit kann man super die unterschiedlichen Nutzer analysieren. Welche User nutzen den Uploader und wie? Android-User, iOS-User, User aus unterschiedlichen Ländern, User, die mehr auf den „Market“ fokussiert sind, User, die sich auf die Community konzentrieren. Das gilt es zu verstehen.

Wie seid ihr bei diesem Projekt vorgegangen? Was waren die erste Schritte?

Bei uns beginnt jedes Projekt mit einem One-Pager in Confluence, in dem wir unsere „expected Results“ beschreiben, um abschätzen zu können, wann ein Projekt erfolgreich ist. Und auch, um es priorisieren zu können. Erst dann kann es losgehen.

Für größere Projekte wie bei diesem, starten wir fast immer mit einer umfassenden Research Study des bestehenden Produkts. Zum einen untersuchen wir die quantitativen Daten, um das Userverhalten von unterschiedlichen Personas im Detail zu verstehen. Dies passiert auch wieder mit Hilfe von Amplitude und in enger Zusammenarbeit mit dem Data Team.

Da geht es zum Beispiel darum zu verstehen, welche Usergruppe unser Produkt in welcher Art nutzt und welche Probleme die Usergruppen haben.

Ein zweiter Teil ist der qualitative User-Research zusammen mit dem UX- und Design-Team. Dieser Teil ist etwas aufwändiger und man muss gut vorbereitet sein. Hierzu laden wir Community-Mitglieder zu uns ins EyeEm Office ein und versuchen anhand von Interviews und Fokus Gruppen ganz genau zu verstehen, wie die User unser Produkt nutzen und auf welche Herausforderungen und Probleme sie stoßen. Wichtig ist dabei auch, die Unterschiede bei den verschiedenen Usergruppen zu erkennen. Des Weiteren haben wir zum Beispiel Google Forms genutzt, um Questionnaires an unsere Core-User rauszusenden. Von ihnen bekommen wir oft sehr hilfreiches Feedback. Diese Phase kann je nach Projekt bis zu 2 Wochen dauern. Die Ergebnisse haben wir erst gemeinsam in Google Drive erarbeitet und später in Confluence zusammengefasst. Confluence ist für alles unser Place to go.

Wann geht es mit ersten Konzepten los?

Direkt nach dem User-Research, und zwar mit einem Konzept-Sprint, einem Google Design Sprint, den wir für uns angepasst haben. Hier werden alle Stakeholder mit einbezogen.

Wieso habt ihr den Google Design Sprint angepasst?

Wir haben festgestellt, dass am Freitag, also dem letzten Tag des Design-Sprints, unsere Prototypen zu limitiert und die Interviews zu schlecht strukturiert waren, um sinnvoll testen zu können. Wir mussten den Testern zu viel erklären was für unnatürliche Bedingungen gesorgt hat. Wir machen den User-Test jetzt meist an zwei Tagen erst in der Woche darauf. Je nach Projekt kann ein Konzept-Sprint auch mal nur drei Tage lang sein.

Außerdem waren die Teams viel zu groß. Unser Team beim Foto-Uploader-Konzept-Sprint bestand aus fünf Personen. Das war eine gute Größe.

Was war das Ergebnis des Konzept-Sprints?

Das Ergebnis war, dass keine unserer Varianten funktionierte. Eine Variante war ein Multi-Step-Flow für den Uploader, wie man ihn zum Beispiel bei Google Sign-up Flows kennt. In der zweiten Variante hatten wir alle Infos auf eine Seite gebracht. Beide haben wir gegeneinander getestet.

Das heißt, es gab eigentlich kein Ergebnis? Was habt ihr dann gemacht?

Das Ergebnis war, dass beide Varianten nicht optimal funktionieren. Somit haben wir einen dritten Prototypen erstellt, bei dem wir das Gute beider Varianten vereint haben. Insgesamt haben wir drei Runden User-Tests gemacht. Schritt für Schritt kam dann das Design hinzu, dann haben wir einen dynamischen Prototypen gebaut und erneut getestet. Die Tests sind für uns fast wie Gate-Keeper, die verhindern, dass wir etwas weiterentwickeln, was nicht validiert wurde.

Welches Problem konntet ihr beispielsweise lösen?

Das wir für das Tagging einen eigenen Screen benötigen, quasi einen zweiten Step. Eines unserer Ziele war es, bei diesem Projekt die Verkaufbarkeit von Fotos zu erhöhen. Dazu gehört es, die Bilder richtig zu verschlagworten. Hierfür haben wir eine Computer-Vision-Technologie im Einsatz, die wir auch für EyeEm Selects nutzen, die das Foto auswertet und Konzepte erkennt. Dadurch können wir dem User Keywords vorschlagen, was natürlich den kompletten Prozess des Taggings stark vereinfacht.

Wie habt ihr das gemacht?

Wir haben einen Algorithmus trainiert, der nicht nur in der Lage ist Objekte und abstrakte Konzepte, sondern auch ästhetische Werte auf einem Bild zu erkennen – also die Wahrscheinlichkeit, dass ein Bild von einem menschlichen Auge als schön empfunden wird. Um genug Trainingsdaten zu erhalten, arbeiteten unsere Computer-Vision Forscher sehr eng mit den Foto-Editoren zusammen um Hunderttausende Fotos zu durchforschen und über die Vorzüge, Schwachstellen und andere Feinheiten zu debattieren.

Der damit trainierte Algorithmus wird genutzt, um dem User Keywords vorzuschlagen. EyeEm Selects ist ein weiteres Beispiel bei der die gleiche Technologie zum Einsatz kommt.  Circa 70 Prozent der hochgeladenen Bilder können wir so verarbeiten.

Die Keywords, bei denen wir uns sehr sicher sind, werden automatisch deinem Bild hinzugefügt. Das sind die High-Confidence-Keywords. Zusätzlich werden die Low-Confidence-Keywords angezeigt. Die passen vielleicht nicht immer. Aber du kannst jederzeit jedes Keyword entfernen oder auch zusätzliche Keywords hinzufügen.

Was lief im Konzept-Sprint nicht so gut?

Als wir mit der Entwicklung anfangen wollten, haben wir bemerkt, dass wir uns mehr mit dem Thema Location hätten beschäftigen sollen, da wir den technischen Aufwand unterschätzt haben. In der alten Version gab es viele Probleme mit dem Location-Tagging. In der neuen Version wollten wir, dass der User in der Lage ist, jederzeit jede Location zu finden und zu seinem Foto hinzuzufügen. Das fiel uns dann auf die Füße.

Wie lange hat es letztlich gedauert vom Konzept bis zur fertigen App?

Von der Idee bis zum Release waren es circa 2.5 Monate. Dadurch, dass wir die Entwicklungsphase in kleinere Phasen eingeteilt haben, konnte wir mit der QA recht frühzeitig beginnen und Zeit gewinnen. Zum Schluss mussten dann nur noch die Regression Tests gemacht und der Launch vorbereitet werden. Es ist aber nicht so, dass das Projekt mit dem Tag des Releases komplett abgeschlossen ist. Nun kommt die interessante Phase. Wir werten die Amplitude-Daten und Bug-Reports aus und entscheiden welche Anpassungen noch notwendig sind. Die Entwicklung geht also noch weiter.

Was wird deiner Meinung nach in deinem Job immer wieder falsch gemacht?

Vielleicht, dass man die Anforderung hat, schon beim ersten Mal alles richtig machen zu müssen. Wir haben dreimal User-Tests gemacht. Beim ersten Mal hat keiner unserer Prototypen wirklich funktioniert. Wir hätten jetzt sagen können, dass wir uns einfach für den mit den wenigsten Schwachstellen entscheiden und diesen weiterentwickeln damit wir uns an das ursprüngliche Release-Date halten. Das wäre aber falsch gewesen. Ich finde es ist wichtig dem Team die Chance zu geben, scheitern zu dürfen um dabei lernen zu können, und am Ende ein besseres Feature zu launchen.

Ich finde es ist wichtig dem Team die Chance zu geben, scheitern zu dürfen um dabei lernen zu können, und am Ende ein besseres Feature zu launchen.

Was sind für dich wichtige Themen und Trends in der Produktentwicklung?

Eines der großen Themen in der digitalen Produktentwicklung ist die Einbindung von AI zur Optimierung der User Experience. Es wird immer mehr Apps geben, die lernen, das Nutzerverhalten auszuwerten und ihre Funktionsweise daraufhin anzupassen.

Wie bereits erwähnt, nutzen wir Machine Learning für unsere EyeEm Vision Technologie. Dadurch sind wir in der Lage, die Experience zu verbessern und User in ihrem Workflow zu unterstützen, in dem relevante Keywords vorgeschlagen werden. Ich war vor ein paar Wochen auf der Google Playtime. Da war Künstliche Intelligenz Schwerpunktthema.

Welche Tools verwendet ihr im Team?

Wie zuvor schon angesprochen: Jira, Confluence, Google Drive und Amplitude.

Als Kommunikationstool nutzen wir Slack. Früher haben wir Trello genutzt, um die Design-Tasks zu verwalten, sind aber jetzt auch auf Jira übergegangen. Für unsere Prototypen nutzen wir Marvel und für die Designs Sketch. Ich mache zwar viel auf Papier, trotzdem nutze ich gerne auch Evernote und bin ein großer Fan davon. Die wöchentlichen Zusammenfassungen und meine privaten Notizen kommen in Evernote. Für die Ad-hoc-Sachen schreibe ich lieber auf Post-its.

Was brauchst du, um arbeiten zu können?

Ich habe ein MacBook 13 Zoll. Was ich bei uns ganz gut finde ist, dass die Sitzordnung recht locker ist. Wenn ich mich mal mit dem Backend-Team zusammensetzen will, dann kann ich das auch. Ganz wichtig ist der Silent Room, wenn man fokussiert arbeiten und nicht gestört werden will. Das finde ich super. Gerade mit Slack und dieser ständigen Verfügbarkeit wird man gerne mal aus der Konzentrationsphase herausgerissen. Zu dem Thema kann ich den Podcast „Hurry Slowly“ empfehlen.

Was für Medien kannst du noch empfehlen? Wie hältst du dich auf dem Laufenden?

Ich höre zurzeit auf dem Weg zur Arbeit immer Podcasts.

Auf dem Fahrrad?

Ja, das ist toll. Zum Beispiel höre ich gerne den Podcast This is Product Management oder How I Built This with Guy Raz. Ansonsten lese ich gerne Mind the Product und Medium Posts, zum Beispiel von John Cutler. Das Google Design Sprint Buch von Jake Knapp ist ein guter Begleiter für die Sprints. Aktuell lese ich das Buch Growth Hacking von Sean Ellis.

Liebe Adrienne, vielen Dank für das Interview!

Dieses Interview wurde am 6. Dezember 2017 in den Räumlichkeiten von EyeEm in Berlin gehalten.