Ist das Testen von A / B eine lohnende Verwendung von Ressourcen für den Endbenutzer einer mobilen App?
Websites können A/B-Tests aktivieren, indem sie beispielsweise eine andere Seite bereitstellen. Eine mobile App müsste Daten sammeln und zurückgeben. Ist es grundsätzlich in Ordnung, Software "Telefon zu Hause" zu haben, um Teile des Displays zu optimieren? Sollte dem Benutzer mitgeteilt werden, warum ich um diese Erlaubnis bitte, auch wenn er den Nutzen in der aktuellen App nicht sieht?
BEARBEITEN: Um zu verdeutlichen, dass A/B-Tests für den Endbenutzer wichtig genug sind, auch wenn sie dem Benutzer mitgeteilt werden, dass ich dies tun würde (was ich unbedingt tun würde), wäre es den Kompromiss wert, sie zu haben die Software gelegentlich nach Hause telefonieren? Ich habe die Frage bearbeitet, um dies widerzuspiegeln, anstatt meine ursprüngliche Frage, bevor ich mich abgelenkt habe.
Wenn Sie der Meinung sind, dass dies wichtig genug ist und der Benutzer dies gerne zulässt, kann ich das Problem nicht erkennen. Sie werden keine großen Datenmengen an Sie zurücksenden, daher verstehe ich nicht, warum es dem Benutzer etwas ausmacht. Die meisten Smartphone-Nutzer haben ohnehin einen unbegrenzten Internet-Kontakt (zumindest in Großbritannien haben sie alle einen, abgesehen von einigen Blackberrys).
Sie können etwas wie MixPanel ausprobieren, wenn Sie nur sehen möchten, wie Benutzer Ihre App verwenden und wie Sie sie verbessern können. Nie benutzt, sieht aber interessant aus.
Wir haben mit einigem Erfolg eine Art A/B-Test für mobile Apps in unsere Apps implementiert. Es ist wichtig zu wissen, dass die Datengebühren in Netzwerken und Ländern unterschiedlich sind. Ich bin der Meinung, dass es am besten ist, die Datennutzung so gering wie möglich zu halten. Aus diesem Grund haben wir unseren A/B-Test als zwei verschiedene "Themen" für die App implementiert. Benutzer konnten auswählen, welches Thema sie wollten, und auf der Optionsseite gab es eine Option, um über ihr Lieblingsmotiv abzustimmen und Feedback abzugeben.
Letztendlich ist das Sammeln von Benutzerfeedback auf keiner mobilen Plattform einfach, auch nicht auf fortgeschritteneren. Sie sind wirklich festgefahren, wenn Sie sich auf die Benutzer verlassen, die bereit sind, die Extrameile zu gehen und sich direkt an Sie zu wenden ...
Ich denke, die Art und Weise, wie Sie die Frage formulieren, ist etwas verwirrend, aber ich werde trotzdem versuchen, sie zu beantworten.
Die beste Vorgehensweise für installierbare Apps besteht darin, den Benutzer im Voraus darüber zu informieren, was passieren wird, und ihm die Möglichkeit zu bieten, sie zu deaktivieren. Ein gutes Beispiel hierfür ist Google Chrome, das Nutzer darüber informiert, dass Daten an Google übertragen werden, und Ihnen dann und dort die Möglichkeit bietet, diese zu deaktivieren. Es ähnelt auch den Warnungen, die das iPhone Ihnen gibt, wenn eine App "Ihnen Push-Benachrichtigungen senden" möchte. Seien Sie einfach offen, klar und ehrlich und die Benutzer werden es Ihnen danken.
Was die Frage betrifft, ob A/B-Tests für den Endbenutzer wichtig genug sind, halte ich die Frage nicht für sehr relevant. Ob Endbenutzer A/B-Tests für wichtig halten oder nicht, sollte Sie nicht davon abhalten, Ihre App zu verbessern, denn wenn Sie dies tun, werden sie letztendlich sowieso glücklicher sein. Machen Sie also die A/B-Tests, aber seien Sie ehrlich, welche Daten Sie übertragen - dies sind zwei separate Themen.
Im Allgemeinen sollten Sie sich auf den Verkauf und die Unterstützung einer Anwendung konzentrieren, sobald diese in Produktion geht. Es ist möglicherweise nicht wünschenswert, eine nicht unerhebliche Zeit damit zu verbringen, die Benutzeroberfläche zu optimieren, wenn Sie Marketing betreiben oder Fehler beheben möchten.
Wenn Sie A/B-Tests ausführen möchten (oder multivariate Tests, wenn die Anwendung überhaupt komplex ist), würde ich die Software bereitstellen und in der Beta-Version veröffentlichen. Als Beta können Sie
- verzichten Sie auf die Notwendigkeit, Benutzer zu entmutigen, indem Sie vorschlagen, dass ihre Erfahrungen sich von denen anderer unterscheiden könnten (es ist eine Beta, die Dinge werden ein wenig volatil sein).
- geben Sie neue Testvarianten (d. h. "Updates") so oft frei, wie Sie möchten
- sammeln Sie besseres Feedback (d. h. Testmetriken), indem Sie es als Austausch für die kostenlose Nutzung oder als frühzeitigen Zugriff auf die Software vorschlagen.
Wie matto1990 sagt, sind weitere Informationen erforderlich, aber im Prinzip würde ich sagen, dass der Benutzer benachrichtigt werden sollte, falls Kosten anfallen könnten.
Selbst wenn der Anruf kostenlos ist, kann er den Benutzer auf problematische Weise beeinträchtigen. Stellen Sie sich vor, der Benutzer wartet auf einen wichtigen Anruf, der jedoch nicht zustande kommt, da die Anwendung in diesem Moment einen Anruf initiiert hat.