Μια ματιά στο Play Store / App Store σε οποιοδήποτε τηλέφωνο θα αποκαλύψει ότι οι περισσότερες εγκατεστημένες εφαρμογές είχαν κυκλοφορήσει ενημερώσεις την τελευταία εβδομάδα. Μια επίσκεψη στον ιστότοπο μετά από μερικές εβδομάδες ενδέχεται να εμφανίσει ορισμένες αλλαγές στη διάταξη, την εμπειρία χρήστη ή το αντίγραφο.

Τα προϊόντα λογισμικού αποστέλλονται σήμερα σε επαναλήψεις για την επικύρωση υποθέσεων και υποθέσεων σχετικά με το τι κάνει την εμπειρία του προϊόντος καλύτερη για τους χρήστες. Ανά πάσα στιγμή, εταιρείες όπως η booking.com (όπου δούλευα πριν) εκτελούν εκατοντάδες τεστ A / B στους ιστότοπούς τους για αυτόν ακριβώς τον σκοπό.

Για εφαρμογές που παραδίδονται μέσω Διαδικτύου, δεν χρειάζεται να αποφασίσετε για την εμφάνιση ενός προϊόντος 12-18 μήνες νωρίτερα, και στη συνέχεια να δημιουργήσετε και τελικά να το στείλετε. Αντ 'αυτού, είναι απολύτως πρακτικό να απελευθερώνονται μικρές αλλαγές που αποδίδουν αξία στους χρήστες καθώς εφαρμόζονται, αφαιρώντας την ανάγκη για υποθέσεις σχετικά με τις προτιμήσεις των χρηστών και τις ιδανικές λύσεις - για κάθε υπόθεση και υπόθεση μπορεί να επικυρωθεί σχεδιάζοντας μια δοκιμή για την απομόνωση του αποτελέσματος κάθε αλλαγής.

Εκτός από την παροχή συνεχούς αξίας μέσω βελτιώσεων, αυτή η προσέγγιση επιτρέπει σε μια ομάδα προϊόντων να συλλέγει συνεχή ανατροφοδότηση από τους χρήστες και, στη συνέχεια, να είναι σωστή, ανάλογα με τις ανάγκες. Η δημιουργία και ο έλεγχος υποθέσεων κάθε δύο εβδομάδες είναι ένας φθηνότερος και ευκολότερος τρόπος για να δημιουργήσετε μια προσέγγιση διόρθωσης μαθημάτων και επαναληπτική για τη δημιουργία αξία προϊόντος .

Τι είναι ο έλεγχος υπόθεσης;

Κατά την αποστολή μιας δυνατότητας στους χρήστες, είναι επιτακτική ανάγκη να επικυρωθούν οι παραδοχές σχετικά με το σχεδιασμό και τα χαρακτηριστικά, προκειμένου να κατανοήσουμε τον αντίκτυπό τους στον πραγματικό κόσμο.

Αυτή η επικύρωση γίνεται παραδοσιακά μέσω δοκιμών υπόθεσης προϊόντος, κατά τη διάρκεια του οποίου ο πειραματιστής περιγράφει μια υπόθεση για μια αλλαγή και στη συνέχεια ορίζει την επιτυχία. Για παράδειγμα, εάν διαχειριστής προϊόντων δεδομένων στο Amazon έχει μια υπόθεση ότι η εμφάνιση μεγαλύτερων εικόνων προϊόντων θα αυξήσει τα ποσοστά μετατροπής και, στη συνέχεια, η επιτυχία καθορίζεται από υψηλότερα ποσοστά μετατροπών.

Μία από τις βασικές πτυχές της δοκιμής υπόθεσης είναι η απομόνωση διαφορετικών μεταβλητών στην εμπειρία του προϊόντος, προκειμένου να είναι σε θέση να αποδώσει την επιτυχία (ή την αποτυχία) στις αλλαγές που έγιναν. Επομένως, εάν ο διαχειριστής προϊόντων Amazon είχε μια περαιτέρω υπόθεση ότι η εμφάνιση κριτικών πελατών ακριβώς δίπλα στις εικόνες προϊόντων θα βελτίωνε τη μετατροπή, δεν θα ήταν δυνατό να δοκιμάσουμε και τις δύο υποθέσεις ταυτόχρονα. Κάτι τέτοιο θα είχε ως αποτέλεσμα την αποτυχία να αποδώσει σωστά τις αιτίες και τα αποτελέσματα. Επομένως, οι δύο αλλαγές πρέπει να απομονωθούν και να δοκιμαστούν ξεχωριστά.

Επομένως, οι αποφάσεις προϊόντων σχετικά με τις λειτουργίες πρέπει να υποστηρίζονται από δοκιμές υπόθεσης για την επικύρωση της απόδοσης των χαρακτηριστικών.

Διαφορετικοί τύποι δοκιμών υπόθεσης

Δοκιμή A / B

Οι πιο συνηθισμένες περιπτώσεις χρήσης μπορούν να επικυρωθούν με τυχαιοποιημένη δοκιμή A / B, κατά την οποία μια αλλαγή ή ένα χαρακτηριστικό απελευθερώνεται τυχαία στους μισούς χρήστες (A) και παρακρατείται από το άλλο μισό (B). Επιστρέφοντας στην υπόθεση των μεγαλύτερων εικόνων προϊόντων που βελτιώνουν τη μετατροπή στο Amazon, στους μισούς χρήστες θα εμφανιστεί η αλλαγή, ενώ οι άλλοι μισοί θα βλέπουν τον ιστότοπο όπως ήταν πριν. Στη συνέχεια, η μετατροπή θα μετρηθεί για κάθε ομάδα (Α και Β) και θα συγκριθεί. Σε περίπτωση σημαντικής αύξησης της μετατροπής για την ομάδα που εμφανίζονται μεγαλύτερες εικόνες προϊόντος, το συμπέρασμα θα ήταν ότι η αρχική υπόθεση ήταν σωστή και η αλλαγή μπορεί να εφαρμοστεί σε όλους τους χρήστες.

πάρτε και μεταμορφώστε το excel 2013

Δοκιμή πολλαπλών παραλλαγών

Στην ιδανική περίπτωση, κάθε μεταβλητή θα πρέπει να απομονωθεί και να δοκιμαστεί χωριστά, ώστε να αποδίδει οριστικά τις αλλαγές. Ωστόσο, μια τέτοια διαδοχική προσέγγιση των δοκιμών μπορεί να είναι πολύ αργή, ειδικά όταν υπάρχουν πολλές εκδόσεις για δοκιμή. Για να συνεχίσουμε με το παράδειγμα, στην υπόθεση ότι οι μεγαλύτερες εικόνες προϊόντων οδηγούν σε υψηλότερα ποσοστά μετατροπής στο Amazon, το 'μεγαλύτερο' είναι υποκειμενικό και αρκετές εκδόσεις 'μεγαλύτερες' (π.χ. 1,1x, 1,3x και 1,5x) ενδέχεται να χρειαστεί να δοκιμαστεί.

Αντί να δοκιμάζουμε αυτές τις περιπτώσεις διαδοχικά, μπορεί να υιοθετηθεί μια δοκιμή πολλαπλών παραλλαγών, στην οποία οι χρήστες δεν χωρίζονται στα μισά αλλά σε πολλαπλές παραλλαγές. Για παράδειγμα, τέσσερις ομάδες (A, B, C, D) αποτελούνται από το 25% των χρηστών η καθεμία, όπου οι χρήστες της ομάδας Α δεν θα δουν καμία αλλαγή, ενώ εκείνες στις παραλλαγές B, C και D θα βλέπουν εικόνες μεγαλύτερες κατά 1,1x, 1,3x και 1,5x, αντίστοιχα. Σε αυτήν τη δοκιμή, πολλές παραλλαγές ελέγχονται ταυτόχρονα με την τρέχουσα έκδοση του προϊόντος, προκειμένου να προσδιοριστεί η καλύτερη παραλλαγή.

Πριν / μετά τη δοκιμή

Μερικές φορές, δεν είναι δυνατόν να χωριστούν οι χρήστες στα μισά (ή σε πολλές παραλλαγές), καθώς ενδέχεται να υπάρχουν εφέ δικτύου. Για παράδειγμα, εάν το τεστ περιλαμβάνει τον προσδιορισμό του κατά πόσον μια λογική για τη διαμόρφωση τιμών αύξησης στο Uber είναι καλύτερη από μια άλλη, οι οδηγοί δεν μπορούν να χωριστούν σε διαφορετικές παραλλαγές, καθώς η λογική λαμβάνει υπόψη την αναντιστοιχία ζήτησης και προσφοράς ολόκληρης της πόλης. Σε τέτοιες περιπτώσεις, μια δοκιμή θα πρέπει να συγκρίνει τα αποτελέσματα πριν από την αλλαγή και μετά την αλλαγή για να καταλήξει σε ένα συμπέρασμα.

Ωστόσο, ο περιορισμός εδώ είναι η αδυναμία απομόνωσης των επιπτώσεων της εποχικότητας και του εξωτερικού χαρακτήρα που μπορεί διαφορετικά να επηρεάσουν τις περιόδους δοκιμής και ελέγχου. Ας υποθέσουμε ότι μια αλλαγή στη λογική που καθορίζει την αύξηση της τιμής στο Uber έγινε τη στιγμή τ , έτσι ώστε η λογική Α να χρησιμοποιείται πριν και η λογική Β να χρησιμοποιείται μετά. Ενώ τα αποτελέσματα πριν και μετά το χρόνο τ μπορεί να συγκριθεί, δεν υπάρχει καμία εγγύηση ότι τα αποτελέσματα οφείλονται αποκλειστικά στην αλλαγή λογικής. Θα μπορούσε να υπήρχε διαφορά στη ζήτηση ή άλλους παράγοντες μεταξύ των δύο χρονικών περιόδων που οδήγησαν σε διαφορά μεταξύ των δύο.

Δοκιμή On / Off βάσει χρόνου

Τα μειονεκτήματα πριν / μετά τη δοκιμή μπορούν να ξεπεραστούν σε μεγάλο βαθμό με την ανάπτυξη δοκιμών βάσει / απενεργοποίησης βάσει χρόνου, κατά την οποία η αλλαγή εισάγεται σε όλους τους χρήστες για μια συγκεκριμένη χρονική περίοδο, απενεργοποιημένη για μια ίδια χρονική περίοδο και στη συνέχεια επαναλήφθηκε για μεγαλύτερη διάρκεια.

Για παράδειγμα, στην περίπτωση χρήσης Uber, η αλλαγή μπορεί να εμφανιστεί στους οδηγούς τη Δευτέρα, να αποσυρθεί την Τρίτη, να εμφανιστεί ξανά την Τετάρτη και ούτω καθεξής.

Αν και αυτή η μέθοδος δεν αφαιρεί πλήρως τις επιπτώσεις της εποχικότητας και του εξωτερικού χαρακτήρα, τα μειώνει σημαντικά, καθιστώντας τέτοιες δοκιμές πιο ισχυρές.

Σχεδιασμός δοκιμής

Η επιλογή του κατάλληλου τεστ για την υπόθεση χρήσης είναι απαραίτητο βήμα για την επικύρωση μιας υπόθεσης με τον ταχύτερο και πιο ισχυρό τρόπο. Μόλις γίνει η επιλογή, οι λεπτομέρειες του σχεδιασμού δοκιμής μπορούν να περιγραφούν.

Ο σχεδιασμός του τεστ είναι απλώς μια συνεκτική περιγραφή:

• Η υπόθεση που θα εξεταστεί: Η εμφάνιση μεγαλύτερων εικόνων προϊόντων στους χρήστες θα τους οδηγήσει να αγοράσουν περισσότερα προϊόντα.
• Μετρήσεις επιτυχίας για τη δοκιμή: Μετατροπή πελατών
• Κριτήρια λήψης αποφάσεων για τη δοκιμή: Η δοκιμή επικυρώνει την υπόθεση ότι οι χρήστες στην παραλλαγή δείχνουν υψηλότερο ποσοστό μετατροπών από εκείνους στην ομάδα ελέγχου.
• Μετρήσεις που πρέπει να εξοπλιστούν για να μάθουν από το τεστ: Μετατροπή πελατών, κλικ σε εικόνες προϊόντων

Στην περίπτωση της υπόθεσης ότι οι μεγαλύτερες εικόνες προϊόντων θα οδηγήσουν σε βελτιωμένη μετατροπή στο Amazon, η μέτρηση επιτυχίας είναι η μετατροπή και τα κριτήρια απόφασης είναι μια βελτίωση στη μετατροπή.

Αφού επιλεγεί και σχεδιαστεί το σωστό τεστ, και προσδιοριστούν τα κριτήρια επιτυχίας και οι μετρήσεις, τα αποτελέσματα πρέπει να αναλυθούν. Για να γίνει αυτό, ορισμένες στατιστικές έννοιες είναι απαραίτητες.

Πότε θα ενεργοποιηθεί το δίκτυο Lightning στο bitcoin

Δειγματοληψία

Κατά την εκτέλεση δοκιμών, είναι σημαντικό να διασφαλιστεί ότι οι δύο παραλλαγές που επιλέχθηκαν για τη δοκιμή (Α και Β) δεν έχουν προκατάληψη σε σχέση με τη μέτρηση επιτυχίας. Για παράδειγμα, εάν η παραλλαγή που βλέπει τις μεγαλύτερες εικόνες έχει ήδη μεγαλύτερη μετατροπή από την παραλλαγή που δεν βλέπει την αλλαγή, τότε η δοκιμή είναι μεροληπτική και μπορεί να οδηγήσει σε λανθασμένα συμπεράσματα.

Προκειμένου να διασφαλιστεί ότι δεν υπάρχει μεροληψία στη δειγματοληψία, μπορεί κανείς να παρατηρήσει τη μέση τιμή και τη διακύμανση της μέτρησης επιτυχίας πριν από την εισαγωγή της αλλαγής.

Σημασία και δύναμη

Μόλις παρατηρηθεί διαφορά μεταξύ των δύο παραλλαγών, είναι σημαντικό να συμπεράνουμε ότι η αλλαγή που παρατηρείται είναι πραγματική επίδραση και όχι τυχαία. Αυτό μπορεί να γίνει υπολογίζοντας τη σημασία της αλλαγής στη μέτρηση επιτυχίας.

Σε απλούς όρους, σημασία μετρά τη συχνότητα με την οποία η δοκιμή δείχνει ότι οι μεγαλύτερες εικόνες οδηγούν σε υψηλότερη μετατροπή, ενώ στην πραγματικότητα δεν το κάνουν. Εξουσία μετρά τη συχνότητα με την οποία η δοκιμή μας λέει ότι οι μεγαλύτερες εικόνες οδηγούν σε υψηλότερη μετατροπή, όταν πραγματικά.

Επομένως, οι δοκιμές πρέπει να έχουν υψηλή τιμή ισχύος και χαμηλή τιμή σημασίας για πιο ακριβή αποτελέσματα.

---

Ενώ μια εις βάθος διερεύνηση των στατιστικών εννοιών που εμπλέκονται στη δοκιμή υπόθεσης προϊόντων είναι εκτός πεδίου εδώ, συνιστώνται οι ακόλουθες ενέργειες για την ενίσχυση της γνώσης σε αυτό το μέτωπο:

• Οι αναλυτές δεδομένων και οι μηχανικοί δεδομένων είναι συνήθως έμπειροι στον εντοπισμό των σωστών σχεδίων δοκιμών και μπορούν να καθοδηγήσουν τους διαχειριστές προϊόντων, οπότε φροντίστε να αξιοποιήσετε την εμπειρία τους νωρίς στη διαδικασία.
• Υπάρχουν πολλά διαδικτυακά μαθήματα για δοκιμές υποθέσεων, δοκιμές A / B και σχετικές στατιστικές έννοιες, όπως Ούντεμι , Ουσάθεια , και Κουρσέρα .
• Η χρήση εργαλείων όπως το Firebase της Google και το Optimizely μπορεί να διευκολύνει τη διαδικασία χάρη σε πολλές δυνατότητες εκτός λειτουργίας για την εκτέλεση των σωστών δοκιμών.

Χρήση δοκιμής υπόθεσης για επιτυχημένη διαχείριση προϊόντων

Για να παρέχουμε συνεχώς αξία στους χρήστες, είναι επιτακτική ανάγκη να δοκιμάσουμε διάφορες υποθέσεις, για τους οποίους μπορούν να χρησιμοποιηθούν διάφοροι τύποι δοκιμών υπόθεσης προϊόντος. Κάθε υπόθεση πρέπει να έχει συνοδευτικό σχεδιασμό δοκιμής, όπως περιγράφεται παραπάνω, προκειμένου να επικυρωθεί ή να ακυρωθεί οριστικά.

Αυτή η προσέγγιση συμβάλλει στον ποσοτικό προσδιορισμό της τιμής που παρέχεται από νέες αλλαγές και δυνατότητες, εστιάζει στις πιο πολύτιμες δυνατότητες και παρέχει σταδιακές επαναλήψεις.

Κατανόηση των βασικών

Τι είναι μια υπόθεση προϊόντος;

Μια υπόθεση προϊόντος είναι μια υπόθεση ότι κάποια βελτίωση στο προϊόν θα επιφέρει αύξηση σε σημαντικές μετρήσεις όπως τα στατιστικά στοιχεία εσόδων ή χρήσης προϊόντων.

τις αρχές της έμφασης στο σχεδιασμό

Ποια είναι τα τρία απαιτούμενα μέρη μιας υπόθεσης;

Τα τρία απαιτούμενα μέρη μιας υπόθεσης είναι η υπόθεση, η συνθήκη και η πρόβλεψη.

Γιατί κάνουμε δοκιμές A / B;

Κάνουμε δοκιμές A / B για να βεβαιωθούμε ότι οποιαδήποτε βελτίωση στο προϊόν αυξάνει τις μετρήσεις που παρακολουθούμε.

Σε τι χρησιμοποιείται η δοκιμή A / B;

Η δοκιμή A / B χρησιμοποιείται για να ελέγξει εάν οι βελτιώσεις των προϊόντων μας δημιουργούν την επιθυμητή αλλαγή στις μετρήσεις.

Τι είναι οι δοκιμές A / B και οι δοκιμές πολλαπλών παραλλαγών;

Οι δοκιμές A / B και οι δοκιμές πολλαπλών παραλλαγών είναι τύποι δοκιμών υπόθεσης. Ο έλεγχος A / B ελέγχει πόσο σημαντικές αλλάζουν οι μετρήσεις με και χωρίς μία αλλαγή στο προϊόν. Οι δοκιμές πολλαπλών παραλλαγών μπορούν να παρακολουθούν πολλές παραλλαγές της ίδιας βελτίωσης προϊόντος.