في الجزء الأول، بدأنا بمقدمة عن ايش دور مدير المنتجات في الفرق التقنية، كيف نكتب الفرضيات بشكل صحيح، كيف الاختبارات تساعد في اتخاذ القرار، وبعض اطر العمل اللي تساعد في تحديد الاولويات.
في هذا الجزء، حنتكلم عن الاختبارات بشكل اعمق وأشمل. حنراجع مع بعض جزئية الفرضيات، وبعدين حنكمل رحلة انشاء اختبارات في المنتج عن طريق تحديد المستخدمين اللي حيشكلوا العينة المُجرَبة للاختبار. بعدها، حنستكشف طرق اطلاق وايقاف الاختبارات وكيف ممكن نطلع باستنتاجات صحية وعلمية عن اختبارات منتجنا.
المقالة طويلة ومليانة معلومات، فخلينا ندخل فالموضوع بدون ما نكثر في المقدمة. 🚀
- الفرضيات، مره ثانية 🔂
- معرفة الجمهور هو نصف الحل، و التنفيذ هو النصف الآخر 🧠
- الجزء الثالث للسلسلة: كيف أعرف متى ابدأ ومتى اوقف اختباري بثقة؟ 🤓
الفرضيات، مره ثانية 🔂
بعد ما اتكلمنا في الجزء الأول عن الفرضيات ودورها الأساسي في إدارة المنتجات، خلينا هنا نعيد النظر فيها عشان نوضح بعض النقاط اللي ممكن تكون مو واضحة كفاية. الفرضيات هي حجر الأساس اللي تبدأ منه كل تجربة، لكن لازم تكون مدعومة بتفكير منطقي وبيانات واضحة، مو مجرد شعور أو إحساس (بقدر المستطاع 😉).
مراجعة سريعة
بناء الفرضيات هو الخطوة اللي تحدد طريقك في تحسين المنتجات. الفرضية القوية تكون بمثابة البوصلة اللي توجه الفريق، بحيث توضح بالضبط إيش التغيير اللي بنسويه وليش متوقعين أنه راح يحدث أثر إيجابي، ويطلب مننا ذكر حجم هذا الأثر المتوقع. كما ذكرت في المقالة السابقة، الفرضيات هي الطريقة اللي نستخدمها لتحويل التخمين إلى خطة واضحة، ومدعومة بالبيانات.
ذكرنا إطار مهم جدًا يساعدنا في صياغة أي فرضية:
- If [الإجراء أو التغيير المقترح]: إيش الفعل اللي بنسويه؟
- Then [النتيجة المتوقعة]: إيش التغيير اللي راح نلاحظه بعد هذا الإجراء؟
- Because [السبب أو الافتراض الأساسي]: ليش نتوقع هذا التغيير؟
وخلينا نشوف كيف فعلا ممكن نستخدم هذه الصياغة في كتابة فرضية.
مثال فرضية جديدة 📝
حأستخدم سكيلرز | Scalers (دعاية مبررة :) ) في هذا المثال. لنفترض اننا نناقش الـhero section في صفحة الهبوط (landing page) بالنسبة للمرشحين. وكان فيه فكرتين حلوة:
- الأولى تقول - الوضع الحالي: المرشحين حيكون عندهم ثقة اكبر وحيكون عندهم رغبة بالتسجيل لو شافوا تجارب مرشحين آخرين مثلهم مروا بالتجربة (testimonials او توصيات)
- الثانية تقول: المرشحين يجوا في سكيلرز عشان يدوروا وظائف جدابة، لو نوريهم وظائف حلوة حيشوفوا القيمة اللي بيجوا عشانهم وحيستجلوا (showcase value)
الآن كل الأفكار جيدة، وممكن نفس الشخص يغير رأيه بينهم 5 مرات في نفس الأسبوع. فهذه نقطة حوار جميلة مره، وفيه طرق مختلفة اننا نحلها:
- ندخل في غرفة اجتماعات ونشوف مين يقدر يقنع الثاني (احيانا يصير النقاش حامي 🔫)
- نستعين بيهكل الشركة ونروح لأعلى شخص مشترك بين الطرفين المختلفين ونخليه ياخذ القرار
- نسأل عدد معين من المستخدمين سواء بالجوال او غيره ونشوف ايش رأي أول 11 مستخدم نتصل عليهم (العدد فردي بالعنية عشان ما يصير فيه تعادل 👀)
كلها طرق ممكن نتفع، ولكن ولا واحد فيها يستعين ببيانات كافية و بيخلينا نكون واثقين من قرارنا، فالاخير متخذ القرار شخص قد ما تكون عنده الصورة كاملة وله رأيه وتحيزاته. أقرب حل بالنسبة لي هو الثالث، والمثير للاهتمام في الموضوع ان استبيان المستخدمين يعتبر اختبار هو بذاته، ولكن التطبيق هنا غير سليم لانه العينة اللي تم سؤالها (11 مستخدم) ليست قريب ابدا من تمثيل كل العينات اللي تدخل صفحة الهبوط.
اذا، الحل الأسلم لنا هو اننا نسوي اختبار (A/B test في هذا السيناريو)، وحنبدأ بصياغة الفرضية، خلينا نراجع طريقة الصياغة مره كمان:
والآن نشوف كيف نطبقها على المثال الموجود فوق:
ممتاز، الآن صار عندنا تصور واضح عن كيف نكتب فرضيات، و جربنا العملية على مشكلتين واجهتنا، الأولى عن معدل الترشيح والثانية عن الـhero section في صفحة الهبوط.
ولكن، في سؤال وجودي ما جاوبناه. الآن لما نقول التحول للعملاء المفروض يزيد بنسبة 10%، النسبة هذه من فين جات؟ هل هي تخمين؟ ولا يمكن استبصارها بشكل معين؟
خلينا نتعمق أكثر ونكتشف…
كيف تطلع التوقعات لفرضيتك؟ 📊
لما تجي تحدد التوقعات الخاصة بفرضيتك، ما يفضل تخليها مجرد إحساس أو تخمين غير مدروس. لازم تعتمد على بيانات موثوقة قدر الإمكان عشان تدعم قرارك. وخلينا نوضح كيف تقدر تجمع هذه البيانات من مصادر مختلفة.
1. مصادر بيانات داخلية:
هنا نتكلم عن المعلومات اللي تمتلكها كجزء من الشركة، سواء كانت متعلقة بالمستخدمين (ملفات المستخدمين - الديموغرافية) أو سلوكهم على المنصة (Behavioral data). البيانات اللي عندك عن المستخدمين تعتبر كنز، وتقدر تستخدمها لفهم السلوكيات اللي بتؤدي للتغيرات اللي تتوقعها.
على سبيل المثال:
- كم عدد المستخدمين اللي يدخلون على صفحة معينة في موقعك؟
- هل فيه سلوكيات معينة مرتبطة بمعدل التحول؟
- هل في نمط معين للقرارات اللي يتخذها العملاء بناءً على نوع معين من المحتوى أو العروض؟
كل هذه المعلومات تساعدك في صياغة فرضية مدعومة بالبيانات، وتخلّيك قادر تتوقع الأثر المتوقع لأي تغيير بتسويه. خصوصا لما يكون موجود عندك فترة جيدة من التتبع تقدر من خلالها تشوف تطور معدلات التحول على مدار التغييرات اللي تساعدك.
2. مصادر بيانات خارجية - محلية:
البيانات الخارجية تعتبر مصدر ممتاز لدعم فرضيتك. لمجرد المثال والتغيير، خلينا نفترض انك شركة في مجال العقار في السعودية، عندك مصادر مفتوحة تقدر تستعين فيها مثل:
- التعداد السكاني اللي يصدر من هيئة الاحصاء (هنا).
- مؤشر إيجار اللي يصدر من الهيئة العامة للعقار وفيه الكثير من البيانات عن سوق الايجار العقاري في المملكة (هنا).
- البورصة العقارية اللي تقدم من وزارة العدل وهي منصة تعطيك بشكل حي عمليات البيع والشراء العقارية في المملكة (هنا).
هذه كلها أمثلة لبيانات متاحة مجانًا تقدر توظفها لفهم السوق أو جمهورك بشكل أفضل، ويوجد مصادر مشابهة تقريبا يمكن الاستناد عليها لكل مجال؛ نصيحتي خليك دائما متطلع عليها وعندك آخر التحديثات منها.
3. مصادر بيانات خارجية - عالمية:
أحيانًا حتى لو ما كان عندك بيانات محلية كافية، ممكن تستفيد من تقارير دولية وتحلل البيانات العالمية اللي تقدر تسقطها على منتجك. مثلًا لو شركتك ما تقدم خدمات في أمريكا، تقارير شركات مثل ZipRecruiter وHired ما زالت تعتبر مرجع قوي تقدر من خلاله تفهم اتجاهات سوق التوظيف العالمية وتحدد قراراتك المحلية بناءً عليها.
هذه التقارير، حتى لو كانت موجهة لسوق مختلف، تقدر تعطيك فهم أعمق للسوق أو الجمهور اللي تحاول تستهدفه، وتساعدك في بناء توقعات أدق لفرضياتك.
وممكن فعلا يفاجأك كيف سلوك بعض المستخدمين متشابه بغض النظر عن المنطقة الجفرافية، بحكم ان الألم والقيمة المضافة من المنتجات متشابهة.
الفكرة الأساسية هي أنك تقدر تستند على البيانات المتاحة في كل مكان عشان تبني فرضياتك على أساس صلب، وما تخلي أي قرار ينبني على مجرد إحساس أو تخمين عشوائي.
قبل ما نكمل، كلمة سريعة عن ذكر سبب التحسن وأهميته 🗣️
طريقة الصياغة اللي عرضناها الى الآن تحتوي على 3 اجزاء رئيسية، الأول يتكلم عن التغيير المراد تطبيقة، وفي القسم اللي فوق اتكلمنا عن كبر التغيير المتوقع وكيف ممكن نتنبأ به بشكل جيد؛ ولكن حتى الآن ما ناقشنا ولا شيء بخصوص الجزء الثالث، ذكر سبب التحسن او التغيير المراد تقصيه من الفرضية.
التواصل
السبب الرئيسي من التغيير فيه تفاصيل كثيرة. خلينا ناخذ الفرضية اللي كتباناها عن سكيلرز فوق ونوضح عليها الفكرة
من هنا، نشوف اننا نفترض ان السبب الرئيسي من التغيير هو ان المتقدمين على الوظائف يهمه انواع الوظائف بشكل أولي. ممكن تسأل، ليش هذه نقطة مهمة؟ السبب الرئيسي من ذكر هذه النقطة هو شيئين:
الأول: احنا الآن نفترض شيء عن شخصية المستخدمين لمنصتنا واللي نسعى اننا نفهم بشكل أفضل دائما. ولو طلع هذا الافتراض صحيح، من المفيد جدا اننا نشوف فين ممكن نطبق هذا التحديث لنوع المستخدمين اللي نحاول نوصل له بحلولها ومنتجاتنا ونعتقد انه نقدر نضيف له قيمة كبيرة.
الثاني: السبب في التغيير حساعد في تقنين الكثير من التغييرات والتفاصيل الفنية لتطبيق هذا الاختبار. على سبيل المثال، لازم نكون واضحين في المحتوى الكتابي على الـhero section بابراز الوظائف وتسليط الضوء عليها. وهذا يسهل التواصل بشكل كبير بين اعضاء الفريق، لانه واضح لنا سبب التغيير هذا.
وهذه سببين على الأقل توضح لنا سبب عدم تخطي هذا الجزء المهم من أي فرضية نكتبها، بحيث انها ممكن تسهل علينا التواصل كثيرا وتساعدنا في تحديد وفهم العامل اللي بنختبره بشكل محدد.
هل ينفع تكون فرضيتي مجرد “احساس”؟ 🤔
دائمًا ما يقال إن “البيانات هي الملك”، ولكن ما نقدر نهمل دور الحدس في بناء الفرضيات واتخاذ القرارات، خصوصًا في بيئات تتطلب التحرك بسرعة مثل تطوير المنتجات. الحدس قد يكون الشرارة الأولى لأي فرضية أو اختبار جديد، لأنه ينبني على تجارب سابقة، نجاحات أو حتى إخفاقات، أو محادثات مع خبراء في المجال.
الحدس كأداة قوية 🗡️
الحدس، بكل بساطة، هو عبارة عن معلومات خام كونتها بمرور الوقت من التعلم والخبرة، سواء كانت مباشرة من المواقف اللي مرت عليك أو من مصادر خارجية مثل قراءات أو نقاشات مع زملاء العمل. الحدس في هذه الحالة يوجهك لأفكار جديدة ويحدد الأولويات بشكل أولي. لكن، النقطة المهمة هي أن الحدس وحده ما يكفي.
بعد ما تنطلق من حدس معين، تقدر تستخدم البيانات والبحث لتأكيد هذا الحدس أو لتصحيحه. البيانات هنا تلعب دور المرآة، إما تأكد لك أن الفرضية صحيحة أو تظهر لك العكس بسرعة، وهذا مفيد جدًا لأنه يساهم في اتخاذ قرارات مبنية على أدلة واضحة.
طيب لو ما قدرت ألاقي بيانات تدعم او تنفي الفرضية؟ 📉
في بعض الأحيان، البيانات المطلوبة للتحقق من فرضية معينة قد لا تكون متاحة بسهولة. هنا، قد يكون الحدس هو الحل الأنسب في اتخاذ القرار. ومع ذلك، من المهم أن تتأكد من أنك قمت بواجبك في البحث عن البيانات وتوظيف الأمثلة الموازية أو التجارب السابقة لتقوية حدسك.
الحدس لحاله ما يكفي ليكون خطة دائمة. لكن في حالة عدم وجود بيانات كافية، قد يكون القرار بناءً على الحدس هو الخيار الأفضل، بشرط أنك تكون متأكد أنك استنفذت جميع الطرق المتاحة لتعزيز فرضيتك ببيانات قوية.
لا تتعصب لحدسك 😤
الحدس يظل مجرد فرضية إلى أن يتم إثباتها أو نفيها (حتى وان لقيت بيانات أولية). وهذا يعني أن الالتزام بحدس معين بشكل متعصب دون الانفتاح على البيانات والتحليل قد يعيق تقدمك. عدم التعصب هنا أمر ضروري، والهدف في النهاية ليس أن تكون “صح” أو “خطأ”، بل أن توصل لفهم أعمق لتحديات منتجك وتقدم حلول تستند على نتائج واضحة.
في النهاية، البيانات سلاح ذو حدين. يمكن استخدامها لدعم أي قصة، ولكن الأهم هو تسخيرها بطريقة تدعم الفريق والمنتج بشكل صحيح. لا تقع في فخ “ملكية الأفكار” والتعصب لرأيك، لأن هذه العقلية قد تصبح عدو لك وللفريق على المدى الطويل. 🙌🏻
معرفة الجمهور هو نصف الحل، و التنفيذ هو النصف الآخر 🧠
واحدة من أكبر الأخطاء اللي ممكن يقع فيها أي فريق هو التفكير إنهم يعرفون جمهورهم بشكل كافي. ممكن تكون عندك سنوات من الخبرة في مجال معين، وممكن تكون حاصد نجاحات من قبل، ولكن الجمهور يتغير بشكل مستمر، واحتياجاته تختلف مع مرور الوقت، ومشاكله تتطور. فهم الجمهور هو عملية مستمرة ومركبة، وليست مجرد نقطة نهاية توصلها في لحظة معينة.
النصف الأول من الحل هو إنك تعرف جمهورك بشكل دقيق، تفهم احتياجاته وتوجهاته وسلوكه الحقيقي، ولكن النصف الثاني والمكمل له هو التنفيذ. بدون تنفيذ دقيق للتجارب والاختبارات اللي تبنيها على هذا الفهم، تكون مجرد نظريات ما لها وزن في الواقع العملي. كل فرضية تقوم على أساس فهم الجمهور يجب أن تُختبر بطريقة عملية، سواء عن طريق اختبارات سريعة، أو حتى تجارب موسعة لقياس فعالية الفرضية، مثل ما حنشوف مع بعض في المقالة القادمة من السلسلة (تحميس).
فالجمهور ممكن يكون نقطة انطلاق قوية لأي فكرة أو منتج، والتنفيذ الذكي والمبني على بيانات هو اللي يحدد نجاحك الفعلي.
أنواع المستخدمين المتأثرين بالتجربة: كيف تحدد تستهدف مين؟ 🥅
عندما تبدأ في اختبار تجربة جديدة أو تعديلات على منتجك، واحد من أهم القرارات التي عليك اتخاذها هو تحديد من هم المستخدمين الذين ستستهدفهم. المستخدمون ليسوا جميعًا على نفس المستوى من حيث الخصائص، والتفضيلات، وطريقة التفاعل مع المنتج. فهم هذا التنوع هو ما يجعل عملية تقسيم المستخدمين (Cohorting) أحد أهم العناصر لنجاح أي تجربة.
فن تقسيم المستخدمين 🎨
عملية تقسيم المستخدمين هي فن بحد ذاتها. ممكن يبدو للوهلة الأولى لنا أنها عملية بسيطة تعتمد على فصل المستخدمين وفقًا لعوامل ثابتة، ولكن، فيه عدد لا نهائي من الطرق التي يمكنك من خلالها تقسيم جمهورك. القدرة على اتخاذ القرارات الصحيحة هنا تأتي من فهمك العميق للمنتج، والاشياء اللي تؤثر على سلوك المستخدمين فيه.
التقسيم ممكن يكون مبني على عوامل ديموغرافية، مثل العمر والجنس، أو على عوامل سلوكية تتعلق بكيفية استخدام المنتج. وفي الحالتين، من المهم أن نتمتع بالحكمة في تقسيم المستخدمين بحيث تكون لدينا رؤية واضحة عن كل مجموعة. ومن المهم اننا نكون قادرين على مراقبة هذه المجموعات طول الوقت عن طريق بنيتنا التحتية والادوات اللي نستخدمها، والتأكد من أن جميع التقسيمات ممثلة بشكل كافٍ أثناء اختبار الفرضيات، حتى نضمن أن النتائج تمثل الحقيقة.
بعض الطرق الشائعة لتقسيم المستخدمين 🕺
عوامل ديموغرافية، واللي تكون مدخلة من المستخدم نفسه في العادة او تكون معلومة مكتسبة عنه، ولا تتأثر او يمكن نستنتجها من سلوكه، مثلا:
- الأعمار: تختلف التجربة بالنسبة لمستخدمين في عمر الشباب عن كبار السن، سواء في كيفية تفاعلهم مع التكنولوجيا أو طريقة استخدامهم للمنتج.
- المنصة التي وصلوا من خلالها لصفحة الهبوط (عن طريق UTM): تختلف التوقعات للمستخدمين بناءً على مصدر دخولهم للمنتج؛ هل جاءوا من إعلان فيسبوك، بحث جوجل، أو من رابط مباشر؟
- الأجهزة المستخدمة: هل يدخل المستخدم من هاتف ذكي أم من جهاز مكتبي؟ هذه معلومة قد تؤثر بشكل كبير في تفاعله مع المنتج، خاصة إن كانت التجربة تختلف بين الأجهزة.
على سبيل المثال، في سكيلرز، عندما يسجل المستخدم بحساب شركة، يهمنا أن نعرف مجال الشركة. تجربة المستخدم ومحتوى المنتج يمكن أن يتغير بشكل كبير بناءً على ما إذا كانت الشركة تقنية أو شركة تملك سلسلة مطاعم، لأن الوعي التقني والمحفزات تختلف بين هذه النوعين.
عوامل سلوكية، واللي تكون بشكل اساسي تتمحور حول طريقة سلوك المستخدم في داخل المنتج، والخواص اللي تشده والخواص اللي ما يجد منها قيمة عالية، مثال:
- أول صفحة يزورها المستخدم: الصفحة الأولى التي يراها المستخدم تعطي انطباعًا مبدئيًا وتوجه تجربة الاستخدام بأكملها.
- أول خدمة يجربها المستخدم بعد التسجيل: تفضيل الخدمة الأولى يمكن أن يعكس احتياجات المستخدم.
- مدة الجلسة الأولى أو متوسط مدة الجلسات: تعطيك فكرة عن مدى اندماج المستخدم مع المنتج.
- الصفحات التي يزورها أو يتجنبها المستخدم: هذه المؤشرات تساعدك في فهم اهتماماته وما إذا كان يجد المنتج جذابًا.
- مدة الجلسة الأولى: متى يغادر المستخدم الجلسة؟ هل يتوقف بعد وقت قصير، أم يستمر لفترة طويلة؟
الفصل بين هذه الأنواع من المستخدمين، خصوصًا بين المستخدمين الجدد والقدامى، يلعب دورًا محوريًا. بعض التجارب قد تستهدف مستخدمين جدد فقط، مثل تجربة أول تفاعل لهم مع المنتج، بينما تجارب أخرى قد تحتاج إلى استثناء المستخدمين القدامى لضمان أن التغيرات التي تجريها تستهدف سلوكيات المستخدمين الجدد. هذا الفصل بين الأنواع المختلفة يساعد في إعطاء نتائج دقيقة وتحديد ما إذا كانت التغيرات إيجابية أو سلبية.
مثال من تجربة سكيلرز
عندما تحدثنا في الجزء السابق من المقالة عن تغيير محتوى صفحة الهبوط من عرض توصيات من مرشحين سابقين إلى عرض وظائف حقيقية على المنصة، تقسيم المستخدمين كان عاملًا رئيسيًا في اختبار هذه الفرضية. في هذه الحالة، ركزنا على تقسيم المستخدمين بناءً على نوع المستخدم (هل مهتم بالمسار السريع او المعسكرات التدريبية؟)، وغيرها من المتغيرات اللي سمحت لنا نفهم سلوك الانواع المختلفة من تقسييمات المستخدمين.
هذا التحديد سمح لنا بفهم تأثير التغيير بشكل أكثر دقة، وكيف يتفاعل كل نوع من المستخدمين مع التجربة الجديدة.
نقطة البداية في التجارب: كيف نعرفها وهل صح نثبتها؟ 🤔
لما نبدأ أي تجربة جديدة على منتج، من الضروري أن نحدد نقطة البداية بوضوح. هذه النقطة ليست مجرد أرقام سطحية نشوفها في لوحة أو تقرير معين، بل تمثل تحديد دقيق للبيانات الرئيسية المتعلقة بالمستخدمين وسلوكهم على المنتج. من دون هذا التحديد الواضح، بتصير نتائج التجربة مبهمة و/أو مضللة، مما يجعل اتخاذ القرارات مبني على أسس ضعيفة.
ليش نقطة البداية مهمة؟ ❓
فكرة نقطة البداية لبها هو في اننا نحتاج إلى مقارنة الأداء الحالي مع النتائج التي حتبان لنا بعد التغيير/الاختبار. عشان كدا، نحتاج نعرف الأرقام الأساسية، وهذه الارقام تختلف جدا من تجربة لتجربة ومنتج لمنتج، ولكن الاكيد هو ان من هذه الارقام هو الرقم المراد تأثيره بالتجربة في الجملة الثانية من فرضيتنا. و من الامثلة على الارقام الاساسية:
- عدد المستخدمين النشطين يوميًا
- معدلات التحويل (conversion rates) - لأي funnel يهمنا
- عدد العملاء اللي أشتروا/دفعوا/أشتركوا بالخدمة
- عدد العملاء اللي دفعوا أكثر من مره (retention rate)
- عدد المستخدمين اللي شافوا/استخدموا خاصية جديدة (adoption rate)
- …وغيرها الكثير هذه الأرقام تعطيك مرجع، أو baseline، تقيس عليه مدى تأثير التغييرات التي تطبقها أثناء الاختبار.
من الأمور المهمة أيضًا، أن تقسيم المستخدمين (cohorts) يكون واضح من البداية. كلما قسمنا المستخدمين بناءً على معايير محددة مثل الديموغرافيا أو سلوك المستخدم، يكون فهمنا لتأثير التغيير/التجربة على كل شريحة من المستخدمين أدق. وهذا يساعدنا على التأكد من أن التغييرات التي نشوفها ناتجة عن التجربة، وليس عن تغييرات ثانية حدثت في تركيب جمهورك أو في عوامل خارجية؛ وحنتكلم أكثر عن هذا النوع من المؤثرات في أنواع المتغيرات.
أدوات لفهم نقطة البداية بشكل أوضح 👀
شخصيا، انا شخص يكره الأدوات، خصوصا لو كانت مستخدمة أكثر من اللازم 😂، ولكن توجد أدوات ممتازة تساعدنا على فهم وتحليل بيانات المستخدمين بشكل عميق، مما يتيح لنا تثبيت نقطة البداية بسهولة، ورصد أي تغييرات في سلوك المستخدم بمرور الوقت.
الأدوات السلوكية 🤸🏻♂️
إذا كانت الأرقام التي تهتم بها سلوكية، فإن أداة مثل Mixpanel هي خيار مثالي. Mixpanel يوفر لك رؤية دقيقة حول تفاعل المستخدم مع المنتج، وايش التغييرات السلوكية التي تحدث له. استخدامها يمكن أن يكون مفتاحًا لفهم ما إذا كانت التغييرات التي تراقبها تعود إلى التجربة أو عوامل أخرى.
الأدوات الديموغرافية 🧕🧔♂️
إذا كانت الأرقام الديموغرافية هي الأهم، فممكن نرجع إلى أدوات مثل Google Analytics أو Google AdSense او الـsocial media ads manager لشبكات التواصل الاجتماعي اللي تعلن فيها عن منتجك لفهم مصدر المستخدمين وتوزيعهم. تأكد دائما من استخدام UTM tags على كل رابط تنشره عشان تعرف بدقة من فين وصل المستخدم وايش أثر على وصوله إلى منتجك.
أما لو كان المستخدم قد تفاعل سابقًا مع منتجك، ممكن نوصل إلى بيانات أكثر تفصيلًا من قاعدة بيانات المنتج. Metabase مثل لأداة رائعة لهذا الغرض، تسمح لنا بكل سهولة من استخراج تقارير تفصيلية حول ملفات المستخدمين بداخل المنتج (وبعض الأحيان سلوكهم المحفوظ بشكل مستمر - persistent change)، مع الأخذ بالاعتبار أنها تتطلب معرفة جيدة بـ SQL.
لو تحتاج مدخل سريع لقواعد البيانات وانواعها واستخداماتها، كتبت مقالة ممكن تكون مفيدة لك هنا :)
تأكد من أن البيانات واقعية 📊
نقطة مهمة في تثبيت الـ baseline هي أن تكون الأرقام التي تعتمد عليها واقعية وتمثل الوضع الطبيعي. في بعض الأحيان قد يحدث ارتفاع مؤقت في أعداد المستخدمين أو معدلات التحويل بسبب عوامل مؤقتة مثل حملة إعلانية مكثفة، ولا فعالية سويناها مع عملاءنا. هذا الشي ممكن يتسبب في صعوبة الاعتماد على هذه الأرقام كنقطة بداية.
لحل هذه المشكلة، من الممكن أن تأخذ متوسط أرقام عدة أسابيع أو أشهر، أو أن تقوم بتصفية المستخدمين القادمين من حملات معينة عن طريق استخدام UTM tags. الهدف هو التأكد من أن الأرقام التي تعتمد عليها في بناء الفرضية تمثل الوضع الحقيقي والطبيعي للمستخدمين.
بناء funnel واضحة 🔎
قبل أن تبدأ في الاختبار، تأكد من أن لديك قمع (funnel) واضح ومحدد لعملائك ومتفق عليه انت والفريق. هذا القمع لازم يكون جاهز قبل بدء التجربة، بحيث يمكن من رصد نقاط التحول والتغييرات في سلوك المستخدمين بدقة وسهولة. الفهم الواضح للقمع يساعدك على مراقبة تحرك المستخدمين بين مراحله وفهم العوامل التي تؤثر على هذا التحرك.
ايش أنواع المتغيرات اللي مهم أعرفها فبل ما ابدأ؟ ⛅️
في التجارب المتعلقة بالمنتجات، فيه ثلاثة أنواع رئيسية من المتغيرات اللي لازم تكون واعي فيها من البداية: المتغيرات المستقلة (independent variables)، المتغيرات التابعة (dependent variables)، والمتغيرات المُربكة (confounding variables).
الوعي بتأثير كل نوع من المتغيرات وفهم دوره في التجربة ضروري عشان نكون دائما مستوعبين ايش اللي بيصير في بياناتنا. والآن، خلينا نكتشف كل واحد من هذه الأنواع بشكل أعمق.
المتغيرات المستقلة (Independent Variables) 🧍♂️
المتغيرات المستقلة هي العناصر اللي أنت تغيرها وتتحكم فيها في التجربة. هذه المتغيرات هي اللي تحاول اختبار تأثيرها على سلوك المستخدمين أو أداء المنتج. على سبيل المثال، إذا كنت تجرب تغيير واجهة المستخدم في تطبيق جوال، فواجهة المستخدم هي المتغير المستقل.
أهمية الوعي بالمتغيرات المستقلة: من المهم أن تعرف بالضبط ما هي المتغيرات التي تتحكم فيها وتغيرها حتى تستطيع قياس تأثيرها بدقة. إذا كان عندك أكثر من متغير مستقل في التجربة، فالتحدي يكون في فصل تأثير كل واحد منها عن الآخر. ولهذا السبب حاول دائما انك تبدأ بتغيير متغير واحد فقط، حتى تقدر تقيّم أثره بشكل أوضح، ثم تُضيف متغيرات إضافية لاحقًا لو احتجت.
المتغيرات التابعة (Dependent Variables) 🚶♂️🚶
المتغيرات التابعة هي النتائج اللي تحصل بسبب التغيير في المتغيرات المستقلة. خليني اقولها بطريقة ثانية 😂، هذه المتغيرات هي اللي تحاول قياسه بعد ما تطبق التغيير. في مثال تغيير واجهة المستخدم، قد تكون المتغيرات التابعة هي معدل التفاعل مع الواجهة الجديدة، أو معدل البقاء (retention rate) للمستخدمين.
أهمية الوعي بالمتغيرات التابعة: إذا كنت ما تعرف بالضبط ايش النتائج التي تسعى إلى قياسها، فإن التجربة غير محددة و غامضة، وفالغالب الموضوع هذا تقدر تعالجة من الفرضية. ضروري تكون تقيس هذه المتغيرات بدقة، وتكون قادر تفسر التغيير لما يصير.
المتغيرات المُربكة (Confounding Variables) 🫠
المتغيرات المُربكة هي العوامل التي تؤثر على المتغيرات التابعة بطريقة غير مقصودة وغير ملاحظة. هذه المتغيرات تُعتبر خطيرة لأنها ممكن تخلينا نظن أن التغيير في المتغير المستقل هو السبب في النتائج اللي نشوفها، بينما السبب الحقيقي يكون شيئًا آخر تمامًا.
مثلا، لو كنا مسويين اختبار على تغييرات في نموذج التسجيل في المنتج، وفي نفس الوقت بدأنا حملة اعلانية لليوم الوطني، حيكون صعب جدا علينا اننا نعرف لو الزيادة او النقصان في الـconversion rate يكون بسبب التغيير في نموذج التسجيل ولا الحملة الاعلانية.
أهمية الوعي بالمتغيرات المُربكة: فهم المتغيرات المُربكة والتحكم فيها هو جزء مهم من أي تجربة ناجحة. وأصعب وأخطر موضوع فيها هو انها احيانا صعبة التحديد، فحاول دائمًا انك تكون على علم بوجودها وتعمل على تقليل او عزل هذه المتغيرات حتى لا تشوش على نتائج التجربة. تقدر تستخدم مجموعات تحكم (control groups) أو تقسيم التجربة بطريقة تسمح بمراقبة تأثير هذه المتغيرات بشكل مستقل عن المتغيرات المستقلة التي تختبرها.
الجزء الثالث للسلسلة: كيف أعرف متى ابدأ ومتى اوقف اختباري بثقة؟ 🤓
في الجزء القادم من السلسلة، حنتكلم عن خطوة مهمة جدًا لأي تجربة: تحديد حجم العينة (Sample Size) وكيف نعرف العدد المناسب للمستخدمين اللي نحتاجهم عشان نضمن نتائج دقيقة. حنناقش أيضًا متى نبدأ ونوقف الاختبار بطريقة تضمن إننا ما نخسر فرص أو نقع في قرارات مستعجلة.
بعدها، حنستعرض تقسيم المستخدمين (Cohorts) بشكل أكثر عدالة باستخدام تكنيكات مثل التقسيم الطبقي (Stratification) وغيرها، اللي حتساعدنا نخلي التجربة أكثر توازن وواقعية. لسى ما خلصنا، والجزء القادم (واللي بعده) حيقربونا من اننا نعرف كيف نسوي اختبارات في المنتج مبنية على منهجية صحيحة وممكن اننا ندافع عنها. 🫡
شكر خاص لزميلي الخرافي عبدالرحمن الدعيج لقراءة المسودات من هذه السلسلة ومساعدتي على تحسينها
حاكون ممتن لو ساعدتني على نشر العمل هذا عن طريق ارسال المدونة لاحد ممكن يستفيد منها، فالاخير الهدف هو نشر محتوى عربي تقني بجودة عالية مجانا؛ مساعدتك لي في هذا الهدف يعني لي الكثير. 🐳🍉
//غوني
اترك تعليق