في الجزء الأول، بدأنا بمقدمة عن دور مدير المنتجات في الفرق التقنية، و تطرقنا لكيف نكتب الفرضيات بشكل صحيح. إضافة على ذلك، اتكلمنا عن كيف الاختبارات تساعد في إتخاذ القرار، وبعض أطر العمل اللي تساعد في تحديد الأولويات.

في هذا الجزء، حنتكلم عن الإختبارات/التجارب بشكل أعمق وأشمل. بعد زيارة أعمق لجزئية الفرضيات، حندخل في رحلة إنشاء إختبارات في المنتج عن طريق تحديد المستخدمين المتوقع أنهم يشكلوا العينة المُجرّبة لإختبار منتجنا. بعدها، حنستكشف طرق إطلاق وإيقاف الإختبارات، وكيف ممكن نطلع باستنتاجات صحيّة وعلمية عن إختبارات منتجنا.

المقالة طويلة ومليئة بالمعلومات، فخلينا ندخل فالموضوع بدون ما أكثر عليكم في المقدمة. 🚀

الفرضيات، مره ثانية 🔂

بعد ما تكلمنا في الجزء الأول عن الفرضيات ودورها الأساسي في إدارة المنتجات، خلينا هنا نعيد النظر فيها لتوضيح بعض النقاط التي قد تكون لم تحظى بحقها من التفصيل.

الفرضيات هي حجر الأساس الذي نبدأ منه كل تجربة، ولازم تكون فرضياتنا مدعومة بتفكير منطقي وبيانات واضحة، ليس مجرد شعور أو إحساس (بقدر المستطاع 😉).

مراجعة سريعة

بناء الفرضيات هو الخطوة الأولى في رحلة تحسين منتجك. الفرضية القوية تكون بمثابة البوصلة اللي توجه الفريق، بحيث توضح بالضبط إيش التغيير اللي نحتاج نسويه وليش متوقعين أنه راح يحدث أثر إيجابي، ويطلب مننا ذكر حجم هذا الأثر المتوقع. كما ذكرت في المقالة السابقة، الفرضيات هي الطريقة المستخدمة لتحويل التخمين إلى خطة واضحة، ومدعمة بالبيانات.

ذكرنا إطار مهم جدًا يساعدنا في صياغة أي فرضية:

  • If [الإجراء أو التغيير المقترح]: إيش الفعل اللي مخططين نسويه؟
  • Then [النتيجة المتوقعة]: إيش التغيير اللي راح نلاحظه بعد هذا الإجراء؟
  • Because [السبب أو الافتراض الأساسي]: ليش نتوقع هذا التغيير؟

وخلينا نشوف كيف فعلا ممكن نستخدم هذه الصياغة في كتابة فرضية.

مثال فرضية جديدة 📝

حأستخدم سكيلرز | Scalers (دعاية مبررة :) ) في هذا المثال. لنفترض اننا نناقش الـhero section في صفحة الهبوط (landing page) بالنسبة للمرشحين. وكان فيه فكرتين حلوة:

  1. الأولى تقول - وهي الوضع الحالي-: المرشحين سيكون لديهم ثقة أكبر ،سيكون لديهم رغبة بالتسجيل لو وجدوا تجارب مرشحين آخرين مثلهم مروا بالتجربة (testimonials او توصيات)
  2. الثانية تقول: المرشحين يبحثوا في سكيلرز عن وظائف جذابة، لو استطعنا إبراز وظائف جيدة، ستصل القيمة التي يحثوا عنها وسيسجلوا (showcase value)

الآن كل الأفكار جيدة، وممكن نفس الشخص يغيّر رأيه بينهم 5 مرات في نفس الأسبوع. فهذه نقطة حوار جميلة جدا، وهذه بعض الخيارات على كيف ممكن ناخذ القرار:

  1. ندخل في غرفة اجتماعات ونشوف مين يقدر يقنع الثاني (احيانا يصير النقاش حامي 🔫)
  2. نستعين بهيكل الكيان ونروح لأعلى شخص مشترك بين الطرفين المختلفين في الرأي ونخليه ياخذ القرار
  3. نسأل عدد معين من المستخدمين سواء بإتصال هاتفي او غيره، ونشوف ايش رأي أول 11 مستخدم نتصل عليهم (العدد فردي قصدًا حتى نمحي فرصةالتعادل 👀)

كلها طرق قد تؤدي الغرض، ولكن ولا واحد فيها يستعين ببيانات كافية و يجعلنا واثقين من قرارنا. ففي الخيار الثاني، متخذ القرار شخص قد ما تكون عنده الصورة كاملة وله رأيه وتحيزاته. أقرب حل بالنسبة لي هو الثالث، والمثير للاهتمام في الموضوع ان إستبيان المستخدمين يعتبر إختبار هو بذاته، ولكن التطبيق هنا غير سليم لأن العينة التي تم سؤالها (11 مستخدم) ليست قريبة أبدا من تمثيل كل العينات التي تدخل صفحة الهبوط. أما الخيار الأول فهو غير صحي لأسباب كثيرة.

اذا، الحل الأسلم لنا هو اننا نقوم بعمل إختبار (A/B test في هذا السيناريو)، وحنبدأ بصياغة الفرضية، خلينا نراجع طريقة الصياغة مره كمان: hypothesis phrasing template

والآن نشوف كيف نطبقها على المثال الموجود فوق: hypothesis phrasing example

ممتاز، الآن صار عندنا تصور واضح عن كيف نكتب فرضيات، و جربنا العملية على مشكلتين واجهتنا، الأولى عن معدل الترشيح والثانية عن الـhero section في صفحة الهبوط.

ولكن، في سؤال وجودي ما جاوبناه. لما كتبنا في فرضيتنا أن معدل التحسن من المفترض يزيد بنسبة 10%، النسبة هذه من فين طلعت؟ هل هي تخمين؟ ولا يمكن استنتاجها بشكل معين؟ Hypothesis conversion خلينا نتعمق أكثر ونكتشف…

كيف تطلع التوقعات لفرضيتك؟ 📊

لما تحدد التوقعات الخاصة بفرضيتك، ما يفضل تخليها مجرد إحساس أو تخمين غير مدروس. لازم تعتمد على بيانات موثوقة (قدر الإمكان) عشان تدعم قرارك. وخلينا نوضح كيف تقدر تجمع هذه البيانات من مصادر مختلفة.

1. مصادر بيانات داخلية:

هنا نتكلم عن المعلومات التي تمتلكها كجزء من الكيان الذي تعمل فيه، سواء كانت متعلقة بالمستخدمين (ملفات المستخدمين - الديموغرافية) أو سلوكهم على المنصة (Behavioral data). البيانات التي بحوزتك عن المستخدمين تعتبر كنز، وتقدر تستخدمها لفهم السلوكيات التي قد تؤدي للتغيير الذي تبحث عنه.

على سبيل المثال:

  • كم عدد المستخدمين الذين يدخلون على صفحة معينة في موقعك؟
  • هل توجد سلوكيات معينة مرتبطة بمعدل التحول؟
  • هل هناك نمط معين للقرارات التي يتخذها العملاء بناءً على نوع معين من المحتوى أو العروض؟

كل هذه المعلومات تعتبر عوامل تساعدك في صياغة فرضية مدعمة بالبيانات، وتجعلك قادر تتوقع الأثر المتوقع لأي تغيير تطلقه. خصوصا عند وجود مدة جيدة من التتبع، تستطيع من خلالها مراقبة تطور معدلات التحول على مدار التغييرات التي أطلقتها.

2. مصادر بيانات خارجية - محلية:

البيانات الخارجية تعتبر مصدر ممتاز لدعم فرضيتك. لمجرد المثال والتغيير، خلينا نفترض انك شركة في مجال العقار في السعودية، عندك مصادر مفتوحة تقدر تستعين فيها مثل:

  • التعداد السكاني اللي يصدر من هيئة الاحصاء (هنا).
  • مؤشر إيجار الذي يصدر من الهيئة العامة للعقار وفيه الكثير من البيانات عن سوق الايجار العقاري في المملكة (هنا).
  • البورصة العقارية التي تقدم من وزارة العدل، وهي منصة تعطيك عمليات البيع والشراء العقارية في المملكة بشكل حي (هنا).

هذه أمثلة لبيانات متاحة مجانًا تستطيع توظيفها لفهم السوق أو جمهورك بشكل أفضل، ويوجد مصادر مشابهة يمكن الاستناد عليها لكل مجال؛ نصيحتي خليك دائما متطلع عليها وعندك آخر التحديثات منها.

3. مصادر بيانات خارجية - عالمية:

أحيانًا حتى لو لم تتوفر لك بيانات محلية كافية، من الممكن أن تستفيد من تقارير دولية وتحلل البيانات العالمية التي يمكن إسقاطها على منتجك. مثلًا، في سكيلرز، تقارير شركات مثل ZipRecruiter وWorkable ما زالت تعتبر مرجع قوي نستطيع من خلاله فهم اتجاهات سوق التوظيف العالمية ونحدد قرارات منتجنا المحلي بناءً عليها.

هذه التقارير، حتى ولو كانت موجهة لسوق مختلف، تعطيك فهم أعمق للسوق أو الجمهور الذي تحاول تستهدفه، وتساعدك في بناء توقعات أدق لفرضياتك.

واستعد أن تتفاجأ من تشابه سلوك بعض المستخدمين، بغض النظر عن المنطقة الجيوغرافية، بحكم أن الألم والقيمة المضافة من المنتجات تتشابه في بعض الأحيان بشكل كبير.


الفكرة الأساسية هي أنك تستطيع أن تستند على البيانات المتاحة في كل مكان حتى تبني فرضياتك على أساس صلب، وتتجنب إتخاذ قرارات بناءً على مجرد إحساس أو تخمين عشوائي.

قبل ما نكمل، كلمة سريعة عن ذكر سبب التحسن وأهميته 🗣️

طريقة الصياغة التي عرضتها إلى الآن تحتوي على 3 أجزاء أساسية:

  1. الأول يتكلم عن التغيير المراد تطبيقة
  2. والثاني يوضح كبر التغيير المتوقع، وفي القسم السابق تطرقنا إلى كيف ممكن نتنبأ به بشكل جيد
  3. ولكن، وحتى الآن، ما ناقشنا ولا شيء بخصوص الجزء الثالث، ذكر سبب التحسن او التغيير المراد تحقيقه من الفرضية.

التواصل

ما هو السبب الرئيسي من التحسن؟ هل ممكن يكون مجرد ضربة حظ؟ خلينا ناخذ الفرضية التي سبق كتابتها عن سكيلرز فوق ونوضح عليها الفكرة. Scalers Hypothesis

من هنا، نرى أننا نفترض أن السبب الرئيسي من التغيير هو أن المتقدمين على الوظائف يهمهم أنواع الوظائف بشكل أول.

ممكن تسأل، “ليش هذه إشارة مهمة؟” إليك الأسباب: الأول: افتراضنا شيء عن شخصية المستخدم لمنصتنا، والتي نسعى دائما أن نفهمها بشكل أفضل. في حال تم قبول فرضيتنا وإثبات هذه الصفة، من المفيد جدا أن نبحث عن فرص أخرى يمكن تحسينها بهذه المعلومة الجديدة؛ وقد يغير بعض الأحيان في حملاتنا الإعلانية وطريقة إستقطاب هذه الشخيصة.

الثاني: معرفة السبب المتوقع لقيادة التغيير سيساعد بشكل كبير في تقنين الكثير من المتغيرات والتفاصيل الفنية لتطبيق هذا الاختبار. على سبيل المثال: قرار أن ما يقود الزيادة في معدل التحول هو بسبب نوعية الوظائف سيؤدي إلى تخصيص المحتوى الكتابي على الـhero section لخدمة هذا العامل، وهو التركيز على الوظائف وتسليط الضوء عليها؛ وهذا يسهل أيضا التواصل بشكل كبير بين أعضاء الفريق.

وهذه سببين توضح لنا أهمية هذا الجزء من أي فرضية نكتبها، بحيث تسهل علينا التواصل كثيرا وتساعدنا في تحديد وفهم العامل الذي بنختبره بشكل مكتوب وواضح.

هل ينفع تكون فرضيتي مجرد “إحساس”؟ 🤔

دائمًا ما يقال إن “البيانات هي الملك”، ولكن يصعب أن نهمل دور الحدس في بناء الفرضيات واتخاذ القرارات، خصوصًا في بيئات عمل وأدوار تتطلب التحرك بسرعة مثل تطوير المنتجات. الحدس قد يكون الشرارة الأولى لأي فرضية أو اختبار جديد. في نهاية اليوم، حدستنا يأتي من تجارب سابقة، نجاحات، إخفاقات، و محادثات مع خبراء في المجال.

الحدس كأداة قوية 🗡️

الحدس، بكل بساطة، هو عبارة عن معلومات خام تم تكوينها بمرور الوقت والتعلم والخبرة، سواء كانت مباشرة من المواقف التي مرت عليك، أو من مصادر خارجية مثل قراءات أو نقاشات مع خبراء في المجال وزملاء عمل. الحدس في هذه الحالة يوجهك لأفكار جديدة ويحدد الأولويات. لكن، النقطة المهمة هي أن الحدس وحده لا يكفي.

بعد ما تنطلق من حدس معيّن، يجب عليك أنك تبحر في مهمة البحث عن البيانات والحقائق التي تؤكد هذا الحدس أو تنفيه. البيانات هنا تلعب دور المرآة، إما تؤكد لك أن الفرضية صحيحة أو تظهر لك العكس بسرعة، وهذا مفيد جدًا لأنه يساهم في اتخاذ قرارات مبنية على أدلة واضحة كم غير إهدار وقت وجهد.

طيب لو ما وجدت بيانات تدعم أو تنفي فرضتي؟ 📉

في بعض الأحيان، البيانات المطلوبة للتحقق من فرضية معينة قد لا تكون متاحة بسهولة. هنا، قد يكون الحدس هو الحل الأنسب في إتخاذ القرار. ومع ذلك، من المهم أن تتأكد من أنك قمت بواجبك من حيث البحث عن البيانات وتوظيف الأمثلة الموازية أو التجارب السابقة لتقوية فرضيتك.

الحدس وحده لا يكفي ليكون خطة دائمة. لكن في حالة عدم وجود بيانات كافية، قد يكون القرار بناءً على الحدس هو الخيار الأفضل، بشرط أنك تكون متأكد أنك استنفذت جميع الطرق المتاحة لتعزيز فرضيتك ببيانات قوية.

لا تتعصب لحدسك 😤

الحدس يظل مجرد فرضية إلى أن يتم إثباتها أو نفيها (حتى وإن لقيت بيانات أولية). وهذا يعني أن الإلتزام بحدس معين بشكل متعصب دون الاستدلال بالبيانات والتحليل قد يعيق تقدمك. عدم التعصب هنا أمر ضروري، والهدف في النهاية ليس أن تكون “صح” أو “خطأ”، بل أن تتوصل إلى فهم أعمق لتحديات منتجك وتقدم حلول تستند على نتائج واضحة.

في النهاية، البيانات سلاح ذو حدين. يمكن استخدامها لرواية أي قصة، ولكن الأهم هو تسخيرها بطريقة تدعم الفريق والمنتج بشكل صحيح. لا تقع في فخ “ملكية الأفكار” والتعصب لرأيك، لأن هذه العقلية قد تصبح عدو لك وللفريق في المدى الطويل. 🙌🏻

معرفة الجمهور هو نصف الحل، و التنفيذ هو النصف الآخر 🧠

خطأ كبير ممكن يقع فيه أي فريق هو الاعتقاد أنهم على معرفة بجمهورهم بشكل كافي. قد تكون تمتلك محصلة سنوات طويلة من الخبرة في مجال معين، وقد تكون حاصد على نجاحات من قبل، ولكن الجمهور يتغير بشكل مستمر، واحتياجاته تختلف مع مرور الوقت، ومشاكله تتطور. فهم الجمهور هو عملية مستمرة ومركبة، وليست وجهة تصل لها بعد عمل شيء معين.

النصف الأول من الحل هو الإلمام الكافي بصفات، محفزات، منفرات، وشخصيات جمهورك بشكل عميق. أما النصف الثاني والمكمل هو التنفيذ.

بدون تنفيذ دقيق للتجارب والإختبارات التي تبنيها على هذا الفهم، تكون محاولاتك مجرد فرضيات ما لها وزن في الواقع العملي. كل فرضية تقوم على أساس فهم الجمهور يجب أن تُختبر، سواء عن طريق اختبارات سريعة، أو حتى تجارب موسعة لقياس فعالية الفرضية، مثل ما سنرى سوية المقالة القادمة من السلسلة.

فبعد فهم ومعرفة المستخدمين بشكل جيد، كونت نقطة إنطلاق قوية لأي فكرة أو منتج. والآن، سيكون عليك التنفيذ بشكل الذكي ومبني على أسس صحيحة لضمان نجاحك.

أنواع المستخدمين المتأثرين بالتجربة: كيف تحدد تستهدف مين؟ 🥅

عندما تبدأ في اختبار تجربة جديدة أو تعديلات على منتجك، واحدة من أهم القرارات التي عليك إتخاذها هو تحديد من هم المستخدمين الذين تستهدفهم. المستخدمون ليسوا جميعًا على نفس المستوى من حيث الخصائص، التفضيلات، وطريقة التفاعل مع المنتج.

فهم هذا التنوع هو ما يجعل عملية تقسيم المستخدمين (Cohorting) أحد أهم العناصر لنجاح أي تجربة.

فن تقسيم المستخدمين 🎨

عملية تقسيم المستخدمين هي فن بحد ذاتها. ممكن يبدو للوهلة الأولى لنا أنها عملية بسيطة تعتمد على فصل المستخدمين وفقًا لعوامل ثابتة. ولكن، يوجد عدد لا نهائي من الطرق التي يمكنك من خلالها تقسيم جمهورك. القدرة على التقسيم بشكل صحيح هنا يأتي من فهمك العميق للمنتج، والعوامل التي تؤثر على سلوك المستخدمين فيه.

التقسيم قد يكون مبني على عوامل ديموغرافية، مثل العمر والجنس، أو على عوامل سلوكية تتعلق بكيفية استخدام المنتج. وفي الحالتين، من المهم أن نتحلى بالحكمة في تقسيم المستخدمين بحيث تكون لدينا رؤية واضحة عن كل مجموعة. ومن المهم أن نكون قادرين على مراقبة هذه المجموعات طول الوقت عن طريق بنية تحتية أدوات تدعم هذا النوع من المراقبة بشكل سهل، والتأكد من أن كل قسم من أقسام المستخدمين (مثلا، ذكور وإناث) ممثل بشكل كافٍ أثناء إختبار الفرضيات، وهذا حتى نضمن أن النتائج تمثل الواقع.

بعض الطرق الشائعة لتقسيم المستخدمين 🕺

عوامل ديموغرافية، واللي تكون مُدخلة من المستخدم بذاته في العادة، أو تكون معلومة مكتسبة عنه، ولا تتغير أو يمكن استنتاجها (فالغالب) من السلوك على المنتج، مثلا:

  • الأعمار: تختلف التجربة بالنسبة لمستخدمين في عمر الشباب عن الكبار في السن، سواء في كيفية تفاعلهم مع التكنولوجيا أو طريقة إستخدامهم للمنتج.
  • المنصة التي وصلوا من خلالها لصفحة الهبوط (يمكن معرفة هذه المعلومة عن طريق UTM): تختلف التوقعات للمستخدمين بناءً على مصدر دخولهم للمنتج؛ هل وصلوا من إعلان في تك توك؟ بحث في جوجل؟ أم من رابط مباشر مشارك من مستخدم آخر قد يكون صديق؟
  • الأجهزة المستخدمة: هل يدخل المستخدم من هاتف ذكي أم من جهاز مكتبي؟ هذه معلومة قد تؤثر بشكل كبير في تفاعله مع المنتج، خصوصا إن كانت التجربة تختلف ما بين الأجهزة.

على سبيل المثال، في سكيلرز، عندما يسجل المستخدم بحساب شركة، يهمنا أن نعرف مجال الشركة (industry).

تجربة المستخدم ومحتوى المنتج يمكن أن يتغير بشكل كبير بناءً على ما إذا كانت الشركة تقنية أو شركة تملك سلسلة مطاعم، لأن الوعي التقني والمحفزات تختلف بين هذه النوعيات من أصحاب الأعمال.

عوامل سلوكية، والتي تكون بشكل أساسي تتمحور حول طريقة سلوك المستخدم في داخل المنتج، والخواص التي تشده ويجد منها قيمة عالية، مثال:

  • أول صفحة يزورها المستخدم: الصفحة الأولى التي يراها المستخدم تعطي انطباعًا مبدئيًا، وقد توجه الإستخدام بالكامل بحسب الخيارات الموجودة فيها.
  • أول خدمة يجربها المستخدم بعد التسجيل: تفضيل الخدمة الأولى يمكن أن يعكس احتياجات المستخدم.
  • مدة الجلسة الأولى أو متوسط مدة الجلسات: تعطي فكرة عن مدى إندماج المستخدم مع المنتج.
  • الصفحات التي يزورها (أو يتجنبها) المستخدم: هذه المؤشرات تساعدك في فهم إهتماماته.
  • مدة الجلسة الأولى: متى يغادر المستخدم الجلسة؟ هل يتوقف بعد وقت قصير، أم يستمر لفترة طويلة؟

الفصل بين هذه الأنواع من المستخدمين، خصوصًا بين المستخدمين الجدد والقدامى، يلعب دورًا محوريًا. بعض التجارب قد تستهدف مستخدمين جدد فقط، مثل تجربة أول تفاعل لهم مع المنتج. بينما تجارب أخرى قد تحتاج إلى استثناء المستخدمين القدامى لضمان أن الإختبارات التي نجريها تستهدف سلوكيات المستخدمين الجدد فقط. فمثلا، لا يهمنا سلوك المستخدم القديم في حال كانت التجربة تغير في نوعية أسئلة الـonboarding بعد التسجيل.

هذا الفصل بين أنواع المستخدمين يساعد في إعطاء نتائج دقيقة، وتحديد ما إذا كانت تجاربنا تؤثر بشكل إيجابي أو سلبي.

مثال من تجربة سكيلرز

تحدثنا في الجزء السابق من المقالة عن تغيير محتوى صفحة الهبوط من عرض توصيات من مرشحين سابقين إلى عرض وظائف حقيقية موجودة على المنصة، تقسيم المستخدمين كان عاملًا رئيسيًا في إختبار هذه الفرضية.

في هذه الحالة، ركزنا على تقسيم المستخدمين بناءً على نوع المستخدم (هل مهتم بالمسار السريع او المعسكرات التدريبية؟)، وغيرها من المتغيرات التي سمحت أن نفهم كيف يتعامل كل نوع من المستخدمين مع الـhero section الجديد.

هذا التحديد سمح لنا بفهم تأثير التغيير بشكل أكثر دقة، وكيف يتفاعل كل نوع من المستخدمين مع التجربة الجديدة.

نقطة البداية في التجارب: كيف نعرفها وهل صح نثبتها؟ 🤔

لما نبدأ أي تجربة جديدة في منتج، من المهم أن نحدد نقطة البداية بوضوح. هذه النقطة ليست مجرد أرقام سطحية نشوفها في لوحة أو تقرير، بل تمثل تحديد دقيق للبيانات الرئيسية المتعلقة بالمستخدمين وسلوكهم على المنتج.

فمثلا، في مثالنا السابق، معرفة التوزيع العمري للمستخدمين مهم. بالاضافة، معرفة توزيع الزائرين للموقع القادمين من مختلف الإعلانات أو القنوان إلى صفحة الهبوط، والمنتج أو الخدمة المهتمين فيها (تدريب، وظيفة، مجرد فضول). ومعرفة معدل التحول والرحلة لكل واحد من نوعيان المستخدمين هذه

من دون هذا التحديد الواضح، بتصير نتائج التجربة مبهمة و/أو مضللة.

ليش نقطة البداية مهمة؟ ❓

أهمية نقطة البداية تكمن في إننا نحتاج إلى مقارنة الأداء الحالي مع النتائج التي ستظهر لنا بعد التغيير/الإختبار. ولهذا السبب، نحتاج نعرف الأرقام الأساسية (أو اللي بدأنا فيها)، وهذه الارقام تختلف من تجربة لتجربة ومنتج لمنتج، ولكن الأكيد هو أن من هذه الارقام هو الرقم المراد تأثيره بالتجربة في الجملة الثانية من فرضيتنا. و من الامثلة على الارقام الاساسية:

  • عدد المستخدمين النشطين يوميًا
  • معدلات التحويل (conversion rates) - لأي funnel يهمنا
  • عدد العملاء اللي اشتروا/دفعوا/أشتركوا بالخدمة
  • عدد العملاء اللي دفعوا أكثر من مره (retention rate)
  • عدد المستخدمين اللي شافوا/استخدموا خاصية جديدة (adoption rate)
  • …وغيرها الكثير هذه الأرقام تعطيك مرجع، أو baseline، تقيس عليه مدى تأثير التغييرات التي تطبقها أثناء الاختبار.

من الأمور المهمة أيضًا، أن تقسيم المستخدمين (cohorts) يكون واضح من البداية. كلما قسمنا المستخدمين بناءً على معايير محددة مثل الديموغرافيا أو سلوك المستخدم، يكون فهمنا لتأثير التغيير/التجربة على كل شريحة من المستخدمين أدق. وهذا يساعدنا على التأكد من أن التغييرات التي نشوفها ناتجة عن التجربة، وليس عن تغييرات ثانية حدثت في تركيب جمهورك أو في عوامل خارجية؛ وحنتكلم أكثر عن هذا النوع من المؤثرات في أنواع المتغيرات.

أدوات لفهم نقطة البداية بشكل أوضح 👀

شخصيا، انا شخص يكره الأدوات، خصوصا لو كانت مستخدمة أكثر من اللازم 😂، ولكن تتوفر أدوات ممتازة تساعدنا على فهم وتحليل بيانات المستخدمين بشكل عميق، مما يتيح لنا تثبيت نقطة البداية بسهولة، ورصد أي تغييرات في سلوك المستخدم مع مرور الوقت.

الأدوات السلوكية 🤸🏻‍♂️

إذا كانت الأرقام التي تهتم بها سلوكية، فإن أداة مثل Mixpanel هي خيار مثالي. Mixpanel يوفر لك رؤية دقيقة حول تفاعل المستخدم مع المنتج، وايش التغييرات السلوكية التي تحدث له. استخدامها يمكن أن يكون مفتاحًا لفهم ما إذا كانت التغييرات التي تراقبها تعود إلى التجربة أو عوامل أخرى.

الأدوات الديموغرافية 🧕🧔‍♂️

إذا كانت الأرقام الديموغرافية هي الأهم، فممكن نرجع إلى أدوات مثل Google Analytics أو Google AdSense او الـsocial media ads manager لشبكات التواصل الاجتماعي اللي تعلن فيها عن منتجك لفهم مصدر المستخدمين وتوزيعهم. تأكد دائما من استخدام UTM tags على كل رابط تنشره عشان تعرف بدقة من فين وصل المستخدم وايش أثر على وصوله إلى منتجك.

أما لو كان المستخدم قد تفاعل سابقًا مع منتجك، ممكن نوصل إلى بيانات أكثر تفصيلًا من قاعدة بيانات المنتج. Metabase مثال لأداة رائعة لهذا الغرض، تسمح لنا بكل سهولة من استخراج تقارير تفصيلية حول ملفات المستخدمين بداخل المنتج (وبعض الأحيان سلوكهم المحفوظ بشكل مستمر - persistent change)، مع الأخذ بالاعتبار أنها تتطلب معرفة جيدة بـ SQL (أسمع أن الـcool kids حاليا كلهم حولوا إلى ClickHosue، لكن أنا ما جربته).

لو تحتاج مدخل سريع لقواعد البيانات وانواعها واستخداماتها، كتبت مقالة ممكن تكون مفيدة لك هنا :)

تأكد من أن البيانات واقعية 📊

نقطة مهمة في تثبيت الـ baseline هي أن تكون الأرقام التي تعتمد عليها واقعية وتمثل الوضع الطبيعي. في بعض الأحيان قد يحدث ارتفاع مؤقت في أعداد المستخدمين أو معدلات التحويل بسبب عوامل مؤقتة مثل حملة إعلانية مكثفة، ولا فعالية سويناها مع عملاءنا. هذا الشي ممكن يتسبب في صعوبة الاعتماد على هذه الأرقام كنقطة بداية.

لحل هذه المشكلة، من الممكن أن تأخذ متوسط أرقام عدة أسابيع أو أشهر، أو أن تقوم بتصفية المستخدمين القادمين من حملات معينة عن طريق استخدام UTM tags. الهدف هو التأكد من أن الأرقام التي تعتمد عليها في بناء الفرضية تمثل الوضع الحقيقي والطبيعي للمستخدمين.

بناء funnel واضحة 🔎

قبل أن تبدأ في الاختبار، تأكد من أن لديك قمع (funnel) واضح ومحدد لعملائك ومتفق عليه انت والفريق. هذا القمع لازم يكون جاهز قبل بدء التجربة، بحيث يمكن من رصد نقاط التحول والتغييرات في سلوك المستخدمين بدقة وسهولة. الفهم الواضح للقمع يساعدك على مراقبة تحرك المستخدمين بين مراحله وفهم العوامل التي تؤثر على هذا التحرك.

ايش أنواع المتغيرات اللي مهم أعرفها فبل ما ابدأ؟ ⛅️

في التجارب المتعلقة بالمنتجات، فيه ثلاثة أنواع رئيسية من المتغيرات اللي لازم تكون واعي فيها من البداية:

  • المتغيرات المستقلة (independent variables)
  • المتغيرات التابعة (dependent variables)
  • والمتغيرات المُربكة (confounding variables)

الوعي بتأثير كل نوع من المتغيرات وفهم دوره في التجربة ضروري عشان نكون دائما مستوعبين التأثير الحاصل على أرقامنا وسببه. والآن، خلينا نكتشف كل واحد من هذه الأنواع بشكل أعمق.

المتغيرات المستقلة (Independent Variables) 🧍‍♂️

المتغيرات المستقلة هي العناصر اللي أنت تغيرها وتتحكم فيها في التجربة. هذه المتغيرات هي التي تحاول إختبار تأثيرها على سلوك المستخدمين أو أداء المنتج.

على سبيل المثال، إذا كنت تجرب تغيير واجهة المستخدم في تطبيق جوال، فواجهة المستخدم هي المتغير المستقل.

أهمية الوعي بالمتغيرات المستقلة: من المهم أن تعرف بالضبط ما هي المتغيرات التي تتحكم فيها وتغيرها حتى تستطيع قياس تأثيرها بدقة. إذا كان عندك أكثر من متغير مستقل في التجربة، فالتحدي يكون في فصل تأثير كل واحد منها عن الآخر. ولهذا السبب حاول دائما انك تبدأ بتغيير متغير واحد فقط، حتى تستطيع تقيّم أثره بشكل أوضح، ثم تُضيف متغيرات إضافية لاحقًا لو أحتجت.

المتغيرات التابعة (Dependent Variables) 🚶‍♂️🚶

المتغيرات التابعة هي النتائج اللي تحصل بسبب التغيير في المتغيرات المستقلة.

خليني اقولها بطريقة ثانية 😂، هذه المتغيرات هي الرقم الذي تحاول قياسه بعد ما تطبق التغيير. في مثال تغيير واجهة المستخدم، قد يكون إحدى المتغيرات التابعة هو معدل التفاعل مع الواجهة الجديدة، أو معدل البقاء (retention rate) للمستخدمين.

أهمية الوعي بالمتغيرات التابعة: إذا لم تكن على وعي بالنتائج التي تسعى إلى قياسها، فإن التجربة غير محددة و غامضة، ،الجميل أننا نستطيع نعالج هذه المشكلة فقط بتحديد الفرضية بشكل جيد. ضروري تكون تقيس هذه المتغيرات بدقة، وتكون قادر تفسر التغيير لما يصير.

المتغيرات المُربكة (Confounding Variables) 🫠

المتغيرات المُربكة هي العوامل التي تؤثر على المتغيرات التابعة بطريقة غير مقصودة و/أو غير ملاحظة. هذه المتغيرات تُعتبر خطيرة لأنها ممكن تجعلنا نعتقد أن التغيير في المتغير المستقل هو السبب في النتائج التي نراها، بينما السبب الحقيقي يكون شيئًا آخر تمامًا.

مثلا، لو كان إختبارنا يقوم بالتأثير على بعض حقول نموذج التسجيل في المنتج، وفي نفس الوقت بدأنا حملة اعلانية لليوم الوطني، سيكون صعب جدا علينا أن نعرف لو الزيادة أو النقصان في الـconversion rate كان بسبب التغيير في نموذج التسجيل أو الحملة الإعلانية.

أهمية الوعي بالمتغيرات المُربكة: فهم المتغيرات المُربكة والتحكم فيها هو جزء مهم من أي تجربة ناجحة. وأصعب وأخطر موضوع فيها هو أنها أحيانا صعبة التحديد، فحاول دائمًا أن تكون على علم بوجودها وتعمل على تقليل أو عزل هذه المتغيرات حتى لا تشوش على نتائج التجربة. تقدر تستخدم مجموعات تحكم (control groups) أو تقسيم التجربة بطريقة تسمح بمراقبة تأثير هذه المتغيرات بشكل مستقل عن المتغيرات المستقلة التي تختبرها.

الجزء الثالث للسلسلة: كيف أعرف متى أبدأ ومتى أوقف اختباري بثقة؟ 🤓

في الجزء القادم من السلسلة، حنتكلم عن خطوة مهمة جدًا لأي تجربة: تحديد حجم العينة (Sample Size) وكيف نعرف العدد المناسب للمستخدمين اللي نحتاجهم عشان نضمن نتائج دقيقة. حنناقش أيضًا متى نبدأ ونوقف الاختبار بطريقة تضمن إننا ما نخسر فرص أو نقع في قرارات مستعجلة.

بعدها، حنستعرض تقسيم المستخدمين (Cohorts) بشكل أكثر عدالة باستخدام تكنيكات مثل التقسيم الطبقي (Stratification) وغيرها، اللي حتساعدنا نخلي التجربة أكثر توازن وواقعية. لسى ما خلصنا، والجزء القادم (واللي بعده) يقربونا من أننا نعرف كيف نسوي اختبارات في المنتج مبنية على منهجية صحيحة وممكن أننا ندافع عنها. 🫡

شكر خاص لزميلي الخرافي عبدالرحمن الدعيج لقراءة المسودات من هذه السلسلة ومساعدتي على تحسينها

سأكون ممتن لو ساعدتني على نشر العمل هذا عن طريق إرسال المدونة لأحد ممكن يستفيد منها، فالأخير الهدف الرئيسي هو نشر محتوى عربي تقني بجودة عالية مجانا؛ مساعدتك لي في هذا الهدف يعني لي الكثير. 🐳🍉

//غوني

اترك تعليق