מחקר תצפיתי או ניסוי אקראי: מה באמת קובע את איכות הראיה?

נניח שקראתם שני מחקרים על אותו טיפול. באחד השתתפו מעט אנשים שחולקו לקבוצות בהגרלה. בשני נבדקו אלפי מטופלים שקיבלו את הטיפול במרפאות רגילות. התוצאות שונות, ואתם רוצים לדעת על מי לסמוך.

התשובה המהירה היא לבחור בניסוי האקראי. יש לכך סיבה טובה: הקצאה אקראית מגינה מפני בעיה יסודית בהשוואה בין אנשים. אבל לפני שהופכים את התשובה המהירה להחלטה, צריך לשאול מה כל מחקר בדק וכיצד הוא בוצע. שם העיצוב הוא מידע חשוב, לא ציון סופי.

מה ההגרלה נותנת לנו?

בניסוי אקראי ומבוקר החוקרים מקצים את המשתתפים להתערבות או לקבוצת השוואה באקראי. במחקר תצפיתי הם אינם קובעים מי יקבל את הטיפול, אלא לומדים מהבדלים שנוצרו בפועל. ההבדל הזה נשמע טכני, עד שחושבים על מי שמקבל טיפול במציאות.

אנשים חולים יותר עשויים לקבל תרופה מסוימת לעיתים קרובות יותר, וגם להיות בסיכון גבוה יותר למות. אם נשווה אותם למי שלא קיבלו אותה, אנחנו עלולים להאשים את התרופה בסיכון שנבע מחומרת המחלה. זאת דוגמה לערבול: גורם שמשפיע גם על בחירת הטיפול וגם על התוצאה.

הקצאה אקראית תקינה מנתקת, בממוצע על פני ניסויים חוזרים, את בחירת הטיפול מגורמים כאלה. היתרון אינו מוגבל למאפיינים שהחוקרים טרחו למדוד. הוא כולל גם גורמים שלא נמדדו ואף כאלה שאיש לא חשב עליהם. אין פירוש הדבר שבכל ניסוי קטן יתקבל איזון מושלם, אלא שההקצאה אינה נקבעת לפי אותם מאפיינים.

במחקר תצפיתי אפשר לנסות לתקן הבדלים באמצעות התאמה סטטיסטית. אבל כדי לפרש את ההבדל שנותר כהשפעה סיבתית, צריך להניח שלא נשאר ערבול חשוב. זאת הנחה חזקה: הגורמים צריכים להימדד בזמן הנכון ובדיוק סביר, ולהיכנס לניתוח בצורה מתאימה. גם רגרסיה מתוחכמת או למידת מכונה אינן מבטיחות איזון בגורם שלא נמצא בנתונים.

לכן יש כאן יתרון אמיתי לניסוי אקראי. השאלה אינה אם לוותר עליו, אלא אילו בעיות הוא עדיין משאיר פתוחות.

גם עם חגורת בטיחות אפשר להסתבך

הגרלה טובה אינה מתקנת נשירה שונה בין הקבוצות, מדידה לא אמינה או בחירה לפרסם רק את התוצאה המחמיאה. היא אינה מגדילה מדגם קטן, ואינה הופכת טיפול שניתן בתנאים חריגים לרלוונטי לכל מרפאה.

גם אחרי ההקצאה אנשים יכולים להפסיק טיפול, להחליף אותו או לקבל את ההתערבות שיועדה לקבוצה האחרת. אם המטופלים או המעריכים יודעים מי קיבל מה, הידיעה הזאת עשויה להשפיע על מדדים התלויים בשיפוט ובדיווח. ויש לבדוק שההקצאה עצמה באמת בוצעה כמתוכנן, ושהאפשרות לנחש מראש את הקבוצה הבאה לא השפיעה על גיוס המשתתפים.

לכן חשוב לקרוא אם ההקצאה הוסתרה, אם נשמרה סמיות, כלומר אי-ידיעה של הטיפול שהוקצה, ואם התוצאות ותוכנית הניתוח נקבעו לפני שנראו הנתונים. ריבוי ניתוחים שנבחרו בדיעבד ודיווח סלקטיבי יכולים להחליש גם מחקר שמתחיל במילים "ניסוי אקראי".

אפשר לחשוב על ההגרלה כחגורת בטיחות מצוינת. היא מגינה מפני סיכון מרכזי, אבל אינה הופכת את הרכב לחסין מכל תאונה.

כשאומרים "מחקר איכותי", איכותי בשביל מה?

מחקר יכול לתת תשובה אמינה מאוד לגבי המשתתפים שנבדקו, ובכל זאת להתאים פחות לאדם שמולנו. ההבחנה הראשונה נקראת תוקף פנימי: עד כמה אפשר לסמוך על ההשוואה בתוך המחקר. השנייה נקראת תוקף חיצוני: עד כמה אפשר להעביר את התוצאה לאוכלוסייה אחרת, למינון אחר, למרפאה רגילה או לרמת היענות אחרת.

גם דיוק הוא עניין נפרד. ניסוי קטן עשוי להיות מתוכנן היטב, אבל להשאיר טווח רחב של השפעות אפשריות. מאגר עצום יכול לצמצם אי-ודאות מקרית, ובאותו זמן לתת תשובה מוטה בדיוק רב.

איכות הנתונים תלויה גם במה שרוצים למדוד. מרשם תמותה מלא עשוי להתאים היטב לזיהוי מקרי מוות. נתוני חיובים רפואיים עלולים להתאים הרבה פחות למדידת עייפות, כאב, חומרת מחלה או תופעת לוואי עדינה. אין מקור נתונים שהוא "טוב" בלי קשר לתוצאה.

ולפעמים שני מחקרים שנראים סותרים פשוט אינם שואלים אותה שאלה. ההשפעה של הקצאה לטיפול, כולל אנשים שלא התמידו בו, אינה בהכרח ההשפעה של התחלת הטיפול או של נטילתו המלאה. מחקר על יעילות בתנאים מבוקרים אינו זהה למחקר על טיפול כפי שניתן בשגרה.

שקיפות עוזרת להבין את כל אלה. פרוטוקול, רישום מוקדם, קוד זמין והגדרות קבועות מראש חשובים בשני העיצובים. מחקר תצפיתי שתוכנן ותועד מראש יכול להיות שקוף יותר מניסוי שהחליף תוצאה ראשית לאחר שראה את הנתונים. אין ציר יחיד שעליו אפשר לסדר את כולם מהחלש לחזק.

מה קורה כשמשווים את התוצאות עצמן?

סקירת Cochrane ריכזה 47 סקירות מתודולוגיות, שכללו אלפי ניסויים אקראיים ואלפי מחקרים תצפיתיים. בממוצע נמצא פער קטן בין האומדנים, אבל ההבדלים השתנו מאוד משאלה לשאלה. הביטחון במסקנה היה נמוך, ורק 11 מתוך 47 הסקירות הוערכו כבעלות סיכון נמוך להטיה.

המסר אינו ששני העיצובים שקולים. ממוצע קרוב יכול להסתיר פערים חשובים, במיוחד כשהמחקרים שונים מאוד זה מזה.

מקור: Toews et al., 2024

אפשר לראות זאת היטב בהשוואה של 74 זוגות אומדנים מאוגמים על יעילות ובטיחות של תרופות. חציון היחס בין האומדן התצפיתי לאומדן הניסוי האקראי היה 0.92, אבל הטווח נע מ-0.09 עד 6.50. ב-79.7% מהזוגות לא נמצא הבדל מובהק בין העיצובים. לכאורה, סיבה להירגע.

אלא שב-43.2% מהזוגות היה פער שהחוקרים הגדירו קיצוני, יחס קטן מ-0.70 או גדול מ-1.43. ב-40.5% האומדנים הצביעו לכיוונים מנוגדים, וב-17.6% היה גם כיוון מנוגד וגם הבדל מובהק. הטיות לכיוונים שונים יכולות להתבטל בממוצע בלי לעזור לנו לדעת אם המחקר המסוים שקראנו נכון.

מקור: Hong et al., 2021

בתחום הניתוחים הושוו 70 דוחות תצפיתיים, שניסו להתאים בין מטופלים לפי מאפייניהם, ל-94 דוחות של ניסויים אקראיים. לא נמצא פער ממוצע ברור בתמותה או בתוצאות סובייקטיביות, אבל טווחי אי-הוודאות עדיין אפשרו פערים משמעותיים. החוקרים גם לא הגדירו מראש כמה קרובות התוצאות צריכות להיות כדי להיחשב שקולות.

חשוב לא פחות לראות מה עמד משני צדי ההשוואה. רק כמחצית מהניסויים דיווחו על יצירה והסתרה נאותות של רצף ההקצאה, ורק שליש היו בסיכון נמוך להטיה במדידת התוצאה. מנגד, 90% מהמחקרים התצפיתיים התבססו על מאגרי מנהלה, שבהם פרטים קליניים חשובים עלולים להיות חסרים. התווית לבדה לא סיפרה את כל הסיפור.

מקור: Lonjon et al., 2014

"לא מצאנו הבדל" עדיין אינו "הוכחנו דמיון"

כשמחקר לא מוצא הבדל מובהק, ייתכן שההשפעות קרובות, אבל ייתכן גם שאין מספיק מידע להבחין ביניהן. כדי להראות שקילות צריך להגדיר מראש איזה פער נחשב זניח ולראות שטווח אי-הוודאות כולו נשאר בתוך הגבולות האלה.

גם חפיפה בין רווחי סמך, הטווחים שמבטאים את אי-הוודאות סביב האומדנים, אינה הוכחת שקילות. וקורלציה גבוהה אינה הסכמה: שיטה שמכפילה תמיד את תוצאות השיטה האחרת יכולה להיות במתאם מושלם איתה, בלי לתת אותו מספר.

לכן כדאי לבדוק את גודל הפער, הפיזור בין המחקרים, כיוון ההשפעה והדיוק. לפני כל אלה צריך לוודא שבאמת הושוו אותה אוכלוסייה ואותה שאלה, ושלא הוגדרה "הצלחה" רק אחרי שראו מה התקבל.

לפעמים סיכון ההטיה חשוב גם בתוך אותה משפחה

מחקר על אימונותרפיה לאלרגיה, טיפול שנועד לשנות את התגובה לאלרגן, ממחיש זאת. שבעה מחקרים לא אקראיים הציגו שיפור גדול מאוד בציוני התסמינים, אבל היו שונים מאוד זה מזה והביטחון בהם היה נמוך מאוד. ב-13 ניסויים אקראיים בטיפול תת-לשוני, שהוערכו כבעלי סיכון נמוך להטיה, השיפור היה קטן בהרבה.

אלא שגם בין ניסויי ההזרקה האקראיים היה פער: בניסויים בסיכון גבוה או בינוני להטיה נמצא שיפור גדול בהרבה מאשר בניסויים בסיכון נמוך. הקשר בין סיכון ההטיה לגודל ההשפעה לא נעצר בגבול שבין תצפיתי לאקראי.

במחקרים הלא אקראיים היו בעיות ערבול, בחירת משתתפים, סיווג טיפול ומדידת תוצאה. בחלקם נכללו כמטופלים רק מי שהתמידו במשך שנים. אם אנשים הפסיקו בגלל חוסר תועלת או תופעות לוואי, בחירת המתמידים בלבד עלולה ליצור תמונה מוצלחת באופן מלאכותי. זאת אינה הוכחה שתצפיתי טוב כמו אקראי, אלא המחשה לכך שתכנון לקוי עלול לנפח השפעה בשניהם.

מקור: Di Bona et al., 2023

דוגמה אחרת משאירה את ההגרלה בשני הצדדים. מחקר שהשווה מחקרים מצא 84 ניסויים אקראיים שמדדו תוצאות באמצעות נתונים שנאספו בשגרה ו-463 ניסויים מסורתיים, באותן 22 שאלות קליניות. בניסויים שהתבססו על נתוני שגרה נמצאה בממוצע תועלת קטנה יותר. הפער היה ברור יותר בתוצאות שאינן תמותה; בתמותה עצמה לא נמצא פער ברור.

אי אפשר לדעת מההשוואה הזאת לבדה אם טעויות במדידת נתוני השגרה החלישו את ההשפעה, או אם המעקב האינטנסיבי, ההיענות והתנאים החריגים בניסויים המסורתיים הגדילו אותה. המחקרים לא היו זהים בכל פרט אחר. אבל ברור שגם בתוך ניסויים אקראיים, מקור הנתונים ואופן הטיפול יכולים לשנות את התשובה.

מקור: Mc Cord et al., 2021

לתכנן את הניסוי שהיינו רוצים לעשות

אם אי אפשר להגריל טיפול, אפשר לפחות להגדיר במדויק איזה ניסוי היינו רוצים לחקות. זאת המשמעות של "ניסוי יעד": ניסוי היפותטי שבו קובעים מראש מי זכאי, אילו אסטרטגיות טיפול מושוות, כיצד הייתה נקבעת ההקצאה, מתי מתחיל המעקב, מהי התוצאה, איזו השפעה רוצים לאמוד וכיצד מנתחים אותה.

חיקוי ניסוי יעד באמצעות נתונים קיימים אינו יוצר הקצאה אקראית. הוא מכריח אותנו להפסיק להיות מעורפלים לגבי השאלה וציר הזמן. למשל, אם מסווגים אדם כמטופל לפי מידע שיצטבר בעתיד, אבל מתחילים לספור את המעקב לפני כן, הוא חייב לשרוד עד קבלת הטיפול כדי להיכלל בקבוצה. התקופה הזאת יכולה להעניק לטיפול יתרון מלאכותי. הבעיה מכונה "הטיית זמן אלמותי", אף שאין בה שום דבר אלמותי באמת.

תכנון נכון מיישר לאותו רגע את הזכאות, את סיווג אסטרטגיית הטיפול ואת תחילת המעקב. לעיתים הוא משווה משתמשים חדשים בשתי חלופות טיפוליות מתאימות, במקום להשוות נוטלי תרופה לאנשים שאינם זקוקים לטיפול כלל. כך קל יותר לצמצם הבדלים בסיבה לקבלת הטיפול, גם אם אי אפשר להעלים אותם לגמרי.

כלי נפוץ נוסף הוא ציון ההסתברות לקבל טיפול: הערכה של הסיכוי שאדם יקבל טיפול מסוים לפי המאפיינים שנמדדו. אפשר להשתמש בו לשידוך מטופלים דומים או למתן משקל שונה לתצפיות. הוא יכול לשפר איזון במה שנמדד היטב, אבל אינו מתקן משתנה חסר, מדידה גרועה, בחירת משתתפים בעייתית או נקודת התחלה שגויה. הוא גם אינו יוצר השוואה אמינה אם לאנשים מסוימים אין בפועל אפשרות לקבל אחת מהחלופות.

האם תכנון כזה באמת מצליח להתקרב לניסוי?

יוזמת RCT-DUPLICATE ניסתה לחקות 32 ניסויים אקראיים באמצעות מאגרי תביעות רפואיות. הפרוטוקולים נרשמו מראש, נבחרו משתמשים חדשים בטיפול ונעשה שידוך לפי יותר מ-100 גורמי ערבול אפשריים שנמדדו.

בכלל הזוגות שיעור ההסכמה היה בערך בין שני שלישים לשלושה רבעים, בהתאם להגדרה. אבל כשהשוו מחקרים שהצליחו לחקות מקרוב את פרטי הניסוי למחקרים שנותרו בהם פערים מהותיים, נראתה תמונה שונה. לפי המדד שבדק אם האומדן התצפיתי נפל בתוך טווח אי-הוודאות של הניסוי, ההסכמה הייתה 88% בקבוצה הראשונה ו-50% בשנייה. בכל קבוצה היו רק 16 זוגות.

זה תומך בחשיבות ההתאמה של הטיפול, המשווה, האוכלוסייה, המעקב והתוצאה. עם זאת, הניסויים נבחרו מראש כמתאימים יחסית לחיקוי במאגרים, והיה צריך שאפשר יהיה למדוד את התוצאה ואת גורמי הערבול המרכזיים. החלוקה לחיקוי מוצלח יותר ופחות נעשתה בדיעבד. בחלק מהניסויים גם אי אפשר היה לשחזר תקופת הכנה, טיפול דמה, הפסקת טיפול קודם, שינוי הדרגתי במינון או תוצאות קליניות עדינות.

לכן ההסכמה אינה שקילות. גם שתי תוצאות שאינן מובהקות יכולות להיראות מסכימות רק מפני ששתיהן אינן מדויקות מספיק.

מקור: Wang et al., 2023

הערכה מחודשת של 29 זוגות באמצעות מדד שחזור חלופי מצאה הצלחה ב-20, כלומר 69%. שיעור זה היה נמוך מהיכולת החזויה הממוצעת לזהות שחזור, כ-84% עד 85%. קיימת במאמר אי-התאמה אריתמטית בין הסך הזה לבין חלוקה משנית לפי זמינות נתוני Medicare, ולכן יש להיזהר במיוחד בפירוש אותה חלוקה. גם לפי המבחן הכולל, תכנון מוקפד יכול להתקרב לניסוי בחלק מהשאלות, אך אינו הופך מאגר תביעות לתחליף לכל ניסוי.

מקור: Köppe et al., 2025

אפשר להסכים על הכותרת ולהתווכח על גודל התועלת

סקירה של מחקרים על תוצאות לב וכלי דם בתרופות לסוכרת כללה 19 מחקרים, אבל רק ארבעה היו מחקרי עוקבה שניסו לחקות ניסוי קודם. בכל קבוצות התרופות התקבלה מסקנה תואמת לגבי אי-נחיתות, כלומר שהטיפול אינו גרוע מהחלופה מעבר לגבול שנקבע מראש.

זאת הסכמה שימושית, אבל מוגבלת. בחלק מהמחקרים נמצא יתרון דומה לניסוי המקורי, ובאחרים אותה תרופה נראתה מועילה יותר או פחות. הגעה לאותה קטגוריית בטיחות אינה מבטיחה אומדן זהה של התועלת.

הסקירה הצביעה גם על פער בהכללה: רק כ-13% עד 31% מהמטופלים בשגרה היו זכאים לניסויי SGLT-2, ורק כ-12% עד 43% לניסויי GLP-1, שתי משפחות של תרופות לסוכרת. אין בכך הוכחה שהניסויים מוטים. הם בדקו אוכלוסיות שנבחרו לפי קריטריונים מצומצמים יחסית, ונדרשת ראיה נוספת לגבי מי שלא נכלל בהם.

מקור: Wang et al., 2025

מבחן מחמיר יותר הוא לנעול את הניתוח התצפיתי לפני שיודעים מה מצא הניסוי. כך קשה יותר לכוונן את ההגדרות עד שמגיעים לתשובה הרצויה. במאגר SWEDEHEART נעשה ניסיון כזה בקרב 10,926 אנשים כדי לחקות את REDUCE-AMI. הסיכון המשוער למוות או לאוטם בתוך חמש שנים היה 10.2% לעומת 11.9%, אך טווח אי-הוודאות אפשר גם תועלת וגם היעדר תועלת.

המאמר מתאר את תכנון ההשוואה ואת התחזית שננעלה לפני תוצאת הניסוי. הוא אינו כשלעצמו הוכחה לשחזור מוצלח שכבר הושלם. וגם הצלחה במבחן כזה הייתה מחזקת בעיקר את הביטחון בשיטה ובנתונים בשאלות דומות, לא מוכיחה שאין ערבול בשום הקשר אחר.

מקור: Matthews et al., 2024

ומה אם מחשב ייצור עבורנו קבוצת ביקורת?

זאת אפשרות מסקרנת, אבל היא אינה עוקפת את שאלת איכות המקור. במחקר ראשוני באלצהיימר נבנו קבוצות השוואה ממאגר היסטורי. הן נתנו תוצאות קרובות לניסוי במבחן חשיבה אחד, ופחות קרובות באחר. הניתוחים התבססו על 12 מטופלים במבחן אחד ועל 31 בשני. זה רעיון להמשך בדיקה, לא תחליף בשל לקבוצת ביקורת אקראית.

מקור: Wu et al., 2025

מחקר אחר יצר נתונים סינתטיים באמצעות למידת מכונה והצליח לשחזר ניתוחים אפידמיולוגיים רבים. אלא שהמחשב לומד את מבנה הנתונים המקוריים. אם יש בהם ערבול, מדידה שגויה או בחירת משתתפים לא מייצגת, שחזור מדויק עלול לשחזר גם את הבעיות האלה. שחזור של תוצאה סטטיסטית אינו בהכרח שחזור של אמת סיבתית.

מקור: Kapar et al., 2026

איפה המחקר התצפיתי מוסיף משהו שהניסוי אינו נותן?

ניסוי קטן או קצר עלול להחמיץ נזק נדיר שמופיע אחרי שנים. הוא עשוי לכלול מעט מאוד אנשים מבוגרים מאוד, נשים בהיריון, אנשים עם מחלות נדירות, ריבוי מחלות או שילובי תרופות. מאגרי שגרה יכולים להוסיף מידע חשוב בדיוק במקומות האלה.

הם מאפשרים גם לשאול על זמינות הטיפול, ניסיון הרופאים, היענות וניטור בעולם האמיתי. לעיתים אלה אינם פרטים שמפריעים למדידת ההשפעה, אלא חלק מההשפעה המעשית שרוצים להבין. יש גם חשיפות שאי אפשר להקצות באופן אתי, ושאלות שניסוי בהן אינו מעשי מבחינת זמן ועלות.

מאגר גדול יכול לעזור לבדוק אם ההשפעה שונה בין קבוצות ולהרחיב את ההכללה מעבר למשתתפי הניסוי. אבל גם כאן הגודל אינו מבטל ערבול, ריבוי בדיקות או חוסר דיוק בתוך תת-קבוצה. ייצוגיות אינה תחליף להשוואה אמינה, והשוואה אמינה אינה מבטיחה ייצוגיות.

כאשר אפשר לבצע ניסוי אתי וישים על השפעת הקצאת טיפול, למדוד את התוצאה היטב ולבצע את התכנון כראוי, לניסוי האקראי עדיין מגיע משקל מיוחד. ההגנה מפני ערבול לא נמדד אינה פרט שאפשר להחליף בעוד התאמה סטטיסטית.

איך לקרוא את המחקר הבא בלי להסתפק בתווית?

כדאי להתחיל בהשפעה המבוקשת: האם אנחנו רוצים לדעת מה קורה כשמציעים טיפול, כשמתחילים אותו, כשמתמידים בו או כשנותנים אותו בשגרה? אחר כך לבדוק מי הושווה למי, האם שתי החלופות היו אפשריות בשתי הקבוצות, והאם הזכאות, תחילת הטיפול ותחילת המעקב מתייחסות לאותה נקודה בזמן.

משם עוברים לנתונים: מה נמדד לפני הטיפול, מה חסר, ועד כמה מדידות החשיפה והתוצאה מתאימות לשאלה? מה קרה לאנשים שנשרו, הפסיקו, החליפו טיפול או קיבלו טיפול נוסף? האם הניתוח נשאר לפי ההקצאה המקורית, או מנסה לאמוד השפעה אחרת בהנחות נוספות?

תכנון תצפיתי טוב יכול לכלול בדיקות חפיפה בין הקבוצות, טיפול מתאים בסיום המעקב, בדיקות רגישות והערכה כמותית של ההטיה האפשרית. גם תוצאות ביקורת חיוביות ושליליות, תוצאות שצפוי או לא צפוי למצוא בהן קשר, יכולות לחשוף בעיה בניתוח. רישום מוקדם, קוד שקוף, השוואה שננעלה מראש ובדיקה במקור נתונים נוסף מקשים על הסברים קלים מדי. אף אחד מהכלים האלה אינו יוצר אקראיות, אבל יחד הם מבהירים את ההנחות ומצמצמים טעויות.

לבסוף צריך לשאול כמה גדול ההבדל ומה טווח אי-הוודאות סביבו, ולא רק אם הוא מובהק, והאם המשתתפים והטיפול דומים למצב שבו נקבל החלטה. זאת קריאה מורכבת יותר משם העיצוב, אבל גם שימושית יותר.

אותו עיקרון עוזר להבין מדוע גם התווית "מטא-אנליזה" אינה סוף הדיון. בסקירה על ממתיקים וסוכרת אפשר לראות איך הגדרת ההשוואה, בחירת המשתתפים ואיכות המדידה ממשיכות להשפיע גם אחרי שמאחדים מחקרים.

היררכיית הראיות היא נקודת פתיחה טובה. היא מזכירה לנו שלהגרלה יש יתרון סיבתי שאין לתצפית לבדה. אבל היא אינה תחליף לקריאת המחקר: העיצוב קובע אילו טעויות אפשר למנוע, הביצוע קובע אם באמת מנענו אותן, והשאלה קובעת אם קיבלנו תשובה שאפשר להשתמש בה.