איך לקרוא מחקר בלי ליפול לכותרת?

כותרת חדשותית מכריזה שתרופה "מפחיתה סיכון בחצי". התקציר של המאמר נשמע חיובי. בטבלת התוצאות מופיע ערך P קטן מ-0.05. האם זה מספיק כדי להשתכנע?

לא. אבל גם אין צורך להיות סטטיסטיקאי או לקרוא כל נספח כדי לזהות את רוב השאלות החשובות. קריאה ביקורתית אינה חיפוש כפייתי אחר פגם שיפסול את המחקר. מטרתה להבין מה בדיוק נעשה, מה הנתונים באמת מאפשרים לומר, ועד כמה המסקנה שימושית לאדם שמולנו.

המדריך הזה עוסק בעיקר במחקרי בריאות כמותיים: ניסויים אקראיים, מחקרי עוקבה, מחקרי מקרה-ביקורת ומחקרי חתך. שאלות ייחודיות למחקרי אבחון, מחקר איכותני, מודלים בבעלי חיים ומחקרי מעבדה נמצאות מחוץ לתחומו. הוא אינו תחליף להערכת סיכון להטיה מלאה, למומחיות בתחום התוכן או לסקירה שיטתית של כלל הראיות. הוא כן מספק מסלול עבודה מעשי לקריאת מחקר יחיד, מן הכותרת ועד ההחלטה כמה משקל לתת לו.

לפני הכול: מהי השאלה שהמחקר ניסה לענות עליה?

משפט אחד צריך להספיק כדי לתאר את השאלה: אצל מי, איזו חשיפה או התערבות נבדקה, לעומת מה, ובאיזו תוצאה. זהו עיקרון PICO המוכר ממחקרי התערבות: אוכלוסייה, התערבות, השוואה ותוצאה. במחקר תצפיתי מחליפים לעיתים את ההתערבות בחשיפה.

לדוגמה: "במבוגרים עם יתר לחץ דם, האם תרופה חדשה, לעומת הטיפול המקובל, מפחיתה שבץ בתוך שלוש שנים?" זו שאלה שונה מאוד מ"האם התרופה מורידה לחץ דם אחרי שמונה שבועות?" גם אם לחץ דם הוא מדד חשוב, הוא אינו זהה לשבץ, לתפקוד או לתמותה.

אם הכותרת אומרת "התרופה מגינה על הלב", אבל התוצאה שנמדדה הייתה שינוי בסמן דם, כבר נחשף פער בין הטענה לבין מה שנבדק. אם המחקר נערך באנשים עם מחלה מתקדמת, אין להניח שהתוצאה חלה גם על אנשים בריאים. ואם לא ברור מה הייתה קבוצת ההשוואה, עדיין לא ברור מהו האפקט שנאמד.

הכותרת והתקציר הם מפה, לא היעד

כותרות נועדו למשוך תשומת לב, ותקצירים נועדו לדחוס מחקר מורכב למעט מילים. שניהם עלולים להדגיש את הממצא המחמיא ביותר. "ספין" הוא הצגה שמבליטה תוצאה חיובית או מסיטה את הקורא מן התוצאה העיקרית, בלי שהמספר עצמו חייב להיות שקרי.

במחקר שבחן תקצירים של ניסויים אקראיים שבהם התוצאה הראשית לא הייתה מובהקת, נמצא שספין הופיע בצורות שונות, למשל התמקדות בתוצאות משניות מובהקות או ניסוח שהציג את הטיפול כמועיל למרות התוצאה הראשית. ניסוי אקראי נוסף הראה שלניסוח כזה הייתה השפעה על האופן שבו קוראים העריכו את התועלת של הטיפול. לכן כדאי לקרוא את התקציר, אבל לעצור לפני שמאמצים את מסקנתו.

מקור: בוטרון ואחרים, 2010

מקור: בוטרון ואחרים, 2014

בדיקה מהירה מועילה היא להשוות בין שלושה משפטים: מה הכותרת טוענת, מה הוגדר כתוצאה הראשית, ומה המספר המרכזי בטבלת התוצאות. אם שלושתם אינם מספרים אותו סיפור, צריך להבין מדוע.

איזה סוג מחקר זה, והאם הוא מתאים לשאלה?

ניסוי אקראי מתאים במיוחד לשאלות על השפעת התערבות, משום שההקצאה האקראית נועדה ליצור קבוצות דומות בתחילת המחקר. היא אינה מבטיחה מחקר טוב: הקצאה שניתנת לניבוי, נשירה רבה, היענות נמוכה, חוסר סמיות או שינוי התוצאה הראשית יכולים לפגוע באמינותו. גם ניסוי מצוין יכול להיות קצר מדי או קטן מדי כדי לזהות נזק נדיר.

מחקר עוקבה עוקב אחר אנשים לאורך זמן ומתאים לשאלות על פרוגנוזה, שכיחות ותוצאות של חשיפות שלא תמיד אפשר להקצות באקראי, כמו עישון. הוא יכול להראות שהחשיפה קדמה לתוצאה, אך עדיין חשוף לערפלנים: הבדלים בין הקבוצות שעשויים להסביר חלק מן הקשר.

מחקר מקרה-ביקורת מתחיל בדרך כלל באנשים עם התוצאה ומשווה את החשיפות הקודמות שלהם לאלה של קבוצת ביקורת. הוא יעיל בחקר מחלות נדירות, אך בחירת קבוצת הביקורת ומדידת החשיפה הקודמת קריטיות. מחקר חתך מודד חשיפה ותוצאה באותה נקודת זמן. הוא יכול לתאר שכיחות וקשרים, אבל לעיתים קרובות אינו יכול לקבוע מה קדם למה.

הנחיות STROBE מגדירות את המידע הדרוש לדיווח שקוף על מחקרי עוקבה, מקרה-ביקורת וחתך. הן אינן חותמת איכות ואינן הופכות מחקר תצפיתי לניסוי, אך הן מספקות רשימת שאלות טובה: כיצד נבחרו המשתתפים, איך הוגדרו המשתנים, אילו מקורות הטיה נשקלו ואיך טופלו נתונים חסרים.

מקור: פון אלם ואחרים, 2007

מי השתתף, ומי לא?

מספר המשתתפים לבדו אינו קובע את איכות המחקר. מדגם גדול מאוד יכול לתת אומדן מדויק של קשר מוטה. השאלות החשובות הן מאיזו אוכלוסייה גויסו המשתתפים, מי עמד בתנאי ההכללה, מי סירב, מי נשר, ועד כמה הם דומים לאנשים שעליהם רוצים להסיק.

כדאי לחפש תרשים זרימה. כמה אנשים הוערכו להתאמה? כמה נכללו? כמה הגיעו למדידה הסופית? אם הנשירה שונה בין הקבוצות, או קשורה גם להתערבות וגם לתוצאה, ההשוואה עלולה להשתנות. המשפט "נותחו רק משתתפים שהשלימו את המחקר" צריך לעורר שאלה: האם האקראיות נשמרה, או שנותרו בכל קבוצה אנשים מסוג אחר?

גם אוכלוסייה צרה משפיעה על ההכללה. תוצאה בניסוי שנערך במרכזים מומחים, אצל משתתפים צעירים ללא מחלות רקע ובהיענות גבוהה, עשויה להיות אמינה בתוך המחקר אך פחות ישימה למטופלים מבוגרים עם כמה מחלות ותרופות.

לעומת מה?

כל אפקט הוא השוואה. טיפול יכול להיראות מועיל לעומת אי-טיפול, אך לא להוסיף דבר לעומת טיפול פעיל טוב. שינוי בתוך קבוצה אינו מוכיח שהטיפול גרם לשינוי: תסמינים יכולים להשתנות עם הזמן, אנשים נוטים להיכנס למחקר כשהמצב חמור במיוחד, וציפיות או טיפול נלווה יכולים להשפיע.

לכן השאלה אינה רק "האם הקבוצה השתפרה?" אלא "האם השיפור היה גדול יותר מן השינוי בקבוצת ההשוואה?" אם בקבוצת הטיפול לחץ הדם ירד באופן מובהק ובקבוצת הביקורת הירידה לא הייתה מובהקת, עדיין צריך לבדוק ישירות אם ההבדל בין הקבוצות מובהק ומדויק מספיק. מובהק כאן ולא מובהק שם אינו כשלעצמו הוכחה להבדל בין הקבוצות.

יש לבדוק גם מה קיבלה קבוצת הביקורת: פלצבו, טיפול רגיל, טיפול פעיל, רשימת המתנה או שום דבר. כל אפשרות עונה על שאלה אחרת. ההשוואה הנכונה היא זו שמתאימה להחלטה המעשית שהקורא נדרש לקבל.

מה הייתה התוצאה הראשית?

מחקר יכול למדוד עשרות תוצאות ובכמה נקודות זמן. ככל שבודקים יותר השוואות, גדל הסיכוי שלפחות אחת תיראה מעניינת במקרה. משום כך ניסוי אמור להגדיר מראש תוצאה ראשית, מועד מדידה וניתוח מרכזי.

כדאי לחפש את הרישום המוקדם ואת הפרוטוקול, ואז להשוות אותם למאמר. האם התוצאה הראשית הוחלפה? האם נקודת הזמן השתנתה? האם תוצאה שנרשמה נעלמה? שינוי יכול להיות מוצדק, אך צריך להיות מתועד ומוסבר. במחקר קלאסי שהשווה פרוטוקולים למאמרים שפורסמו נמצא שדיווח התוצאות היה לעיתים חלקי ולא עקבי, ותוצאות מובהקות היו בעלות סיכוי גבוה יותר לדיווח מלא.

מקור: צ'אן ואחרים, 2004

גם תוצאה משנית יכולה להיות חשובה, אך היא ראיה חלשה יותר כאשר המחקר לא תוכנן עבורה, כאשר נעשו השוואות רבות או כאשר הממצא לא חזר במחקרים אחרים. ניתוח תת-קבוצה דורש זהירות דומה. הדרך הנכונה לבדוק אם הטיפול עובד אחרת אצל נשים וגברים היא מבחן אינטראקציה ישיר, לא העובדה שהתוצאה הייתה מובהקת בקבוצה אחת ולא באחרת.

האם נמדד משהו שחשוב לאנשים?

תוצאה קלינית היא דבר שהאדם מרגיש או שחייו מושפעים ממנו, כמו כאב, תפקוד, אשפוז, שבץ או תמותה. מדד ביניים, המכונה לעיתים surrogate, הוא מדד שמקווה לייצג תוצאה עתידית, כמו ערך מעבדה, לחץ דם או גודל גידול בהדמיה.

מדדי ביניים יכולים לאפשר מחקר קצר ויעיל, ולעיתים הם מבוססים היטב. אבל שינוי במדד אינו מבטיח שינוי בתוצאה הקלינית. כדי להשתמש בו כתחליף אמין, לא די שהוא קשור לפרוגנוזה. צריך להראות שהשפעת ההתערבות עליו מנבאת באופן מהימן את השפעתה על התוצאה החשובה.

לכן כאשר הכותרת אומרת "משפר בריאות" יש לבדוק אם המחקר מדד בריאות, או רק סמן ביולוגי. זה אינו משחק סמנטי. זו לעיתים כל ההבחנה בין ממצא מעניין לבין המלצה טיפולית.

קראו את המספר, לא רק את ערך ה-P

ערך P אינו גודל האפקט, אינו ההסתברות שההשערה נכונה ואינו מדד לאיכות המחקר. באופן מפושט, הוא מתאר עד כמה הנתונים שנצפו, או נתונים קיצוניים מהם, היו חריגים תחת מודל סטטיסטי מסוים שבו אין אפקט. הוא אינו אומר אם האפקט חשוב, אם המחקר נטול הטיה או אם התוצאה תחזור במחקר הבא.

הצהרת האיגוד האמריקאי לסטטיסטיקה הדגישה שאין לקבל החלטות מדעיות או מעשיות רק לפי מעבר סף מסוים של ערך P. היא גם הבהירה שמובהקות סטטיסטית אינה מודדת את גודל האפקט או את חשיבותו.

מקור: וסרשטיין ולזר, 2016

התחילו באומדן עצמו וברווח הסמך. אומדן הוא ההערכה הטובה ביותר מן המדגם. רווח הסמך מציג טווח של ערכים שמתיישבים עם הנתונים והמודל. רווח רחב עשוי לכלול גם תועלת גדולה וגם היעדר תועלת, ולעיתים גם נזק. במקרה כזה, "לא נמצא הבדל מובהק" אינו שווה ל"הוכח שאין הבדל".

בדקו גם את הגודל המעשי. ירידה ממוצעת של 0.3 נקודות בסולם של 100 יכולה להיות מובהקת במדגם עצום וחסרת משמעות לרוב האנשים. לעומת זאת, הבדל חשוב שלא הגיע למובהקות במחקר קטן יכול להעיד בעיקר על חוסר דיוק.

סיכון יחסי בלי סיכון מוחלט הוא סיפור חלקי

נניח שהסיכון לאירוע ירד מ-2 מתוך 1,000 ל-1 מתוך 1,000. הירידה היחסית היא 50%, והירידה המוחלטת היא מקרה אחד לכל 1,000 אנשים בתקופת המעקב. שני המספרים נכונים, אך הם יוצרים רושם שונה.

כדי להבין משמעות מעשית, חפשו את מספר האירועים ואת המכנה בכל קבוצה, את משך המעקב ואת ההבדל המוחלט. אם המחקר מציג רק יחס סיכונים, יחס שיעורים או יחס סיכויים, בדקו מה היה הסיכון הבסיסי. יחס סיכויים עלול להישמע כמו יחס סיכונים, אך כאשר התוצאה שכיחה הם יכולים להיות שונים במידה ניכרת.

מספר נדרש לטיפול, NNT, הוא ההופכי של הפחתת הסיכון המוחלטת כאשר התנאים מתאימים. גם הוא תלוי במשך המעקב, באוכלוסייה ובסיכון הבסיסי. אין משמעות ל-NNT ללא ההקשר הזה.

האם ההשוואה מאפשרת הסקה סיבתית?

בניסוי אקראי יש לבדוק אם רצף ההקצאה נוצר כראוי והוסתר ממי שגייס משתתפים. הסתרת הקצאה שונה מסמיות: הראשונה מונעת השפעה על עצם הכניסה לקבוצה, והשנייה מצמצמת הבדלים בטיפול, בהתנהגות או במדידת התוצאה לאחר ההקצאה.

במחקר תצפיתי צריך לשאול אילו ערפלנים סבירים קיימים, כיצד נמדדו ולמה נבחרו המשתנים שנכנסו למודל. רשימה ארוכה של משתני התאמה אינה ערובה לפחות הטיה. התאמה למדד שנמדד ברשלנות משאירה ערבוב שיורי, והתאמה למתווך או ל-collider עלולה ליצור בעיה חדשה.

בדקו גם סיבתיות הפוכה. אם אנשים פעילים יותר מדווחים על בריאות טובה יותר, ייתכן שהפעילות תרמה לבריאות, אך ייתכן גם שמצב בריאותי טוב אפשר יותר פעילות. סדר זמנים עוזר, אך אינו פותר לבדו מחלה סמויה או שינוי התנהגות שכבר החל לפני האבחנה.

הניסוח צריך להתאים לעיצוב. "נקשר", "נמצא יחד עם" ו"ניבא" אינם "גרם", "מנע" או "הגן". מנגנון ביולוגי אפשרי מחזק סבירות, אך אינו מחליף השוואה שמזהה אפקט סיבתי.

נשירה, נתונים חסרים והיענות

המספר שנכנס למחקר אינו המספר היחיד שחשוב. יש לבדוק כמה משתתפים נותחו בכל תוצאה ומדוע חסרו נתונים. נתונים חסרים אינם בהכרח בעיה קשה אם הם מעטים ולא קשורים לתוצאה, אך הם עלולים להטות כאשר אנשים נושרים בגלל חוסר יעילות, תופעות לוואי או החמרה.

בניסוי אקראי, ניתוח לפי כוונת טיפול שומר ככל האפשר את המשתתפים בקבוצה שאליה הוקצו. הוא עונה על השאלה מהי השפעת מדיניות ההקצאה לטיפול בתנאים מציאותיים. ניתוח רק של מי שנענו היטב לטיפול עשוי לענות על שאלה אחרת, אך ההיענות כבר אינה אקראית. אנשים מתמידים יכולים להיות שונים מראש מאנשים שמפסיקים.

יש לבדוק כיצד טופלו נתונים חסרים, אילו הנחות נדרשו והאם נערכו ניתוחי רגישות. השלמה סטטיסטית אינה מחזירה מידע שמעולם לא נמדד. היא מאפשרת לבחון את הנתונים תחת הנחות מפורשות.

בטיחות אינה הערת שוליים

מחקר יכול להראות תועלת בתוצאה הראשית ועדיין לא לספק תמונה טובה של נזקים. יש לבדוק כמה אירועים חריגים היו בכל קבוצה, כיצד נאספו, האם החוקרים חיפשו אותם באופן פעיל, כמה זמן נמשך המעקב והאם המדגם היה גדול מספיק לנזקים נדירים.

היעדר הבדל מובהק בתופעות לוואי אינו הוכחת בטיחות, במיוחד כאשר האירועים מעטים ורווחי הסמך רחבים. גם הביטוי "נסבל היטב" דורש מספרים: כמה הפסיקו טיפול, כמה סבלו מאירוע חמור ומה היה ההבדל המוחלט בין הקבוצות.

מימון וניגודי עניינים: סיבה לבדוק, לא לפסול אוטומטית

מימון תעשייתי אינו מוכיח שהנתונים שגויים, ומימון ציבורי אינו מבטיח מחקר נקי מהטיה. יש לבדוק מי תכנן את המחקר, מי החזיק בנתונים, מי ניתח אותם, האם למממן הייתה זכות לעכב פרסום, ומהם הקשרים הכספיים של המחברים.

ניגוד עניינים יכול להשפיע עוד לפני הניתוח: על בחירת ההשוואה, המינון, משך המעקב, התוצאה הראשית והניסוח. לכן ההצהרה היא חלק מן הפרשנות, לצד העיצוב, הנתונים והשקיפות.

האם המאמר מדווח מספיק כדי שאפשר יהיה לשפוט אותו?

דיווח מלא אינו זהה לאיכות מתודולוגית, אך מחקר שלא מדווח כיצד בוצע קשה להערכה ולשחזור. הנחיות CONSORT לניסויים אקראיים, STROBE למחקרים תצפיתיים ו-PRISMA לסקירות שיטתיות מגדירות פרטים שצריכים להופיע במאמר ובתרשים הזרימה.

רשימות כאלה אינן ציון איכות מכני. הן עוזרות לזהות מה חסר: שיטת ההקצאה, פרטי הסמיות, חיפוש הספרות, קריטריוני הכללה, נשירה, ניתוחים מתוכננים וסטיות מן הפרוטוקול. מידע חסר צריך להפחית ביטחון, גם אם אי אפשר לדעת אם המעשה עצמו היה לקוי או רק הדיווח עליו.

מקור: CONSORT, 2025

מקור: פייג' ואחרים, 2021

מחקר יחיד כמעט אף פעם אינו סוף הסיפור

גם מחקר גדול ואיכותי הוא דגימה אחת, באוכלוסייה אחת ובתנאים מסוימים. לפני שמשנים טיפול או מסיקים מסקנה רחבה, כדאי לשאול אם הממצא מתאים לראיות קודמות, אם הוא שוחזר, ואם קיימת סקירה שיטתית עדכנית.

סתירה אינה אומרת בהכרח שמישהו טעה. מחקרים יכולים לבדוק אוכלוסיות, מינונים, משכי מעקב, תוצאות והשוואות שונות. מטא אנליזה יכולה לסכם את הראיות, אך אינה מתקנת מחקרים מוטים או שאלות שאינן באמת זהות. יש לבדוק אילו מחקרים נכנסו, מה הייתה ההטרוגניות, האם האפקט נשען על מחקרים קטנים ומה הסיכון להטיית פרסום.

מסלול קריאה של עשר דקות

אם הזמן קצר, אפשר לעבוד בסדר הבא:

1. נסחו במשפט את האוכלוסייה, החשיפה או ההתערבות, ההשוואה והתוצאה.
2. זהו את סוג המחקר ושאלו אם הוא מתאים לטענה הסיבתית.
3. מצאו את התוצאה הראשית שנקבעה מראש ואת מועד המדידה.
4. בדקו כמה משתתפים הוקצו, כמה נותחו וכמה נשרו מכל קבוצה.
5. קראו את המספר המרכזי: אומדן, רווח סמך, אירועים ומכנים.
6. תרגמו תוצאה יחסית להבדל מוחלט כאשר אפשר.
7. בדקו אם נמדדה תוצאה חשובה לאנשים או רק מדד ביניים.
8. חפשו תוצאות סותרות, נזקים ותתי-קבוצות שלא התאימו לסיפור המרכזי.
9. השוו את המסקנה לתוצאות, לרישום המוקדם ולפרוטוקול.
10. מקמו את המחקר בתוך כלל הראיות, ולא כמשאל עם שבו מחקר אחד מכריע.

הרשימה אינה מחליפה מומחיות, אבל היא מאטה בדיוק בנקודות שבהן כותרת משכנעת נוטה לדלג על שלבים.

מה אפשר לומר בביטחון יחסי?

אפשר להעריך מחקר בצורה טובה בהרבה גם בלי לבצע מחדש את הניתוח. התאמה בין השאלה לעיצוב, קבוצת השוואה מתאימה, תוצאה ראשית שנקבעה מראש, נשירה סבירה, אומדן עם רווח סמך ודיווח של תועלת ונזק הם סימנים מרכזיים.

אי אפשר לקבוע את אמינותו של מחקר לפי סימן יחיד. לא גודל המדגם, לא כתב העת, לא ערך P, לא רישום מוקדם ולא מקור המימון מספיקים לבדם. מחקר אמין נבנה משרשרת של החלטות סבירות ושקופות.

חשוב גם להפריד בין שלוש שאלות: האם התוצאה כנראה אמיתית בתוך המדגם, האם היא נגרמה מהחשיפה או מהטיפול, והאם היא חשובה וישימה לאוכלוסייה הרלוונטית. מחקר יכול להצליח בשאלה אחת ולהיכשל באחרת.

להעמקה בספרייה: מחקר תצפיתי או ניסוי אקראי: מה באמת קובע את איכות הראיה?

להבנת תפקיד ההשוואה: פלצבו, קבוצת ביקורת וטיפול פעיל: מה באמת אפשר להסיק?

לדוגמה מעשית מהאינסטגרם: כך בודקים ממצא שנראה מרשים מדי במבט ראשון

לעוד כלי חשוב: רישום מוקדם של מחקרים ומה השתנה בדרך לפרסום

השורה התחתונה

קריאה ביקורתית מתחילה פחות בשאלה "האם אני מאמין למחקר?" ויותר בשאלה "איזו טענה הנתונים האלה מסוגלים לשאת?"

אל תעצרו בכותרת, בתקציר או בערך P. חפשו את השאלה המדויקת, סוג המחקר, ההשוואה, התוצאה הראשית, גודל האפקט, רווח הסמך, הסיכון המוחלט, הנשירה והפער בין התוצאות למסקנה. לאחר מכן שאלו אם המחקר משתלב בתמונה רחבה יותר.

המטרה אינה לצאת מכל מאמר עם תשובת כן או לא. לעיתים המסקנה המדויקת ביותר היא שהמחקר מספק ראיה מעניינת אך מוגבלת, משנה מעט את מידת הביטחון, ומצדיק בדיקה נוספת. זו אינה התחמקות. כך ידע מדעי מתקדם.

שאלות נפוצות

האם ערך P קטן מ-0.05 מוכיח שהתוצאה אמיתית?

לא. הוא אינו מודד את גודל האפקט, את חשיבותו או את הסיכון להטיה. צריך לקרוא גם את האומדן, רווח הסמך, עיצוב המחקר וכלל הניתוחים שבוצעו.

האם ניסוי אקראי תמיד אמין יותר ממחקר תצפיתי?

לא באופן אוטומטי. ניסוי אקראי מתאים במיוחד להערכת התערבויות, אך עלול להיות קטן, קצר, עם נשירה או ביצוע לקוי. מחקר תצפיתי איכותי יכול להתאים יותר לשאלות על נזקים נדירים, פרוגנוזה או חשיפות שאי אפשר להקצות.

מה הדבר הראשון שכדאי לבדוק אחרי הכותרת?

מה הייתה השאלה המדויקת: מי השתתף, מה נבדק, לעומת מה, ומה הייתה התוצאה הראשית. אם הכותרת רחבה יותר מן השאלה שנבדקה, צריך לצמצם את המסקנה בהתאם.