האם ChatGPT יכול לכתוב קוד מחקרי?
מחקר חדש בוחן עד כמה אפשר לסמוך על ChatGPT במשימות קידוד סטטיסטיות מורכבות, במיוחד בהסקה סיבתית. התוצאה אינה תשובה פשוטה של כן או לא, אלא תמונה מדויקת יותר: מודלי שפה יכולים להאיץ מחקר כמותי, אך רק כאשר מומחים יודעים לבדוק, להריץ ולאמת את הקוד.
שאלת האמון בקוד שמייצרת בינה מלאכותית
הדיון סביב כלי כתיבת קוד מבוססי AI עבר שלב. השאלה כבר אינה רק אם ChatGPT מסוגל לכתוב פונקציה, לתקן שגיאה או להמיר קוד מ-R ל-Python. השאלה החשובה יותר היא אם ניתן לסמוך עליו כאשר הקוד מגלם החלטות מתודולוגיות, למשל במחקר כלכלי, בריאותי או חברתי שבו טעות קטנה בהגדרת מודל עלולה לשנות מסקנה שלמה.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
מאמר שפורסם ב-Towards Data Science דן במחקר של וינברג, צאי, טאנג, שואן, מרקי ושי, שבחן את יכולות ChatGPT-4.0 Pro ביצירת קוד למשימות הסקה סיבתית. החוקרים לא הסתפקו בהתרשמות כללית מאיכות הקוד, אלא השוו את התוצרים לקוד ולפלטים מוכרים מתוך הספר Causal Inference: The Mixtape של סקוט קנינגהם. זו נקודה קריטית, משום שבמחקר כמותי קוד שנראה נכון אינו בהכרח קוד שמפיק תשובה נכונה.
למה הסקה סיבתית היא מבחן קשה במיוחד
הסקה סיבתית אינה עוד תרגיל תחבירי. שיטות כמו Difference-in-Differences, שקלול לפי הסתברות טיפול הפוכה ו-Regression Discontinuity דורשות הבנה של מבנה הנתונים, בחירת משתנים, בניית אינטראקציות, הגדרת קבוצות טיפול ובקרה, ולעיתים גם פרשנות זהירה של גרפים ומקדמים. מודל שפה יכול לדעת כיצד נראית פקודת רגרסיה, אבל עדיין לטעות בשאלה מהי הרגרסיה הנכונה.
המחקר בדק את הביצועים בשלוש סביבות עבודה: Python, R ו-Stata. הממצא המרכזי היה ש-ChatGPT הצליח טוב יותר ב-Python וב-R מאשר ב-Stata. זה אינו מפתיע. סביב Python ו-R קיימים מאגרי קוד, מדריכים ודיונים ציבוריים בהיקף עצום, ולכן סביר שמודלי שפה נחשפו לדוגמאות רבות יותר. Stata, לעומת זאת, נפוצה מאוד באקדמיה ובכלכלה יישומית, אך חלק גדול מהידע המעשי סגור יותר, מוסדי יותר ופחות נגיש ברשת הפתוחה.
המשמעות העסקית: פרודוקטיביות כן, אוטונומיה לא
עבור ארגונים, בנקים, חברות ייעוץ, גופי מחקר וצוותי דאטה, המסקנה אינה להימנע מכלי AI. להפך. שימוש נכון ב-ChatGPT, Claude או GitHub Copilot יכול לקצר משמעותית תהליכי הכנה, ניקוי נתונים, בניית גרפים, כתיבת טיוטות קוד ותיעוד מתודולוגי. במקרים רבים, מה שבעבר דרש יום עבודה של אנליסט יכול להפוך לשעת עבודה אחת של מומחה שמפקח על מודל.
אבל כאן טמון גם הסיכון. ככל שהקוד מתקבל מהר יותר ונראה משכנע יותר, כך קל יותר לוותר על בדיקה. בארגון מקצועי זו עלולה להיות נקודת כשל: קוד שרץ ללא שגיאה אינו בהכרח קוד נכון. הוא עשוי להשתמש במשתנה שגוי, להשמיט אפקטים קבועים, לבחור חלון שרירותי במודל RD או להפיק גרף שמספר סיפור שגוי לחלוטין.
המומחה האנושי הופך חשוב יותר
הלקח העמוק הוא שמודלי שפה אינם מחליפים מומחיות מתודולוגית. הם משנים את חלוקת העבודה. החוקר או האנליסט כבר אינו חייב להתחיל מכלום, אך הוא חייב לדעת לשאול, להגדיר, להריץ, להשוות ולאתגר את התוצאה. דווקא בעולם שבו AI כותב יותר קוד, עולה הערך של מי שמבין מדוע הקוד נכתב כך ולא אחרת.
לכן, הדרך הנכונה לאמץ כלי קידוד מבוססי בינה מלאכותית היא לבנות סביבם נהלי אימות: השוואה לפלטים ידועים, בדיקות יחידה, סקירת קוד אנושית, תיעוד פרומפטים ובחינה מחודשת של ההנחות הסטטיסטיות. ChatGPT יכול להיות עוזר מחקר מהיר במיוחד. הוא עדיין אינו חוקר אחראי.