תביעה חדשה נגד Character.AI: כשבינה מלאכותית מתחזה לרופא

מדינת פנסילבניה הגישה השבוע תביעה נגד החברה Character.AI, בטענה שאחד מהצ'אט-בוטים שלה התחזה לפסיכיאטר מורשה תוך הפרת חוקי רישוי רפואי של המדינה. "תושבי פנסילבניה ראויים לדעת עם מי או עם מה הם מתקשרים באינטרנט, במיוחד כשמדובר בבריאותם. לא נאפשר לחברות לפרוס כלי AI שמטעים אנשים להאמין שהם מקבלים ייעוץ מאיש מקצוע רפואי מורשה", אמר המושל ג'וש שפירו בהצהרה ביום שלישי".

צ'אט-בוט שהמציא מספר רישיון

על פי התביעה של המדינה, צ'אט-בוט בשם Emilie הציג עצמו כפסיכיאטרית מורשה במהלך בדיקה שערך חוקר התנהגות מקצועית ממשלתי. הצ'אט-בוט שמר על ההתחזות גם כאשר החוקר ביקש טיפול לדיכאון. כאשר נשאל האם היא מורשית לעסוק ברפואה במדינה, ענתה Emilie בחיוב, ואף המציאה מספר סידורי לרישיון הרפואי שלה במדינה.

לפי התביעה, התנהגות זו מהווה הפרה של חוק העיסוק ברפואה של פנסילבניה.

נוסף על שורת תביעות קודמות

זו לא התביעה הראשונה נגד Character.AI. בתחילת השנה, החברה הגיעה להסדר פשרה במספר תביעות בגין מקרי מוות של קטינים שנטלו את חייהם לאחר שימוש בפלטפורמה. בינואר, התובע הכללי של קנטאקי, ראסל קולמן, הגיש תביעה נגד החברה בטענה שהיא "טרפה קטינים והובילה אותם לפגיעה עצמית".

עם זאת, התביעה של פנסילבניה היא הראשונה שמתמקדת ספציפית בצ'אט-בוטים המציגים עצמם כאנשי מקצוע רפואיים, תופעה שעלולה להוות סכנה משמעותית לציבור.

תגובת החברה: "הכל בדיוני"

בתגובה לפניית TechCrunch, נציג מטעם Character.AI טען כי בטיחות המשתמשים היא בראש סדר העדיפויות של החברה, אך נמנע מלהתייחס לתביעה הספציפית. הנציג הדגיש את האופי הבדיוני של הדמויות שנוצרות על ידי משתמשים: "נקטנו בצעדים משמעותיים כדי להבהיר זאת, כולל הצהרות בולטות בכל צ'אט שמזכירות למשתמשים שהדמות אינה אדם אמיתי ושכל מה שהיא אומרת צריך להיחשב כבדיוני".

עוד הוסיף הנציג כי החברה מוסיפה אזהרות ברורות המציינות שאין להסתמך על הדמויות לכל סוג של ייעוץ מקצועי.

השלכות על התעשייה המקומית

המקרה מעלה שאלות מהותיות לגבי האחריות המשפטית של מפתחי צ'אט-בוטים, ובמיוחד כאלה המאפשרים יצירת דמויות על ידי משתמשים. עבור חברות ישראליות המפתחות כלי AI שיחה, בין אם בתחום הבריאות הדיגיטלית ובין אם בתחומים אחרים, המקרה מהווה תזכורת לחשיבות של מנגנוני הגנה ברורים, כתבי ויתור משפטיים מפורטים, ומערכות מניעה שמזהות ומונעות התחזות לאנשי מקצוע מוסמכים.

כמו כן, המקרה מדגיש את הצורך בפיקוח רגולטורי על שימושים רפואיים של בינה מלאכותית, תחום שבו ישראל עצמה נמצאת בתהליך של גיבוש מדיניות והנחיות. חברות מקומיות שמעוניינות לפעול בשוק האמריקאי יצטרכו להיערך לסביבה רגולטורית מחמירה יותר בכל הנוגע לשילוב AI במערכות בריאות.