מערכות בינה מלאכותית שאומנו על ידי RLHF מתוגמלות באופן שיטתי על הפקת תפוקות שמקבלות ציון גבוה בהעדפה אנושית ממוצעת - מה שדוחף אותן מתמטית לעבר בינוניות יצירתית. מאמר זה מגדיר את מלכודת B+, מזהה RLHF כמנגנון המבני, ומציע מסגרת בינה מלאכותית מורדית הבנויה על חיפוש חדשנות, סוכנים מתבדרים עוינים ומשוב מטה-קוגניטיבי.