Grok и GPT на OpenAI са препоръчали различни кандидати в над 90% от близо 500 изборни надпревари. Grok е избирал предимно републиканци, докато GPT е предпочитал демократи, показва проучване, цитирано от TechCrunch.
Двата водещи AI модела са получили един и същ основен тип задача, но отговорите им са се разделили по противоположни партийни линии. Резултатът не показва как биха реагирали в обикновен политически разговор. Той показва, че изискването за една конкретна препоръка може да извади наяве резки разлики между моделите.
Според наличната информация изследователите са накарали всеки модел да избере между кандидати в близо 500 изборни надпревари, след което са сравнили резултатите. В предоставеното резюме не са посочени точните подкани, надпреварите, версиите на моделите или методът за оценяване. Затова всяко твърдение как системите са стигнали до отговорите си би надхвърлило известните факти.
Основният резултат е делът на разминаванията. Grok и GPT са избрали различни кандидати в над 90% от тестваните надпревари. Изборите на Grok са били преобладаващо републикански, а тези на GPT са били демократически. Наличната информация не съдържа точни проценти по партии за нито един от двата модела.
Тестът със задължителен избор прилича повече на това да накараш компас да посочи север или юг, отколкото да поискаш от него да начертае цяла карта. Той показва посоката на отговора под натиск, но не обяснява пътя до него. Моделите може да реагират различно, ако имат право да откажат, да сравнят политически позиции или да изразят несигурност.
Наличното резюме не включва и ограниченията, посочени от авторите на проучването. Не е ясно дали изследователите са повтаряли подканите, променяли са формулировките им, контролирали са реда на имената или са тествали различни версии на моделите. Тези подробности могат да покажат дали резултатите отразяват устойчиво поведение, или чувствителност към начина на провеждане на теста.
Проучването не доказва, че всеки отговор на Grok е републикански, нито че всеки отговор на GPT е демократически. Изводът е по-тесен и важи за препоръки при задължителен избор. Това ограничение е важно, когато продукти превръщат отговорите на моделите в класации, препоръки или насоки за избиратели. Потребителят може да получи само един отговор, без да вижда колко силно подканата го е предопределила.
Разработчиците трябва да тестват точно взаимодействието, което потребителите ще срещнат. Общ тест за безопасност може да пропусне модели на поведение, които се появяват само когато системата трябва да избере един човек, продукт или политика. Политическите тестове трябва да записват подканата, версията на модела, възможността за отказ и резултатите от повторни опити, след което да сравняват отговорите между партии и изборни надпревари.
Екипите, които използват AI за изборна информация, вече имат конкретна проверка преди пускане: да проведат и документират балансиран тест със задължителен избор, преди да показват на потребителите генерирани от модел препоръки за кандидати.
Тази статия не е правен съвет.
