Discord'un Yapay Zekâsı, Yanlışlıkla 8 Bin Kullanıcıyı Banladı

Türkiye’de uzun süredir kapalı olan Discord da diğer tüm platformlar gibi yapay zekâ sistemlerini entegre etmeye başlamıştı. Hatta bir süredir yapay zekâ destekli bir moderasyon sistemi de kullanılıyordu. Ancak şirketten bu güvenlik sisteminin hâlâ mükemmel olmadığını gösteren bir açıklama geldi. Discord, platformun yapay zeka destekli güvenlik sisteminde meydana gelen teknik bir hata nedeniyle son iki ay içinde 8.000'den fazla kullanıcının hesabını yanlışlıkla banladığını resmen açıkladı. Hiçbir sorunu olmayan görseller “zararlı içerik” etiketi yedi Mayıs ayından bu yana devam eden bu problem, özellikle platformu iş, oyun toplulukları veya sosyal bağlar için aktif kullanan topluluklarda büyük bir şok yarattı. Şirket, sorunun fark edilip çözülmesinden hemen önceki hafta sonunda bile 200 ek kullanıcının daha bu hatadan etkilendiğini ifade etti. Hatalı şekilde kapatılan tüm hesapların geri yüklenme sürecinin başladığı bildirildi. Kullanıcıların platformdan kalıcı olarak uzaklaştırılmasına neden olan görseller arasında satranç tahtaları, Excel benzeri veri tabloları, beyaz ve gri renkli şeffaf arka planlar gibi alakasız, ihlal yapmayan içerikler bulunuyor. Birçok kullanıcı, dümdüz bir kareli görsel yüklediklerinde bile “zararlı içerik” etiketi yediklerini söylüyor. Bu da Discord’un yapay zekâ sisteminin kusurlarını gözler önüne seriyor. Discord yetkililerine göre sistem yüklenen içerikleri bilinen zararlı materyallerin veri tabanlarıyla eşleştirerek çalışıyor. Son zamanlarda ise grid desenlerine karşı aşırı hassas hâle getirilmişti. nedeni ise kötü niyetli kişilerin, illegal ya da çocuk istismarı içeriklerini otomatik algılama sistemlerinden kaçırmak için bu tür kare ve ızgara desenleriyle gizlemeye çalışmasıydı. Sistemin bu yüzden benzer gördüklerini zararlı olarak nitelendirmiş olması muhtemel. Normalde bu zararlı içerikler için insan incelemesi de gerekiyor. Ancak sistemde yaşanan bir hata, hiç insanlara gitmeden hesapların direkt askıya alınmasına neden olmuş.