Arber Xhindoli, një inxhinier softuerik me përvojë, paralajmëron se mjetet e reja të softuerit që pretendojnë të matin dukshmërinë e markave brenda ChatGPT, Claude, Gemini, Perplexity dhe Google AI shpesh ofrojnë të dhëna të pasakta. Këto platforma shndërrojnë sisteme komplekse në tregues të thjeshtë si shkalla e përmendjes, shkalla e citimit, pjesa e zërit ose renditja. Sipas Xhindolit, ndërsa këto shifra duken të besueshme, saktësia e tyre është e trilluar, pasi sistemet e AI janë të paqëndrueshme, të personalizuara dhe ndryshojnë vazhdimisht.
Scraping-u kap vetëm një sesion sintetik, i cili varet nga llogaria, historia e kërkimit, niveli i abonimit dhe vendndodhja gjeografike. Çdo ndryshim në këta parametra mund të ndryshojë përgjigjen e marrë. Për më tepër, përdorimi i automatizimit në shkallë të gjerë mund të shkaktojë ndërhyrje nga sistemet anti-abuzim të vetë produkteve të AI, duke e bërë të vështirë marrjen e një rezultati përfaqësues.
Hulumtimet nga SparkToro dhe Gumshoe kanë treguar se rekomandimet e markave ndryshojnë ndjeshëm gjatë ekzekutimeve të përsëritura të të njëjtave pyetje. Kjo do të thotë se një renditje e caktuar është thjesht një mostrë e rastësishme nga një shpërndarje më e gjerë, jo një e vërtetë absolute. Një panel i ndershëm do të duhej të shfaqte shpërndarjen, metodologjinë dhe variancën, në vend që të prezantonte një numër të vetëm si fakt të qëndrueshëm.
Përdorimi i API-ve ofron një rrugë më të kontrolluar dhe më të lehtë për t'u audituar, por ato sillen ndryshe nga aplikacionet konsumatore. Për më tepër, dashboard-et shpesh monitorojnë një grup të kufizuar pyetjesh, duke marrë vetëm një pjesë të vogël të tregut.
Sipas Xhindolit, këto mjete mund të jenë të dobishme për të kuptuar tendencat e përgjithshme, por ato dështojnë kur pretendojnë të ofrojnë saktësi të lartë pa treguar metodën e tyre. Pa transparencë mbi listën e pyetjeve, vendndodhjen gjeografike dhe formulën e vlerësimit, shifrat e shfaqura mbeten metrika të ndërtuara që nuk pasqyrojnë domosdoshmërisht atë që shohin konsumatorët realë.
Burimi: canonry.ai