Primerjalna referenca Huawei prikaže zasebne in javne teste z manipulirano močjo SoC.
Pred nekaj tedni smo pokrivali Huawei s profesionalno DSLR kamero v reklami o njihovih zmožnostih za samoportrete in zdi se, da preprosto ne morejo nehati iskati načinov, kako poskusiti prevarati potrošnike - tokrat s svojimi merili, s katerimi manipulirajo.
Merila uspešnosti so priljubljena in ( do zdaj?) zakonit način predstavitve zmogljivosti naprave - bodisi njenih merilnikov zmogljivosti CPU-ja, GPU-ja ali sistema. Bistvo meril je, da potrošnikom zagotovimo natančen rezultat, kako naprave delujejo pod stresom.
Žal se zdi, da je Huawei v nekatere svoje najnovejše naprave vključil 'mehanizem zaznavanja merilnih vrednosti'. Ta mehanizem v bistvu potisne SoC na veliko višjo mejo moči in toplotni prostor, ko zazna, da je primerljiv v določenih aplikacijah, kar ima za posledico veliko višje rezultate, kot bi jih uporabniki običajno dobili pri vsakodnevni uporabi. To ni samo nepošteno, ampak nevarno za življenjsko dobo SoC in lahko zelo hitro pregreje napravo in skrajša njeno življenjsko dobo.
Huaweijev zagovor te prakse lahko najbolje povzamemo kot: ' vsi drugi to tudi počnejo! ' - in na žalost imajo pravzaprav prav. Benchmark goljufanje sploh ni nič novega - na PC sceni se je razmahnilo pred desetletjem, nekaj časa pa tudi na mobilni sceni.
Različne naprave so bile odstranjene iz 3DMarka za primerjalno manipulacijo.
Različica Exynos za Samsung Galaxy S4 je bila ujeta pri podobnih praksah goljufanja in uredniki spletnega mesta za mobilne preglede AnandTech odkril veliko število drugih prodajalcev pametnih telefonov, ki manipulirajo tudi s primerjalnimi podatki. To je privedlo do številnih naprav, kot so Galaxy S4, Galaxy Note 3, HTC One in številne druge črtano s seznama iz baze podatkov 3DMark.
Čeprav je večina proizvajalcev prenehala z vedenjem, potem ko so bili poklicani, so nekateri nadaljevali - na primer OnePlus je nadaljeval goljufanje v priljubljenih merilih, kot je GeekBench, čeprav je očitno ustavil prakso že od OnePlus 5T - ki je pravzaprav odlična naprava in je zelo priljubljena v skupnosti za modding in razvoj, zato je morda OnePlus menil, da je ne potrebujejo za manipulacijo s primerjalnimi podatki.
Na žalost se zdi, da Huawei nadaljuje tam, kjer so drugi prodajalci naprav ustavili, saj obstajajo preverjena poročila o tem, da Huawei manipulira z merili z napravami, vključno s Huawei P20, Huawei P20 Pro in Honor Play. V bistvu se je zmogljivost Huawei P20 nazadovala v primerjavi s Huawei Mate 10 Pro - in takrat je Huawei dejal, da je ' težava z vdelano programsko opremo ”- odkrita laž, saj je pravzaprav prišlo do zgoraj omenjenega mehanizma za zaznavanje referenčnih vrednosti, ki sproži zelo visoko mejno vrednost za SoC.
To ni samo slabo za SoC, saj se celotna učinkovitost SoC zmanjša, ko se to stori, ker SoC potisne no zunaj običajnega operacijskega okna ( predstavljajte si, da overclocking vaš CPU tako visoko, kot je lahko brez kakršne koli termične masti) . Vendar je to tudi slabo za trgu sama.
Prvič, SoC izgleda slabo, kot da bi bil potrebe da se z referenčnimi podatki manipulira tako, da jih je vredno prodati. Drugič, dvomi na kitajski trg pametnih telefonov - ki je že poln imitacij, klonov in senčnih praks. Poleg tega je Huaweijevo primerjalno vedenje morda najbolj očarljivo doslej, saj res obstaja zelo veliko razlika v rezultatih delovanja z vključenim mehanizmom zaznavanja primerjalne vrednosti v primerjavi s časom, ko je izklopljen. Toliko, to AnandTech pripomnil, da so razlike v javno dostopnih rezultatih primerjalnih rezultatov in njihovih notranjih testiranjih „ popolnoma presenetljivo '.
Huawei se je odzval, da so ga odkrili, in kot smo že povedali, je bil njihov odgovor v bistvu ' to počnejo tudi vsi drugi '. Kaj so dobesedno rekli ( citat dr. Wanga Chengluja, predsednika programske opreme pri Huaweijevi potrošniški poslovni skupini) je bilo drugi delajo isto, dosegajo visoke ocene, Huawei pa ne more molčati. Huawei želi skupaj z drugimi na Kitajskem poiskati najboljše merilo preverjanja za uporabniško izkušnjo. '
Dr.Wang je opozoril tudi na druge proizvajalce z zavajajočimi referenčnimi številkami in kot največjega krivca navedel neimenovanega priljubljenega proizvajalca pametnih telefonov na Kitajskem. Po mnenju dr. Wanga je primerjalno varanje postalo 'običajna praksa na Kitajskem' in medtem ko se Huawei želi 'odpreti' potrošnikom, imajo težave, ko tekmeci 'nenehno objavljajo nerealne rezultate.' Huawei se poskuša soočiti s svojo glavno kitajsko konkurenco, kar je navidez težko, ko drugi proizvajalci naprav ustvarijo nerealne številke rezultatov.
Če povzamem, Huawei
- Priznava, da manipulirajo s primerjalnimi številkami
- Priznava, da to počnejo vsi ostali na kitajskem trgu telefonov
- Ne načrtuje ustavitve zaradi številke 2.
Kako lahko kdo zaupanje kitajski trg telefonov po takšnih stvareh? V vsakem primeru je Huawei izjavil, da bo družba zagotoviti, da bodo prihodnje referenčne podatke neodvisno preverjale tretje osebe '.
Huawei je na XDA poslal popoln odgovor:
»Huawei vedno daje prednost uporabniški izkušnji, namesto da bi zasledoval visoke ocene uspešnosti - še posebej, ker med primerjalnimi preizkusi pametnih telefonov in uporabniškimi izkušnjami ni neposredne povezave. Pametni telefoni Huawei uporabljajo napredne tehnologije, kot je umetna inteligenca, za optimizacijo delovanja strojne opreme, vključno s CPU, GPU in NPU.
Ko nekdo zažene aplikacijo za fotografiranje ali igra grafično intenzivno igro, Huaweijeva inteligentna programska oprema ustvari gladko in stabilno uporabniško izkušnjo z uporabo vseh zmogljivosti strojne opreme, hkrati pa upravlja temperaturo in učinkovitost porabe energije naprave. Za aplikacije, ki niso tako intenzivne, kot je brskanje po spletu, bo dodelila le sredstva, potrebna za zagotavljanje potrebne zmogljivosti.
Ko v običajnih scenarijih primerjalnih preizkusov programska oprema Huaweia prepozna aplikacijo za primerjalno preizkušanje, se inteligentno prilagodi »Performance Mode« in zagotovi optimalno delovanje. Huawei načrtuje, da bo uporabnikom omogočil dostop do »Performance Mode«, da bodo lahko uporabili največjo moč svoje naprave, ko bodo to potrebovali.
Huawei je kot vodilni v industriji pripravljen sodelovati s partnerji, da bi našli najboljše standarde primerjalne analize, ki lahko natančno ovrednotijo uporabniško izkušnjo. '
V vsakem primeru, prav merila, ki jih vodijo AnandTech preizkusili Huawei P20, P20 Pro in Honor Play - in vse naprave so se izvajale podobno, ker imajo vsi isti HiSilicon Kirin 970 SoC - vendar je dejanska zmogljivost vsake naprave omejena s toplotnimi omejitvami, saj ima vsaka naprava različna zasnova podvozja in hlajenja. Huawei P20 Pro ima najboljše termične lastnosti, zato je v resničnem stanju boljši.
Urednik časopisa AnandTech , Andrej Frumusanu, je povedal naslednje:
»V preteklosti smo že videli, da prodajalci dejansko dvignejo frekvence SoC ali pa jih zaklenejo na svoja maksimalna stanja, kar poveča zmogljivost, ki je večja od tiste, ki je običajno na voljo splošnim aplikacijam. Huawei namesto tega krepi referenčne rezultate tako, da prihaja iz druge smeri - aplikacije primerjalnega preizkušanja so edini primeri uporabe, pri katerih SoC dejansko deluje s svojimi oglaševanimi hitrostmi. Medtem se vsaka druga resnična aplikacija zaradi toplotnih omejitev strojne opreme močno zmanjša pod to stanje. To, kar na koncu vidimo z neomejeno zmogljivostjo, je morda 'resnična' oblika neomejenega SoC, čeprav je to povsem akademsko v primerjavi s tem, kar uporabniki dejansko doživljajo. '
Njihovi grafi kažejo, da Huaweijevi najnovejši telefoni v resničnem stanju že dosežejo 3,5–4,4 W, medtem ko je 3,5 W TDP največja količina, ki jo je mogoče vzdrževati. Po drugi strani pa telefon pri izvajanju javno dostopnih meril pretira s TDP, pri čemer vrednosti moči presegajo 6 W in dosegajo 8,5 W. Kot ugotavlja AnandTech, te številke hitro sprožijo obvestilo o pregrevanju naprave, kar pomeni neusklajenost toplotnih omejitev s pričakovanji programske opreme.
Iz te situacije lahko vzamemo, da resnične številke zmogljivosti niso stabilne, saj so odvisne od temperature telefona. Huawei ne prepreči, da bi grafični procesor dosegel najvišje frekvenčno stanje GPU. Privzeto vedenje je pravzaprav 'oster mehanski mehanizem za dušenje […], ki bo poskušal vzdrževati bistveno nižje temperature temperature SoC in skupno porabo energije.'
Običajni način telefonov lahko med primerjalnimi preizkusi GPU doseže enake vrednosti največje porabe energije kot tisti, ki jih objavljajo neomejene različice. Vendar se te številke hitro znatno vrnejo in AnandTech ugotavlja, da se telefon v nekaterih primerih zmanjša na 2,2 W, kar ima za posledico znatno zmanjšanje zmogljivosti.
Publikacija navaja, da je bilo primerljivo vedenje goljufanja na videz uvedeno le v letošnjih napravah. Na telefone, kot sta Huawei Mate 9 in Huawei P10, to ne vpliva in zdi se, da to vpliva le na EMUI 8.0 in novejše naprave. Iz Huawei-ja so AnandTechu tudi povedali, da gre za 'zgolj programsko izvedbo', kar potrjuje ugotovitve publikacije.
AnandTech je objavil resnične podatke o zmogljivosti GPU za prizadete telefone s pogonom Kirin 970 in zaključek je, da je Huawei bistveno zaostaja za svojimi konkurenti tako po zmogljivosti kot učinkovitosti GPU .
Publikacija je objavila tudi grafe primerjave moči za naprave Huawei Kirin 970 in Kirin 960. Grafi kažejo, da so Huaweijeve prilagoditve dušenja moči dejansko boljše za uporabniško izkušnjo, saj ublažijo problem večje porabe energije. AnandTech-ovo testiranje Kirina 960 je pokazalo, da je imel 'grozne značilnosti moči GPU-ja', medtem ko imajo naprave s pogonom Kirin 970 nov strog mehanizem za dušenje, ki zmanjšuje porabo energije in temperature.
AnandTech je omenil tudi, da je nova politika dušenja smiselna, če upoštevamo dejstvo, da tako Kirin 960 kot Kirin 970 kažeta, da je poraba moči precej višja od njihove trajnostne ravni za posamezne oblike.
Čeprav Huawei ni nujno storil nič narobe z uvedbo novega mehanizma dušenja, je zagotovo prestopil prag goljufanja z izključitvijo priljubljenih primerjalnih aplikacij prek belega seznama, kar v tem primeru imenujemo primerjalno varanje.
UL, ki je prevzel Futuremark, družbo, ki stoji za PCMark in 3DMark, je Huawei P20, Huawei P20 Pro, Huawei Nova 3 in Honor Play izločil iz 3DMark.
Podjetje je preverilo primerjalno varanje na Huawei P20 Pro, Huawei Nova 3 in Honor Play. Na podlagi testiranja in poročanja AnandTech je črtal tudi standardni Huawei P20. Uporabniki si ne bodo mogli več ogledati primerjalnih rezultatov prizadetih telefonov, saj podjetje ne želi gostiti goljufivih primerjalnih rezultatov.
Družba je ugotovila, da so bili rezultati iz javne aplikacije 3DMark do 47% višji od ocen iz zasebne aplikacije (ki ni na voljo javnosti), kljub dejstvu, da so testi enaki.
V sporočilu je UL dodal, da je vesel, da se je Huawei v prihodnosti zavezal k bolj preglednemu pristopu. UL meni, da so izbirni načini delovanja, ki jih lahko nastavi uporabnik, dovoljeni v skladu s trenutnimi pravili, če so privzeto onemogočeni. Družba navaja: 'Naprava mora izvajati merilo uspešnosti, kot da bi šlo za katero koli drugo aplikacijo.'
Skratka, vsa merila uspešnosti grafičnega procesorja Huawei, ki so bila sprejeta z javno dostopnimi merili, ne bi smela biti predstavljena kot dejanska uspešnost.
Huawei se je obrnil na UL, da bi razpravljal o najboljših praksah za testiranje primerjalnih vrednosti, in izdal izjavo:
»Huawei in UL (ustvarjalca 3DMark) sta ta teden izvedla obsežne razprave o praksah primerjalne analize in dosegla pozitiven dogovor o naslednjih korakih skupnega sodelovanja.
V razpravi je Huawei pojasnil, da njegovi pametni telefoni uporabljajo mehanski inteligentni mehanizem za razporejanje virov. Ker imajo različni scenariji različne potrebe po virih, najnovejši telefoni Huawei izkoristijo inovativne tehnologije, kot je umetna inteligenca, za optimizacijo razporejanja virov na način, da lahko strojna oprema v celoti izkaže svoje zmogljivosti, hkrati pa izpolnjuje zahteve uporabnikov v vseh scenarijih.
UL razume namen Huaweijevega pristopa, vendar nasprotuje temu, da privzeto uporabi 'način delovanja', ko naprava zazna aplikacijo za primerjalno preizkušanje. Pravila UL zahtevajo, da naprava izvaja primerjalno preizkušanje, kot da bi šlo za katero koli drugo aplikacijo.
Huawei spoštuje pravico potrošnikov, da izberejo, kaj bodo storili s svojimi napravami. Zato bo Huawei uporabnikom omogočil odprt dostop do »Performance Mode« v EMUI 9.0, tako da bo uporabnik lahko izbiral, kdaj bo uporabil največjo moč svoje naprave.
Huawei in UL sta na splošno razpravljala tudi o trenutnih skupnih metodologijah preskušanja referenčnih vrednosti. UL in Huawei bi želela sodelovati v industrijskem gibanju za razvoj standardov primerjalne analize, ki najbolje ustrezajo potrebam proizvajalcev, tiska in potrošnikov.
Da bi preprečili zmedo glede trenutnih rezultatov primerjalnih preizkusov, sta UL in Huawei po razpravi začasno črtala rezultate primerjave številnih naprav Huawei in jih bosta ponovno vzpostavili, ko bo Huawei vsem uporabnikom prenosnih telefonov Huawei omogočil dostop do načina delovanja. '
Oznake Huawei
