Xiaomi поймали на мошенничестве в тесте камеры Mi8 на DXOMark
Xiaomi стала одной из самых успешных компаний-производителей смартфонов в последнее время. Компания особенно показала себя в Индии, где недавно подвинула компанию Samsung с позиции самых продаваемых смартфонов.
Xiaomi не новичок в спорах, будучи виновником проблем, начиная с нарушения конфиденциальности и заканчивая инвазивным внедрением рекламы, за что, кстати, многие терпеть не могут Xiaomi.
Плюсом к этому: было обнаружено, что Xiaomi обманул или, по крайней мере, пытался манипулировать баллами в тесте производительности камеры DxOMark для Mi 8.
Mi 8 был презентован в мае этого 2018 года. На презентации Xiaomi ничего не скрывала. Оценка DXOMark 99 из 100 (у Pixel 2 оценка 98!). Разработчик XDA / Defcomg, который особенно известен своей работой над модификациями Google Camera, благодаря своим усилиям по извлечению данных, теперь обнаружил, что Xiaomi использует распознавание сцен, чтобы идентифицировать сцены тестирования камеры DXOMark и улучшил вывод для этих конкретных сцен, чтобы незаконно достичь высоких результатов.
Это было сделано путем установки фильтров для этих сцен в файле (/vendor/lib/camera/com.qti.tuned.semco_imx363.bin), который представляется базой данных для значений коррекции цвета на основе сцены.
На момент написания этой статьи были подтверждены ссылки на упомянутый «тюнинг» в том же файле, взятом из последней версии стандартного ПЗУ Mi 8.
Перебирая файл с помощью шестнадцатеричного редактора, можно было увидеть, что было не менее 190 различных ссылок на условия тестирования DXOMark. Некоторые примеры ссылок, которые мы определили, включают:
1. «DXO: Yellow Wood Table»
2. «DXO: Greed Water»
3. «DXO: Office table-1»
4. «DXO: Office table-2»
5. «DXO: Red Plastic Board»
Что мы думаем насчет этого:
Исходя из того, что говорит Defcomg, мы считаем, что Xiaomi использовала данные распознавания сцен, основанные на тестовых сценах DXO из прошлых тестов камеры для того, чтобы распознать эти сцены, когда камера тестировала и применяла хорошо настроенные значения баланса белого.
Для этих конкретных сцен полученные изображения выглядели почти идеально, с точки зрения цветопередачи. Таким образом, они получат высокие баллы, поскольку камера будет выглядеть хорошо настроенной, в то время как на самом деле только эти конкретные сцены были настроены почти до совершенства.
Более простыми словами – это очень похоже на то, как так называемые режимы «AI» – это модель данных распознавания изображений, которые большинство OEM-производителей в наши дни включают в работу приложений на своих устройствах, (эта модель данных содержит ключевые моменты, с которыми распознавание изображения используется для распознавания сцены и применения фильтров, специфичных для этих сцен, чтобы выходное изображение выглядело лучше, чем при обычной съемке).
Только в этом случае Xiaomi использовала эту особенность, чтобы специально улучшить вывод тестовых сцен DXO для манипулирования рейтингом компаний. Мы попытались сопоставить строки DXO с тестовыми сценами из видео-обзора DXO, чтобы подтвердить наши утверждения. Вот несколько примеров:
1. «DXO: Office Yellow Wood Table»
2. «DXO: Green Water»
3. «Для офиса DXO-1» (может быть любым из офисов), «Для офиса DXO-2» (может быть любым из столов), «Red Plastic Board для офиса DXO» (красная доска помещена на полку с синей стеной).
Хорошо осознавая, насколько высоки наши обвинения, мы предлагаем краткие инструкции как получить доказательства, на которых основаны наши претензии. Вам судить!
Пошаговая инструкция для получения доказательств:
1. Получите копию файла com.qti.tuned.semco_imx363.bin из /vendor/lib/camera/com.qti.tuned.semco_imx363.bin на Mi8 (требуется root-доступ). Для удобства я привожу здесь ссылку на файл (связанный файл взят из дампа стандартного ПЗУ Mi 8 на базе Android 9).
2. Откройте файл с помощью шестнадцатеричного редактора, я бы порекомендовал использовать Hex Workshop.
3. Нажмите Ctrl + F, установите тип «Текстовая строка», установите значение «dxo» (мы ищем ссылки на DXOMark), убедитесь, что пункт «Найти все экземпляры» отмечен, и нажмите OK.
4. Теперь Вы сможете просматривать все ссылки на условия теста DXO, которые Xiaomi подготовил для камеры, как показано на скриншотах ниже (скриншоты случайные, в произвольном порядке).
Почему это стало возможно:
Из этого инцидента становится очевидным, что Xiaomi использовала тот факт, что DXOMark использует аналогичные тестовые сцены для оценки камер, подготавливая данные распознавания сцен для тестовых сцен, которые DXO использовал ранее, и, вероятно, будет использовать и применять конкретные улучшения к этим сценам, тем самым эффективно манипулируя.
Этого можно избежать, используя разные тестовые сцены для разных устройств, но это может привести к несоответствиям в процессе оценки. Единственный способ, которым DXOMark может по настоящему гарантировать, что подобное не случится – это требование предварительной проверки программного обеспечения камеры на устройстве.
Нет необходимости говорить, что это открытие довольно скандальное и крайне разочаровывающее, видя, как Xiaomi настойчиво продвигает предполагаемое превосходство камеры Mi 8 над другими известными флагманами. А недавно было объявлено о специализированном отделе, который занимается разработкой и улучшением камер. Чем они там занимаются?
Есть надежда, что Xiaomi и/или DXOMark признают – фиаско. Кроме того, видя, как просто манипулировать эталонным тестом DXO из этого инцидента, кто знает, сколько других OEM-производителей применили аналогичные методы (мы это узнаем!).
Мы обратились к Xiaomi за ответом по этому вопросу.
Дайте нам знать, что вы думаете в комментариях и следите за обновлениями.
Статья взята с сайта https://www.androguider.com/
