Światowa premiera Samsung Galaxy S8, jest dla nas dobrą okazją do zainicjowania nowego cyklu aktywności Soflab Technology. Jej celem jest porównanie szybkości działania różnych modeli urządzeń mobilnych. Zdając sobie sprawę z dużej liczby benchmarków i testów dostępnych w Internecie , postanowiliśmy zrobić to na swój sposób.
W pierwszej odsłonie naszych benchmarków zapraszamy na pojedynek pomiędzy najnowszym flagowcem Samsunga i jego poprzednikiem – Galaxy S7. Postaraliśmy się aby reguły były dokładnie takie same dla obu uczestników. W poniższym tekście opisaliśmy techniki i miary jakie zostały przez nas użyte, a także wyniki, których interpretacja nie wymaga specjalistycznej wiedzy. Sam przebieg przeprowadzonego przez nas porównania, można natomiast zobaczyć na załączonych niżej filmach.
Kilka słów wprowadzenia
Jak przystało na profesjonalistów z branży testów oprogramowania i specjalistów w ich automatyzacji, postawiliśmy na maksymalnie obiektywne podejście do zagadnienia i wykorzystaliśmy do tego celu właśnie automaty testowe operujące na telefonach z naszego laboratorium urządzeń mobilnych. W tym przypadku rozumiemy „automaty testowe” jako mini-programy symulujące działanie użytkownika (np. klikanie w przyciski/pola wpisywanie tekstu w formularzach itp.). Automaty przygotowane na potrzeby tego porównania oprócz zapisywania wszystkich akcji do bazy danych, miały jeszcze jedno ważne zadanie – pomiar czasu wykonania danej akcji.
Zastosowanie takiego podejścia ma kilka istotnych zalet. Po pierwsze pozwala wyeliminować czynnik ludzki z przebiegu samego porównania. W odróżnieniu od innych tego typu porównań odbiorca nagrania nie musi się zastanawiać nad tym, który telefon wykonał daną akcję szybciej, uwzględniając przy tym synchronizację momentu jej startu. Po drugie mieliśmy możliwość wykonania dużej liczby powtórzeń testów w krótkim czasie. Dzięki temu uzyskane przez nas wyniki bazują nie na pojedynczych testach, a na dużej próbce wykonania dokładnie tej samej sekwencji zdarzeń na każdym z urządzeń. Przebieg testowy, który został zarejestrowany na dołączonym filmie jest tylko jednym z wielu. Po trzecie w końcu, nasze automaty mierzą czas wykonywania poszczególnych operacji z dokładnością do milisekund, a więc zawsze jesteśmy w stanie obiektywnie i jednoznacznie rozstrzygnąć, które urządzenie wykonuje daną operację szybciej.
Cel i przedmiot testu
Jak już wspomnieliśmy wcześniej celem badania jest porównanie szybkości działania wybranych funkcji i aplikacji na dwóch kolejnych modelach flagowej linii smartfonów Samsunga – Galaxy S8 i Galaxy S7, w obu przypadkach działających pod kontrolą systemu Android Nougat 7.0.
W trakcie trwania naszych testów wydana została poprawka (NRD90M.G950USQU1AQD9) do oprogramowania Galaxy S8 (bez zmiany wersji systemu Android). Biorąc pod uwagę, że obecny lub przyszły użytkownik tego modelu zainstaluje tę poprawkę, dodaliśmy ją do zakresu naszych testów nie rezygnując z weryfikacji wersji bazowej. Dzięki temu oprócz samego porównania pomiędzy S8 i S7 na podstawie naszych wyników można również ocenić jaki wpływ na wydajność operacji użytkownika miała wykonana aktualizacja oprogramowania.
Punktem wyjścia do przygotowania smartfonów były ustawienia fabryczne. Następnie na obu urządzaniach zainstalowaliśmy dokładnie ten sam zestaw dodatkowych aplikacji, niezbędnych do przeprowadzenia testu starając się przy tym zsynchronizować ich położenie na ekranach obu urządzeń.
Ważne z punktu widzenia badania wydajności są parametry i podzespoły techniczne obu urządzeń. Nasz Galaxy S8 posiada dedykowany na rynki europejskie procesor Exynos 8895, a w przypadku Galaxy S7 jest to Exynos 8890. Oba urządzenia dysponują 4GB pamięci RAM DDR4 . Samsung S7 posiada standardowo 32GB pamięci dyskowej natomiast S8 – 64GB.
Zakres porównania
Zakresem badania objęte są zdefiniowane przez nas akcje użytkownika telefonu, ułożone w niezmienną sekwencję. Na ich wybór główny wpływ miała ocena częstotliwości/popularności wykonywanych czynności użytkownika. Uwzględniliśmy również restart urządzenia, który może nie jest wykonywany często ale za to jest dość czasochłonny.
Dla każdej z trzech konfiguracji sprzętów (jedna S7, i dwie S8 – przed i po update oprogramowania) wykonaliśmy 100 powtórzeń. Wyjątek stanowi wspomniana operacja restartu, dla której przeprowadziliśmy po 5 prób ze względu na ograniczenia w zakresie automatycznego pomiaru czasu wykonania. We wszystkich przypadkach uruchomienia, sposób wykonywania testów oraz punkty pomiaru czasu były zdefiniowane dokładnie tak samo, w celu zapewnienia porównywalności rezultatów.
Scenariusze można podzielić na dwie grupy:
- funkcjonalności i aplikacje wbudowane – ściśle związane z danym urządzeniem (takie jak ustawienia telefonu, restart, przewijanie ekranów, aparat)
- funkcjonalności aplikacji dodatkowych (dostępnych w tej samej postaci na różnych telefonach i systemach operacyjnych – takich jak Facebook, Instagram, GMail, Google Maps itp.).
Wszystkie scenariusze dotyczące aplikacji do których użycia wymagane jest logowanie zostały uruchomione z już zalogowanym użytkownikiem.
Lista akcji objętych naszym testem:
Testy funkcjonalności i aplikacji wbudowanych | Testy aplikacji dodatkowych |
|
|
Technika badania i zbierania wyników
Do przygotowania, uruchamiania i zebrania wyników działania skryptów automatycznych posłużył zestaw narzędzi wybranych przez naszych ekspertów automatyzacji testów.
Warto odnotować kilka aspektów technicznych, które braliśmy pod uwagę przygotowując się do przeprowadzenia testów. Jednym z nich jest metoda zbierania metryk, która polegała na wywołaniu danej akcji, a następnie zmierzeniu czasu potrzebnego urządzeniu na jej realizację – czyli do momentu wyświetlenia konkretnych elementów na ekranie. Drugim aspektem jest to, że nasze rozwiązanie charakteryzuje się niewielkim wpływem na obciążenie testowanego urządzenia, a także niewielką ilością przesyłanych danych pomiędzy nim, a komputerem inicjującym testy. Jest szczególnie ważne, ponieważ model Galaxy S8 posiada port USB typu C, który z założenia umożliwia znacznie szybszy transfer danych od dostępnego w S7 micro USB .
Kolejną kwestią wymagającą wyjaśnienia jest fakt, że z uwagi na „nadludzką” szybkość wykonania skryptu automatycznego czas każdej operacji został sztucznie wydłużony. Do każdego kroku została dodana 1 sekunda tzw. „thinktime”, czyli czasu oczekiwania przed przystąpieniem do wykonywania kolejnego kroku.
Wyniki testu
Niżej przedstawiamy wyniki testu. Podane wartości są średnimi arytmetycznymi z 90% wszystkich 100 wyników zebranych dla każdej z trzech konfiguracji sprzętu. Odrzuciliśmy po 10% skrajnych wyników w każdej próbce. Czas trwania restartu urządzenia prezentujemy na oddzielnym wykresie ze względu na najdłuższy czas wykonania tej operacji. Umieszczenie go na wspólnym wykresie z pozostałymi, zmieniłoby skalę osi czasu i zmniejszyłoby czytelność wyników.
Na ich podstawie każdy jest w stanie stwierdzić, które operacje, na którym urządzeniu są wykonywane szybciej, a które wolniej. Chcemy pozostawić do indywidualnej oceny to, czy różnice w czasach działania tych urządzeń w wykonywaniu poszczególnych operacji są dla niego istotne czy też nie. Nie należy jednak przy tym posługiwać się nimi rozłącznie lub wybiórczo i wykorzystywać ich do innych celów niż to bezpośrednie porównanie.
Na podstawie zestawienia, które prezentujemy każdy jest w stanie stwierdzić – które operacje, na którym urządzeniu są wykonywane szybciej, a które wolniej. Chcemy pozostawić do indywidualnej oceny to, czy różnice w czasach działania tych urządzeń w wykonywaniu poszczególnych operacji są dla niego istotne czy też nie. Nie należy jednak przy tym posługiwać się nimi rozłącznie lub wybiórczo i wykorzystywać ich do innych celów niż to bezpośrednie porównanie.
Mamy nadzieję, że nasz pierwszy z cyklu test porównawczy okazał się interesujący na tyle, aby zasubskrybować nasz kanał na YouTube, lub zostawić komentarz.