OSnews.PL

Testy wydajności Linuksa 2.6.26

Serwis Phoronix opublikował testy wydajności jądra Linuksa w wersji 2.6.26 w porównaniu do 2.6.25.

Wyraźnie widać, że nowe jądro jest szybsze. Te same aplikacje kodujące dźwięk, wideo, kompresujące czy prowadzące skomplikowane obliczenia działają krócej. Niestety w artykule zabrakło testów gier, a chętnie bym zobaczył czy, przykładowo, Enemy Territory ma więcej klatek w 2.6.26.

Nowe wersje różnych innych systemów operacyjnych mają zazwyczaj większe wymagania sprzętowe od starszych. W przypadku Linuksa jest inaczej – nowe wersja działa szybciej, od poprzedniej.



PODOBNE WPISY:

żadnych reklam, sama wiedza.

Zarejestruj się na BEZPŁATNY NEWSLETTER i raz w tygodniu otrzymuj najważniejsze wiadmości
ze świata IT, nowych technologii i kryptowalut.

Bez reklam.

Zarejestruj się za darmo
  1. Awatar michug
    michug

    różnica w granicach błędu statystycznego, też mi powód do podniety

    Odpowiedz
    1. Awatar abc
      abc

      Tak czy siak jeśli przy zwiększaniu ilości funkcji wydajność nie spada, to chyba dobrze?

      Odpowiedz
      1. Awatar jarek
        jarek

        To akurat nic szczegolnego.

        A jak ze zuzyciem pamieci? Nadal na tym samym poziomie?

        Odpowiedz
        1. Awatar nobody
          nobody

          Znaczy co? Ile kernel ramu teraz zjada? To raczej śmieszne pytanie.

          Odpowiedz
        2. Awatar TBH
          TBH

          odpaliłem nowy kernel na maszynie z 24 MB ramu

          zużycie na tym samym poziomie, potwierdzam 😀

          Odpowiedz
    2. Awatar pablo
      pablo

      W niektórych testach różnica jest ponad 20 sekund, akurat mieszanie w to statystyki to kiepski pomysł. Wzrost wydajności jest wydajny. Chyba uczyliśmy się innej statystyki na studiach.

      Odpowiedz
      1. Awatar LM
        LM

        Mnie na studiach nie uczyli, że wzrost wydajności jest wydajny. Chyba żadnych studiów jeszcze nie skończyłeś, skoro cieszysz się z różnicy 20 sekund. Co z tego, niech nawet będzie 200 sekund. To nie ma znaczenia!!!

        Odpowiedz
        1. Awatar aix
          aix

          ma znaczenie

          20 sekund to bardzo dużo

          Myślę, że poprzednik pomylił słowo wydajny z widzialny, a powinno być zauważalny lub znaczący.

          Skończyłem studia

          Odpowiedz
        2. Awatar LM
          LM

          Czy to na prawdę takie trudne, że trzeba jak krowie na rowie tłumaczyć?

          Większość ludzi potrafi zanurkować na 20 sekund. Mimo tego niewielu odważyłoby się przez 20 sekund nurkować we wrzątku. Wszystko zależy od punktu odniesienia.

          Odpowiedz
        3. Awatar tomlee
          tomlee

          Teraz, to pojechałeś… związku nie widzę żadnego. Murowana kariera w polityce za takie szerokie skojarzenia.

          Odpowiedz
        4. Awatar LM
          LM

          20 sekund to dużo lub mało ale w zależności od punktu odniesienia. Jeśli ktoś tego nie jest w stanie pojąć to cóż, trudno.

          Jeśli społeczność FOSS zacznie radośnie wierzyć w takie "testy" to już tylko krok do kampanii "Get the facts".

          Odpowiedz
    3. Awatar osiolek
      osiolek

      Just think BIG.

      Są ludzie/firmy, dla których 1% przy pracy jaką wykonują oznacza wymierne oszczędności.

      Jeśli masz zadanie trwające 10 sekund i masz ich do wykonania 10 tysięcy, to zajmuje to 100000 sekund czyli 27,7h.

      Jeśli to teraz jest 1% szybsze to trwa to 25h. Zatem zyskałeś 2,7h. Te 2,7h to ok 970 wykonań więcej. Załóżmy, że każde z wykonań daje Ci 10$.

      Może wyjaśnienie słabe, ale nawet mikrooptymalizacje są korzystne w niejednej sytuacji.

      Odpowiedz
      1. Awatar D3X
        D3X

        Raczej chciałeś powiedzieć, że to jakieś 0.277h, czyli ~16.5min 🙂 raczej niewielkie oszczędności, ale zawsze…

        Odpowiedz
        1. Awatar michug
          michug

          wiecej już dają odpowiednie flagi w gcc

          Odpowiedz
        2. Awatar rad
          rad

          ale można użyć i "odpowiednich flag w gcc" i tego.

          1+1 > 1+0 😉

          Odpowiedz
        3. Awatar dkolkowski
          dkolkowski

          Nie.

          Większość aplikacji jest optymalizowana na poziomie kodu śródłowego, który sam determinuje flagi, pewnie nie wiesz, bo nie używasz np. Gentoo.

          Co do optymalizacji GCC, generalnie średnio istotne.

          Ustawiasz -marcha, -O2 i tyle cię interesuje, resztę robią aplikacje kompilujące i sami developerzy usalająć w co ciekawszych programach z góry najlepsze i najbezpieczniejsze flagi.

          Ciekawy projekt dla pseudo zrycioków:
          http://gentoo-wiki.com/HOWTO_Acovea

          A programiści i tak zoptymalizują sobie aplikację, bądź co bądź flagi, także cicho dzieciaki 😉

          Odpowiedz
        4. Awatar jacekpoplawski
          jacekpoplawski

          Może zamiast bełkotać o Gentoo warto by napisać sobie samodzielnie jakiś program i go skompilować.

          Odpowiedz
    4. Awatar dkolkowski
      dkolkowski

      "Zgadzam się" z Tobą, powód jest 😉

      Zważywszy a to, że co wersję mamy jakąś cegiełkę w wydajności, a to w przełożeniu na 26 cegiełek daje nam sporą cegłę, która chętnie cisnę w stronę niewiernych jak Ty 😉

      Trzymta się 😉

      Odpowiedz
    5. Awatar hering
      hering

      @michug

      widać jesteś świetnym matematykiem i znasz się na "błędach statystycznych".

      Dla jednych zagadnień, metod pomiaru itp. błędem statystycznym może być różnica 10% dla innych 0,000001%. Wierzę jednak, że wypowiadasz się mając niezbędną wiedzę w tej materii.

      Odpowiedz
  2. Awatar Sławek
    Sławek

    To dotyczy wszystkich wydań czy tylko tego. Bo jak nie, to nie ma powodów to wielkiej dumy ;-). Nadmienił bym jeszcze na końcu, że chodzi o ostatnie jajko, lub że wynika to z przeprowadzonego testu. Jeżeli to, że nowsze jądro zawsze zyskuje na wydajności, to przepraszam i zwracam honor. Mimo wszystko, to przydałoby się o tym też nadmienić.

    Odpowiedz
    1. Awatar jacekpoplawski
      jacekpoplawski

      Przecież jest napisane – 2.6.26.

      Odpowiedz
  3. Awatar lukasz210
    lukasz210

    Niestety ale aż tak dobrze to niema. Na phoronix.comjest też test 12 wersji Linuksa. Może nie są to najnowsze kernele, ale pokazują przynajmniej, że kolejne wydania nie zawsze poprawiają wydajność aplikacji. Jednak różnice są naprawdę marginalne.

    Odpowiedz
    1. Awatar Vogel
      Vogel

      Jezeli 20x zwieksza wydajnosc o 0.5% to mamy juz 10% 😉

      Odpowiedz
    2. Awatar jacekpoplawski
      jacekpoplawski

      Nic nie rozumiecie… Jądro nie zwiększy Ci prędkości o 20%, chociażby dlatego, że jądro zazwyczaj nie zajmuje 20% czasu procesora! Od tego jest aplikacja! Jądro ma tylko robić sobie coś tam malutkiego i szybkiego. Jesli jest wzrost wydajności w testach to znaczy, że to coś jest jeszcze mniejsze i jeszcze szybsze, czyli tak jak powinno być.

      Odpowiedz
      1. Awatar arturz.blogspot.com
        arturz.blogspot.com

        Tylko nie jest tak że jądro sobie a aplikacja sobie. To jądro zarządza czasem i zasobami przyznawanym aplikacjom. Jeżeli robi to efektywniej to może być jakaś zmiana w działaniu aplikacji.

        Odpowiedz
      2. Awatar Maciej Piechotka
        Maciej Piechotka

        A jeśli spowolnia I/O? Większy i/lub wydajniejszy cache powinno poprawić.

        Odpowiedz
  4. Awatar joi
    joi

    nie we wszystkich testach jest lepiej – od trzeciej strony zaczynają się testy, w których raz jest lepszy nowy kernel, raz stary…

    Odpowiedz
    1. Awatar LM
      LM

      Bo testy są lipne. Jak ktoś bardzo chce udowodnić bzdurnie postawioną tezę to w końcu się uda.

      Odpowiedz
  5. Awatar Michał Tomaszewski
    Michał Tomaszewski

    "Nowe wersje różnych innych systemów operacyjnych mają zazwyczaj większe wymagania sprzętowe od starszych. W przypadku Linuksa jest inaczej – nowe wersja działa szybciej, od poprzedniej."

    Kto Ci powiedział że Linux to system operacyjny?

    Odpowiedz
    1. Awatar atavus
      atavus

      "Kto Ci powiedział że Linux to system operacyjny?"

      oswiec nas zatem, czym jest linux….

      Odpowiedz
      1. Awatar Vogel
        Vogel

        Lets the flame begin!

        Odpowiedz
        1. Awatar mby7930
          mby7930

          Poprawnie jest "Let the flame begin!"

          Odpowiedz
        2. Awatar Vogel
          Vogel

          Przyjmuje na wiare, slownik jest za daleko 😉

          Odpowiedz
      2. Awatar Michał Tomaszewski
        Michał Tomaszewski

        Linux to jądro systemu. Gnu/Linux to cały system.

        Odpowiedz
        1. Awatar jacekpoplawski
          jacekpoplawski

          Ale GNU/Linux zawiera Xy? Bo Xy nie są GNU.

          Odpowiedz
        2. Awatar Michał Tomaszewski
          Michał Tomaszewski

          Po co Ci Xy?

          Brak kolorowych okienek != Brak systemu operacyjnego

          Odpowiedz
        3. Awatar arturz.blogspot.com
          arturz.blogspot.com

          A co muszę mieć aby to był system operacyjny? Sam /bin/bash wystarczy?

          Odpowiedz
        4. Awatar jacekpoplawski
          jacekpoplawski

          Czyli same jądro routujące pakiety nie jest systemem operacyjnym, a jądro z gołą powłoka bez aplikacji (które w większości nie są GNU) jest?

          Odpowiedz
        5. Awatar umlaut
          umlaut

          To DOS nie był systemem ??? ;D

          Odpowiedz
        6. Awatar XxX
          XxX

          Wszystko zależy od punktu widzenia. Nawet w książce "Podstawy Systemów Operacyjnych" (podręcznik akademicki) jest parę definicji systemu operacyjnego. Nie ma o czym dyskutować, bo żaden z was nie ma racji.

          Odpowiedz
        7. Awatar Maf
          Maf

          A ja bym powiedział, że wszyscy mają rację! 🙂

          Odpowiedz
        8. Awatar Maciej Piechotka
          Maciej Piechotka

          @Maf: I ty też masz rację

          @umlaut: Nie znam definicji, według której byłby. Chyba najlepszym opisem DOSa to bootloader 😉

          Odpowiedz
        9. Awatar jeronimmo
          jeronimmo

          Jak flame to flame 😉

          btw. za Nonsensopedią

          Unix (…) – właściwie jedyny system operacyjny, zgodny z tym co o systemach operacyjnych mówią wykładowcy na uczelniach.

          Najprostsza definicja systemu operacyjnego to: program pozwalający uruchamiać inne programy.

          Pod taką definicję nie załapie się gołe jądro Linux. Za to załapie się pewien program dostępny pod "alternatywnym systemem operacyjnym windows", chodzi mi mianowicie o internet explorera (niebieskie e, czy jak to się nazywa). Przecież pod nim można uruchamiać programy (kontrolki activex, całe mnóstwo robali, o apletach nie wspomnę)

          No i oczywiście java jest także systemem operacyjnym wg. tej definicji.

          Uff ale nakarmiłem Trola;)

          Odpowiedz
        10. Awatar zuzia
          zuzia

          Następny stallmanista z bożej łaski. Linux + uClibc + busybox to nie system operacyjny? Gdzie tu jakiś (tfu, tfu) GNU?

          Odpowiedz
  6. Awatar LM
    LM

    Ten test jest do kitu, ośmiesza Linuksa. Badania i pomiary bez metodyki są guzik warte. Tak na prawdę, to NICZEGO na podlinkowanej stronie nie ma! Kilka nędznych słupków które nie wiadomo skąd, jak i dlaczego się pojawiły.

    Odpowiedz
    1. Awatar jacekpoplawski
      jacekpoplawski

      Czego właściwie brakuje Ci w tym tekście? Jakiego rodzaje informacje by Cię zadawalały?

      Odpowiedz
    2. Awatar nbvcxz
      nbvcxz

      oj jest jest – może 'metoda' pomiaru jest niezbyt wyszukana, jednak zawsze jest to jakieś porównanie, a wnioski z niego można wysnuwać samemu

      Odpowiedz
    3. Awatar vries
      vries

      To nie jest badanie naukowe, tylko prosty benchmark. Typowa działalność tej strony zresztą. Są również porównania wydajności różnych wersji sterowników graficznych, wersji wine itp. Autorzy przyznają zresztą, że różnice w wynikach mogą wynikać z czynników zewnętrznych i nie nalezy ich brać szczególnie poważnie.

      Odpowiedz
      1. Awatar LM
        LM

        Ocho, 5 minusów, 5 osób nie ma pojęcia o określaniu wydajności…

        @jacekpoplawski: brakuje wszystkiego. Od metodyki i środowiska badań po analizę statystyczną. Równie "inteligentnie" można wykazać, że DOS jest lepszy od Linuksa bo znacznie szybciej przełącza zadania (tak, przez IRQ timera)…

        To jest "test wydajności" na poziomie instalatora systemów Windows: "Nowy Windows pozwala Tobie jeszcze szybciej wykonać zadania", "Usprawniona obsługa multimediów", "Poprawiona wydajność", "Jeszcze lepsza rozrywka"…

        Odpowiedz
        1. Awatar vis
          vis

          widzac ze czesto instalowales win 95

          Odpowiedz
        2. Awatar LM
          LM

          Znam te teksty. Zapamiętałem je z myślą, że kiedyś marketing (oddolny) Linuksa może zacząć staczać się w tą właśnie stronę – i proszę!

          Odpowiedz
  7. Awatar jellonek
    jellonek

    czy tylko mi sie nasuwa analogia z reklamami ms w stylu "nasz nowy system jest lepszy/szybszy" – jeszcze brakuje "bezpieczniejszy" 🙂

    aa, no i obsluguje wiecej sprzetu 😉

    Odpowiedz
    1. Awatar jacekpoplawski
      jacekpoplawski

      Skoro Ci się nasuwa to może czytasz niewłaściwy serwis?

      Odpowiedz
    2. Awatar Maciej Mrozowski
      Maciej Mrozowski

      Te dwa brakujące dorzuca się zwykle po jakimś czasie 🙂 Więc wszystko jak należy póki co.

      Odpowiedz
  8. Awatar scapegoat
    scapegoat

    Przydało by się porówanie kernela 2.6.26 vs. NT 6.0 😀

    Odpowiedz
    1. Awatar Fazer
      Fazer

      Przydałoby się porównanie 2.6.24 z 2.6.26, czyli jądra z Ubuntu Hardy Heron i Intrepid Ibex 😉

      Odpowiedz
      1. Awatar Fazer
        Fazer

        Oczywiście domyślne jądra.

        Odpowiedz
    2. Awatar linshi
      linshi

      Jasne,i przydalo by sie porownienie 2.2.x i 2.4.x o 2.6.x i moze jeszcze wprzyszlosci 2.8.x i 3.0.x o ile bedzie sie tak nazywac, moze porownasz tez win1.0 itp po kolei ? jeszcze wiecej takich komentow, porownam sie bie jak mialem 3 lata i teraz, i wyjdzie ze jak mailem 3 lata bylo lepiej bo niepotrafilem czytac :/

      Odpowiedz
  9. Awatar mario
    mario

    Nowe wersje różnych innych systemów operacyjnych mają zazwyczaj większe wymagania sprzętowe od starszych. W przypadku Linuksa jest inaczej – nowe wersja działa szybciej, od poprzedniej.

    Wymagania systemu operacyjnego, a jego wydajność to 2 różne rzeczy. Jeśli wzrasta wydajność to mogą wzrosnąć też wymagania, lub równie dobrze wymagania mogą zostać obniżone. Jeśli mamy spadek wydajności to wymagania również mogą wzrosnąć lub zmaleć i zmiana wydajności nie ma tutaj żadnego znaczenia.

    Odpowiedz
    1. Awatar D3X
      D3X

      W newsie został chyba użyty mały skrót myślowy… Wymagania sprzętowe rosną -> potrzeba większej mocy, żeby wykonać te same zadania w tym samym czasie -> wydajność spada.

      Odpowiedz
      1. Awatar mario
        mario

        Wymagania sprzętowe mogą wzrosnąć -> więcej operacji musi zastać wykonanych i/lub więcej RAMu użytego -> OS ma inteligentniejszy cache i więcej pamięci na niego przeznacza -> aplikacja działa szybciej, używają cacheu.

        OS może pewne rzeczy cacheować w "wolnym czasie", czyli wykonywać więcej operacji wtedy gdy aplikacje tego nie potrzebuje, po to aby aplikacja działała szybciej wtedy gdy potrzebuje mocy obliczeniowej, dzięki czemu aplikacja np. nie musi czekać na operacje I/O z HDD.

        Cacheowanie danych to stara metoda optymalizacji – pamiętam już w czasach C64 przeliczało się tablice sinusów i trzymało je w pamięci, aby ich nie liczyć w trakcie działania programu, dzięki czemu wszystko działało szybciej. Aplikacja taka miała większe wymagania (więcej zajmowała na taśmie czy dyskietce, ew. na starcie wykonywała więcej operacji przeliczając tablicę, również w pamięci RAM również zajmowała więcej miejsca) ale działała znacznie szybciej.

        We współczesnym programowaniu często stosuje się metodę poolingu, czyli zbioru zaalokowanych obiektów, które zabierane są z puli wtedy gdy są potrzebne a oddawane wtedy gdy nie są potrzebne – taka aplikacja również ma większe wymagania, bo pula cały czas zajmuje pamięć, ale za to nie trzeba czekać na alokację i unika się fragmentacji pamięci.

        Tym samym ten skrót myślowy uważam za nieprawdziwy i niewłaściwy – nie zawsze większe wymagania idą w parze z obniżeniem wydajności oprogramowania. Ponadto wymagania sprzętowe to nie tylko wymagana moc obliczeniowa CPU, ale także zajętość RAMu, wymagana prędkość HDD do normalnej pracy itp.

        Odpowiedz
        1. Awatar mario
          mario

          Jeszcze może prosty przykład, popatrz ile kodu zajmuje sortowanie bąbelkowe, a ile quicksort? …. 🙂

          http://pl.wikipedia.org/wiki/Sortowanie_b%C4%85be… http://pl.wikipedia.org/wiki/Quicksort

          Więcej kodu nie zawsze oznacza gorszą prędkość.

          Odpowiedz
  10. Awatar linus
    linus

    I tak linux jeśli chodzi o zasobożerność wciąż jest daleko w tyle za Windowsem XP – taka smutna prawda. A takie KDE to po prostu przeładowany wół – jedyny co się nadaje do użytku to XFCE ii ewentualnie blackbox.

    Odpowiedz
    1. Awatar szatox (ktoś)
      szatox (ktoś)

      chyba nie zupełnie. W win cały system jest ściśle zintegrowany. Pod lin mamy warstwy, jeżeli jakaś biblioteka nie jest w ogóle używana, a inna aplikacja domaga się więcej RAMu to ta biblioteka zostaje wywalona. Co z skolei oznacza, że przy kolejnym wywołaniu trzeba ją ładować z dysku.

      Różnica jest taka, że przy tym podejściu zasoby nie są marnowane: nadmiar RAMu jest przeznaczany na bufory które przyspieszają pracę systemu. Wydajność więc rośnie, ale kosztem responsywności

      Odpowiedz
    2. Awatar karakar
      karakar

      Jeśli rozumiesz zasobożerność jako ile wykorzystuje ramu i cpu (zamiast na jakiej ilości jest w stanie działać) to tego nie można porównywać. Linux różni się od Windowsa metodą wykorzystania zasobów. Linux jest pisany według zasady, że niewykorzystane zasoby to stracone zasoby, dlatego puki jest wolna pamięć i czas procesora aplikacje starają się to wykorzystywać, a dopiero kiedy zaczyna brakować to ogranicza się zużywane przez aplikację zasoby.

      Odpowiedz
  11. Awatar xpio
    xpio

    A mnie zastanawia obniżenie wydajności w testach syntetycznych, tak na oko to coś pozmieniali w obsłudze działań zmiennoprzecinkowych

    Odpowiedz
  12. Awatar LM
    LM

    "Wyraźnie widać, że nowe jądro jest szybsze" – gdzie to "wyraźnie widać"? Proszę o konkretne dane.

    Odpowiedz
    1. Awatar vis
      vis

      no to wystaw interfejs… zobaczysz jakiego kopa ma jądro 2.6.26 😛

      Odpowiedz
  13. Awatar szym
    szym

    Cholery można dostać z tymi windowsowymi trolami. Nie moga przeniesc sie gdzie indziej?

    Odpowiedz
  14. Awatar linus
    linus

    tia każdy jest trollem jak powie coś niemiłego o linuxie 🙂

    To jest strona linuxnews a nie strona linuxlovers.

    Poza tym niestety ci nie wyszło bo używam linuxa konkretnie Wolvix Hunter.

    Co do zasobożerności – nie obchodzi mnie jak to jest to wykorzystywane tylko to jak dziąła system. A taki Mepis z KDE 3.5 działa na moim komputerze który przecież nie jest słaby (Dual Core 2180, 2gb ram) wyraźnie wolniej niż Windows XP SP2. Czas bootowania to powyżej jednej minuty (od gruba) w porównaniu z XP gdzie trwa to jakieś 20-25 sekund. Wolvix zresztą nie jest dużo lepszy jeśli chodzi o szybkość boota (za to napewno jest dużo dużo szybszy niz Mepis – porównywalny z XP).

    Śmieszy mnie jak fanatycy linuxa wyśmiewają Viste i jej zasobożerny interfejs podczas gdy developerzy KDE idą to samą drogą. Zaraz po zainstalowaniu Mepisa trudno się nawet połapać gdzie co jest bo KDE to totalny burdel z miliardem nie potrzebnych śmieci.

    Odpowiedz
  15. Awatar przemoc
    przemoc

    Chciałbym zauważyć jednak, że zmiany są nie tylko in plus, co widać na kilku testach, m.in. dwóch wykonujących operacje zmiennoprzecinkowe. Różnice są większe niż jakiś 1% (bo ok. 3%, a nawet 6%). Blisko 5% spadek w testach BYTE Unix Benchmarks (Dhrystone 2) oraz RAMspeed (Integer BatchRun Add) to też nie powód do świętowania…

    Odpowiedz
    1. Awatar evil_core
      evil_core

      przemoc: Moglbys wyjasnic jaki ma wplyw jajko na typ instrukcji(i typ danych) wykonywanych przez procesor ?

      Odpowiedz
      1. Awatar LM
        LM

        "Testy" które wskazują na to, że Linux jest coraz lepszy są święte ale te, które pokazują coś odwrotnego trzeba wyjaśniać? Po co – przecież wszyscy, którzy się cieszą z tych cudownych, magicznych 20 sekund już dokładnie przeczytali changeloga i diffy…

        Szkoda że wśród fanów FOSS jest tylu, których "nie przekonają że białe jest białe a czarne jest czarne". Chyba że te minusy dostałem od fanboyów M$ wspierających podkopywanie reputacji mojego ulubionego systemu 🙂

        Odpowiedz
        1. Awatar korowiow
          korowiow

          offtopic: Nawet regulamin pcoa zabrania przekręcania nazw firm i produktów, może by tak i tutaj się do tego stosować? :>

          Odpowiedz
        2. Awatar LM
          LM

          Racja, nie powinienem. Shame on me!

          Odpowiedz

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *


media społecznościowe

ostatnie artykuły

Popularne tagi

android apple bezpieczeństwo biznes google hardware internet iphone kaspersky media microsoft mobile open-source press-release programowanie software UNIX windows Wydania Wydarzenia

Kategorie