Konferencja RedHat: wirtualizacja w chmurze

Czemu RedHat zarzucił Xen-a

Technologię Xen Source kupił Citrix, a RedHat koniecznie chciał być liderem aktywnie rozwijającym produkt do wirtualizacji - z możliwością definiowania własnych funkcjonalności, decydowaniu o planach wydawniczych, pełnym zarządzaniem kodem w ramach własnej firmy. W przypadku Xen-a nie miałby takiej kontroli. Dlatego decyzja o kontynuowaniu rozwiązania do wirtualizacji z KVM-em była jedyną słuszną. Klienci mający wykupiony support byli/są wspierani w migracji.

Kontenery w Fedorze 17

W Fedorze 17 pojawiło się narzędzie VirtSandbox, które można uznać za początek sensownej obsługi lekkich kontenerów w linuksie. W linii poleceń virt-sandbox mamy do wyboru LXC albo KVM, w kolejnym parametrze podajemy konkretne polecenie, które ma być odpalone w odizolowanym środowisku. Narzędzie jest w początkowym stadium i trochę mało stabilne, brakuje zarządzania profilami sanboksów. Czy potrzebujemy w Linuksie czegoś pomiędzy chrootem a zoną solarisową? Do bezpiecznego hostowania Apache-a i PostgreSQL-a na pewno się przyda.

VMware ESXi 5.0 nested VMs

echo 'vhv.allow = "TRUE"' >> /etc/vmware/config

*.vmx:

mce.enable = "true"
hypervisor.cpuid.v0 = "false"
cpuid.1.ecx = "--------------------------H-----"
cpuid.8000000a.eax.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
cpuid.8000000a.ebx.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
cpuid.80000001.ecx.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
cpuid.8000000a.edx.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
monitor.virtual_exec = "hardware"
monitor.virtual_mmu = "hardware"

Partycjonowanie w VMware ESXi

~ # partedUtil "getptbl" /vmfs/devices/disks/mpx.vmhba32\:C0\:T0\:L
gpt
19457 255 63 312581808
1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128
5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
2 1843200 312580095 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0

~ # partedUtil setptbl /vmfs/devices/disks/mpx.vmhba32\:C0\:T0\:L0 gpt "1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 0" "5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0" "6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0" "7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0" "8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0" "2 2097152 310378496 AA31E02A400F11DB9590000C2911D1B8 0"
gpt
0 0 0 0
1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 0
5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0
6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0
7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0
8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0
2 2097152 310378496 AA31E02A400F11DB9590000C2911D1B8 0

Klient VMware dla iPada

Atom + VBox + SuSE

Nowe kernele linuksowe mają dedykowany sterownik do obsługi bezczynności procesora - intel_idle. W przypadku uruchomienia OpenSUSE 11.4 RC1 na wirtualizowanym atomie instrukcja MWAIT próbuje czytać nieodpowiedni adres pamięci (odczyt portu I/O powoduje przejście procesora w stan niskiego poboru energii C1-C6). Adresy do MWAIT powinny być pobrane z DSDT, natomiast intel_idle ma je określone na sztywno. Obejście to wyłączenie sterownika przez podanie w linii poleceń jądra intel_idle.max_cstate=0.

Benchmarki z wirtualizacją

Platforma integracyjna wystawia WebService opakowujący select i procedurę noop na bazie Oracle. System fizyczny to 64-bitowy Windows 2008 R2 na dwurdzeniowym procesorze AMD 2,3GHz + Oracle 11g, 4GB RAM-u, windowsowy RAID0 na dwóch Seagate-ach. System wirtualny ma jeden wirtualny procesor i 2GB RAM-u. Platforma A to Sun GlassFish ESB 2.1, platforma B to MS BizTalk 2009. Pomiar za pomocą SOAP-UI dla jednego wątku w ciągu 60 sekund, czas w milisekundach.

VMware dla 32-bitowych gości używa binarnej translacji (BT). Średni czas systemu out-of-box to 2344 ms. Po zmianie parametru MaxReceiveInterval z 500 na 50 mamy 1066 ms (tuning Low Latency wg dokumentacji producenta). Przeniesienie redo logu bazy danych obsługującej platformę na inny dysk daje przyśpieszenie 17ms.

32-bitowy Windows (binarna translacja) ma podobną wydajność co 64-bitowy OpenSolaris (sprzętowa wirtualizacja) - około 10% narzutu na wirtualizację. VirtualBox wypada słabo - strata wynosi ponad 20%. JRockit jak zwykle wymiata, podmieniając Javę na wirtualizowanym Windowsie dostajemy -6%.

A teraz sprawdzimy 32-bitowe OpenSUSE 11.2 z kernelem 2.6.31 z obsługą VMI, system jest na XFS-ie z opcją noatime i z JRockit-em 6.0.

Wirtualka jest szybsza od rzeczywistej dwurdzeniowej konfiguracji! 350ms. W trybie BT 415ms.

Swoją drogą ten sam select w zwykłym kodzie Javy trwa odpowiednio 3 / 15/ 80 ms (w zależności czy PreparedStatement i Connection są reużywalne). Gdybym chciał mieć coś szybkiego i za darmo i z orkiestracją to wziąłbym Grailsy i zrobił w nich Service-y. Serwisy wewnętrznie można wołać natywnie, a zewnętrznie wystawić po SOAP-ie i JMS-ie.

Zużycie procesora przez maszyny wirtualne w trybie idle

Windows 2008 Sever 64-bit, średnio 23%


RHEL 5.3 64-bit, średnio 4%


OpenSUSE 11.1 64-bit, średnio 0.5%.

Na wszystkich trzech maszynach są nieużywane środowiska WebMethods.

A całościowy load dla ośmiordzeniowej maszyny wygląda tak:
5:34pm up 63 days 1:49, 1 user, load average: 2.73, 5.68, 6.39

Benchmarki VM c.d

Tym razem hostem jest laptop z procesorem AMD Athlon X2 QL-60, 2GB pamięci RAM, grafiką GeForce 9100M G a testowym systemem jest 64-bitowy Windows Server 2008 EE. Dla działającego realnie Windowsa zostały zmierzone wyniki PCMark05 w trybie oszczędzania energii (obniżenie do połowy taktowania CPU, spowolnienie grafiki itd.) i w trybie wydajności -obydwa testy wykonywane na jednym rdzeniu CPU (żeby można było porównywać wyniki maszyn wirtualnych, które raczej mają jeden VCPU) i tryb wydajności na obu rdzeniach.
V100 to VMWare Server 2.0 + 1 VCPU + W2K8 768MB RAM, V200 to ta sama konfiguracja ale na dwóch wirtualnych procesorach. VB to VirtualBox 2.1.
VM2 i VB2 to VMWare i VirtualBox z W2K8 na 1 CPU i zmniejszoną pamięcią do 512MB. Oprogramowanie do wirtualizacji było w 64-bitowych wersjach, zainstalowane na OpenSUSE 11.1 64-bit, jedna partycja / na XFS-ie.









Jakie z tego wnioski?

• Cache'owanie systemu plików w Linuksie i Windowsie 2008 (wow) jest ładnie zrobione i jak jedno zgra się z drugim to mamy system wirtualny szybszy od rzeczywistego
• VirtualBox gdyby miał dobre narzędzia do zarządzania mógłby być produktem serwerowym
• Nie ma sensu wybierać Xen-a, bo wirtualizacja z patchowaniem strumienia instrukcji jest szybsza
• Zamiast VMotion można zrobić wirtualizację usług, jeśli mamy do czynienia z WebService'ami to wystarczy Apache 2.2.10 i mod_proxy_balancer
• Powinienem na Oracle'u 11 wystawić jako WebService'y jakieś operacje w schemacie hr i wtedy można by mieć jakieś sensowne życiowe testy

Jeśli wyeliminujemy wyniki grafiki 2D to można przyjąć, że mamy 20% spadku wydajności. Ale... 20% per CPU. Jeśli na kilkurdzeniowym serwerze mamy uruchomioną maszynę z jednym wirtualnym procesorem to... patrz przypadek 'AVG Performance 2CPU'. Powiedzmy, że ten spadek wydajności rekompensujemy sobie stawiając równolegle pare maszyn, usługa w nich uruchomiona moze być balansowana - czy teraz też będziemy mieć 20% per CPU? Pewnie więcej...

Benchmarki VM

Poprzednim benchmarkom z Sandry brakowało życiowego podejścia, więc zrobiłem nowe ładne testy syntetyczne pod PCMarkiem 2005. Maszyna testowa to serwer z procesorem AMD Athlon X2 obsługującym sprzętową wirtualizację, 4GB RAM (dostarczony przez znak.pl), na którym zainstalowano system SUSE Linux Enterprise Server 10 SP1 (dostarczony przez Novell Polska).
Żeby wyniki były gorsze obrazy dysków wirtualnych W2K3 poszły na Seagate'a podłaczonego przez obudowę USB 2.0, a sam Windows dostał tylko 256MB RAMu.




Co tutaj widać?

Najszybszy w operacjach dyskowych jest VirtualBox,
czasami dotrzymują mu kroku XEN 3.0.4 albo nowy VMWare 2.0,
który na razie jest w wersji beta (na slesowym 2.6.16 ma gotowe moduły,
a nie działa na HL z 2.6.24).

W VMWarze 2.0 grafika przyśpieszyła znacznie,
według testu jest wydajniesza od tej w VirtualBoksie. Wydawałoby się, że jest
super gdyby nie to że... VMWare 2.0 pod Linuksem działa tylko
z poziomu przeglądarki i komponentu wykorzystującego VNC, co zmiejsza
szybkość odczuwalną dla końcowego użytkownika.



VirtualBox 1.5.4 - bezproblemowa instalacja z tar.gz (rpm dla SUSE miał moduł do złego jądra)



Stary dobry, a jednak wolny VMWare Server 1.0.4. Podejrzewam, że Workstation 6 jako produkt późniejszy ma wydajność bliższą do VM_S2.



Tak wygląda interfejs WWW dla VMWare Server 2.0. Konsola do UI systemu wirtualizowanego nie działa w IE7 (wszystko poblokowane), Firefoksie pod Linuksem, Operze, Konquerorze, no i oczywiście Safari.


PCMark05 jest podobny do 3DMarka05. Producent nazywał się kiedyś MadOnion...

Jest takie coś jak Novell SUSE Xen Virtual Machine Driver Pack
(odpowiednik VM Guest Tools). Jest to po to, żeby sprzętowa wirtualizacja
miała wydajność bliższą pod parawirtualizacji. Produkt płatny.
Jak sie ten bajer zainstaluje pod W2K3 to w mendżerze dysków logicznych
pojawia się coś takiego:


A jak się odpali benchmark to jest coś takiego:


Pytanie do Pana Dariusza Leonowskiego z Novell Polska: te sterowniki są chyba w wersji beta prawda? PCMark wywala się od razu w pierwszym teście HDD XP-Startup.
Sterowniki są sporo płatne...

Moim zdaniem Xen jest jeszcze mało stabilną technologią. EMC będzie miało niedługo dobry wydajnościowo VMWare Server 2.0, SUN za trochę dłużej xVM ze zintegrowanym VirtualBoksem. Przy tym należy podkreślić, że Solaris ma bardzo dobrze zrobione kontenery, które mogą być także linuksowe.

Pomyślmy przyszłościowo -= OpenSolaris 11 =-

• transakcyjne upgrade'y - mamy apt-get + ZFS (działa w Nexencie)
  
• prostsze i wydajniejsze snapshoty maszyn wirtualnych - ZFS
• może być zwirtualizowane wszystko, bo mamy XENa, VBoksa i kontenery

Dlaczego VirtualBox jest lepszy od VMWare'a

Po pierwsze dlatego, że jest zrobiony w Qt a nie GTK ;)
Trochę wyników z SiSoft Sandry, hostem jest laptop z Celeronem 420 na i945 + Hackett Linux 2008.0, natomiast gościem W2K3:

VMWare

Floating point: Dhrystone ALU 5101 MIPS
Floating point: Whetstone iSSE3 3769 MFLOPS

Multimedia: Integer x8 iSSE2 11724 it/s
Multimedia: Float x4 iSSE2 15637 it/s

Memory bandwidth: Int iSSE2 2501 MB/s
Memory bandwidth: Float iSSE2 2568 MB/s

Cache and memory: Combined index 4864 MB/s
Cache and memory: Speed factor 11.4

Memory latency: Random 203 ns
Memory latency: Speed factor 90.2

VirtualBox

Floating point: Dhrystone ALU 5089 MIPS
Floating point: Whetstone iSSE3 3725 MFLOPS

Multimedia: Integer x8 iSSE2 11599 it/s
Multimedia: Float x4 iSSE2 15717 it/s

Memory bandwidth: Int iSSE2 2438 MB/s
Memory bandwidth: Float iSSE2 2440 MB/s

Cache and memory: Combined index 4742 MB/s
Cache and memory: Speed factor 10.2

Memory latency: Random 216 ns
Memory latency: Speed factor 92.4

Tak na oko wyniki są zbliżone z delikatnym wskazaniem na VMWare'a.
Ale spójrzmy na obrazki z Memory Latency:





And the winner is... VirtualBox.
Jeśli obejrzycie dokładnie dwa obrazki, to widać, że VirtualBox na obszarze pamięci o szerokości 4MB operuje z opóźnieniami
w cyklach procesora na poziomie 75. Tymczasem VMWare oferuje takie opóźnienie
tylko dla 512KB. To by tłumaczyło dlaczego wszelkie operacje graficzne na VirtualBox-ie są szybsze - wszak operujemy na bitmapach w pamięci.
Rezultat: w VirtualBox-ie daje się używać programów graficznych takich jak Paint Shop Pro
i Photoshop. No i nawet płynnie działają teledyski z onetu :)