VMware ESXi 5.0 nested VMs

echo 'vhv.allow = "TRUE"' >> /etc/vmware/config

*.vmx:

mce.enable = "true"
hypervisor.cpuid.v0 = "false"
cpuid.1.ecx = "--------------------------H-----"
cpuid.8000000a.eax.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
cpuid.8000000a.ebx.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
cpuid.80000001.ecx.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
cpuid.8000000a.edx.amd = "HHHHHHHHHHHHHHHHHHHHHHHHHHHHHHHH"
monitor.virtual_exec = "hardware"
monitor.virtual_mmu = "hardware"

How to install updates on ESXi 5.0

Download zip file with updates, upload it to ESXi host and execute:

/vmfs/volumes/c191cee2-75f089c3-c77d-730f8cb13847 # esxcli software vib update --depot=/vmfs/volumes/ahci1/_patch_/ESXi500-201112001.zip
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
VIBs Installed: VMware_bootbank_esx-base_5.0.0-0.7.515841, VMware_bootbank_misc-drivers_5.0.0-0.7.515841, VMware_bootbank_net-be2net_4.0.88.0-1vmw.500.0.7.515841, VMware_bootbank_net-e1000_8.0.3.1-2vmw.500.0.7.515841, VMware_bootbank_net-e1000e_1.1.2-3vmw.500.0.7.515841, VMware_locker_tools-light_5.0.0-0.7.515841
VIBs Removed: VMware_bootbank_esx-base_5.0.0-0.0.469512, VMware_bootbank_misc-drivers_5.0.0-0.0.469512, VMware_bootbank_net-be2net_4.0.88.0-1vmw.500.0.0.469512, VMware_bootbank_net-e1000_8.0.3.1-2vmw.500.0.0.469512, VMware_bootbank_net-e1000e_1.1.2-3vmw.500.0.0.469512, VMware_locker_tools-light_5.0.0-0.0.469512
VIBs Skipped: VMware_bootbank_ata-pata-amd_0.3.10-3vmw.500.0.0.469512, VMware_bootbank_ata-pata-atiixp_0.4.6-3vmw.500.0.0.469512, ..., VMware_bootbank_uhci-usb-uhci_1.0-3vmw.500.0.0.469512

Partycjonowanie w VMware ESXi

~ # partedUtil "getptbl" /vmfs/devices/disks/mpx.vmhba32\:C0\:T0\:L
gpt
19457 255 63 312581808
1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128
5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
2 1843200 312580095 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0

~ # partedUtil setptbl /vmfs/devices/disks/mpx.vmhba32\:C0\:T0\:L0 gpt "1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 0" "5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0" "6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0" "7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0" "8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0" "2 2097152 310378496 AA31E02A400F11DB9590000C2911D1B8 0"
gpt
0 0 0 0
1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 0
5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0
6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0
7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0
8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0
2 2097152 310378496 AA31E02A400F11DB9590000C2911D1B8 0

VMware i Android

Jako system gościa instalujemy Windows (z włączonym zdalnym pulpitem RDP), a na nim VMware viclient. Dla RDP zestawiamy tunel. Na Androidzie instalujemy PocketCloud.

VMWare ESXi 5.0 i ATI SB600 AHCI

Standardowo dyski AHCI są niewidoczne, bo kontroler nie jest na liście wspieranego sprzętu. Workaround: montujemy pierwszą partycję FAT16, mv sata-ahc.v00 sata-ahc.tgz, gunzip sata-ahc.tgz, mcedit sata-ahc: zamieniamy "pci,id=1002:4390" na "pci,id=1002:4380", gzip sata-ahc, mv sata-ahc.gz sata-ahc.v00. Reboot.

Klient VMware dla iPada

Testy wirtualizacji 2.0

Ten sam projekt testowy OpenESB, ale tym razem na najnowszym procesorze AMD: 4 rdzenie 2.6GHz, 95W TDP.

Począwszy od Barcelony 32-bitowe systemy goście działają ze sprzętową wirtualizacją. Na starszych procesorach wirtualizacja realizowana przez procesor była mało wydajna, dlatego VMware włączał ją tylko w przypadku 64-bitowych gości (inaczej nie można by było ich uruchomić), a preferowanym trybem była parawirtualizacja VMI. Linux na AMD-V jest gorszy o 1% od natywnego windowsowego procesu z nałożoną maską afiniczności na jeden rdzeń. RVI (Rapid Virtualization Indexing / nested paging) przynosi niewielki wzrost wydajności w przypadku OpenSolarisa, ale nie w przypadku Linuksa - wygląda na to, że bardzo dobrze zoptymalizowano dla niego tryb AMD-V, a być może nie przyłożono się do RVI. VMware obecnie zapowiada, że w następnych ESX-ach i Linuksie 2.6.37 zrezygnuje z obsługi VMI a skupi się na RVI.

AMD robi świetne procesory. Ciągłe używanie WebService'u przez 10 wątków powodujące pełne obciążenie wszystkich 4 rdzeni, a procesor ma tylko 45 stopni Celsjusza. Intel robi lepsze CPU? No mam wątpliwości...

Offtopic: Grails+JRockit: średni czas 4ms, przy 20 wątkach średni czas 6ms :)

Gdy procesor się nudzi przyjmuje częstotliwość 800MHz na wszystkich rdzeniach i napięcie 1.150V.

Jeszcze jedna informacja: Oracle dobrze radzi sobie z wirtualizacją (albo inaczej: VMware dobrze sobie radzi z Oraclem).

Lies, damn lies and benchmarks

Chcemy porównywać jakieś produkty występujące na różne systemy operacyjne. Ponieważ jesteśmy nowocześni używamy wirtualizacji. Jeden produkt wpakujemy do Ubuntu JeOS ze wsparciem dla parawirtualizacji (VMware: vmi.present ="True" na starszych Xenonach lub Opteronach) a drugi do zwykłego Windows-a.

Zaglądając do pliku paravirt.h widzimy funkcje związane z obsługą stronicowania, przerwań, mierzenia czasu. Jeśli zamiast emulacji w tych dziedzinach będziemy mieli bezpośrednie wywołania kodu hipervisor-a wirtualizowany system operacyjny powinien być sporo szybszy. Czyli jeśli testowany produkt zachowywałby się tak samo na Linuksie jak i Windowsie, to w wirtualnym środowisku będzie szybszy na Ubuntu JeOS (wygra benchmarki).

Inna bajka jest z wirtualizacją 2.0 (nested paging): tu wszystkie maszyny wirtualne mogą śmigać.

Zużycie procesora przez maszyny wirtualne w trybie idle

Windows 2008 Sever 64-bit, średnio 23%


RHEL 5.3 64-bit, średnio 4%


OpenSUSE 11.1 64-bit, średnio 0.5%.

Na wszystkich trzech maszynach są nieużywane środowiska WebMethods.

A całościowy load dla ośmiordzeniowej maszyny wygląda tak:
5:34pm up 63 days 1:49, 1 user, load average: 2.73, 5.68, 6.39

Benchmarki VM c.d

Tym razem hostem jest laptop z procesorem AMD Athlon X2 QL-60, 2GB pamięci RAM, grafiką GeForce 9100M G a testowym systemem jest 64-bitowy Windows Server 2008 EE. Dla działającego realnie Windowsa zostały zmierzone wyniki PCMark05 w trybie oszczędzania energii (obniżenie do połowy taktowania CPU, spowolnienie grafiki itd.) i w trybie wydajności -obydwa testy wykonywane na jednym rdzeniu CPU (żeby można było porównywać wyniki maszyn wirtualnych, które raczej mają jeden VCPU) i tryb wydajności na obu rdzeniach.
V100 to VMWare Server 2.0 + 1 VCPU + W2K8 768MB RAM, V200 to ta sama konfiguracja ale na dwóch wirtualnych procesorach. VB to VirtualBox 2.1.
VM2 i VB2 to VMWare i VirtualBox z W2K8 na 1 CPU i zmniejszoną pamięcią do 512MB. Oprogramowanie do wirtualizacji było w 64-bitowych wersjach, zainstalowane na OpenSUSE 11.1 64-bit, jedna partycja / na XFS-ie.









Jakie z tego wnioski?

• Cache'owanie systemu plików w Linuksie i Windowsie 2008 (wow) jest ładnie zrobione i jak jedno zgra się z drugim to mamy system wirtualny szybszy od rzeczywistego
• VirtualBox gdyby miał dobre narzędzia do zarządzania mógłby być produktem serwerowym
• Nie ma sensu wybierać Xen-a, bo wirtualizacja z patchowaniem strumienia instrukcji jest szybsza
• Zamiast VMotion można zrobić wirtualizację usług, jeśli mamy do czynienia z WebService'ami to wystarczy Apache 2.2.10 i mod_proxy_balancer
• Powinienem na Oracle'u 11 wystawić jako WebService'y jakieś operacje w schemacie hr i wtedy można by mieć jakieś sensowne życiowe testy

Jeśli wyeliminujemy wyniki grafiki 2D to można przyjąć, że mamy 20% spadku wydajności. Ale... 20% per CPU. Jeśli na kilkurdzeniowym serwerze mamy uruchomioną maszynę z jednym wirtualnym procesorem to... patrz przypadek 'AVG Performance 2CPU'. Powiedzmy, że ten spadek wydajności rekompensujemy sobie stawiając równolegle pare maszyn, usługa w nich uruchomiona moze być balansowana - czy teraz też będziemy mieć 20% per CPU? Pewnie więcej...

Benchmarki VM

Poprzednim benchmarkom z Sandry brakowało życiowego podejścia, więc zrobiłem nowe ładne testy syntetyczne pod PCMarkiem 2005. Maszyna testowa to serwer z procesorem AMD Athlon X2 obsługującym sprzętową wirtualizację, 4GB RAM (dostarczony przez znak.pl), na którym zainstalowano system SUSE Linux Enterprise Server 10 SP1 (dostarczony przez Novell Polska).
Żeby wyniki były gorsze obrazy dysków wirtualnych W2K3 poszły na Seagate'a podłaczonego przez obudowę USB 2.0, a sam Windows dostał tylko 256MB RAMu.




Co tutaj widać?

Najszybszy w operacjach dyskowych jest VirtualBox,
czasami dotrzymują mu kroku XEN 3.0.4 albo nowy VMWare 2.0,
który na razie jest w wersji beta (na slesowym 2.6.16 ma gotowe moduły,
a nie działa na HL z 2.6.24).

W VMWarze 2.0 grafika przyśpieszyła znacznie,
według testu jest wydajniesza od tej w VirtualBoksie. Wydawałoby się, że jest
super gdyby nie to że... VMWare 2.0 pod Linuksem działa tylko
z poziomu przeglądarki i komponentu wykorzystującego VNC, co zmiejsza
szybkość odczuwalną dla końcowego użytkownika.



VirtualBox 1.5.4 - bezproblemowa instalacja z tar.gz (rpm dla SUSE miał moduł do złego jądra)



Stary dobry, a jednak wolny VMWare Server 1.0.4. Podejrzewam, że Workstation 6 jako produkt późniejszy ma wydajność bliższą do VM_S2.



Tak wygląda interfejs WWW dla VMWare Server 2.0. Konsola do UI systemu wirtualizowanego nie działa w IE7 (wszystko poblokowane), Firefoksie pod Linuksem, Operze, Konquerorze, no i oczywiście Safari.


PCMark05 jest podobny do 3DMarka05. Producent nazywał się kiedyś MadOnion...

Jest takie coś jak Novell SUSE Xen Virtual Machine Driver Pack
(odpowiednik VM Guest Tools). Jest to po to, żeby sprzętowa wirtualizacja
miała wydajność bliższą pod parawirtualizacji. Produkt płatny.
Jak sie ten bajer zainstaluje pod W2K3 to w mendżerze dysków logicznych
pojawia się coś takiego:


A jak się odpali benchmark to jest coś takiego:


Pytanie do Pana Dariusza Leonowskiego z Novell Polska: te sterowniki są chyba w wersji beta prawda? PCMark wywala się od razu w pierwszym teście HDD XP-Startup.
Sterowniki są sporo płatne...

Moim zdaniem Xen jest jeszcze mało stabilną technologią. EMC będzie miało niedługo dobry wydajnościowo VMWare Server 2.0, SUN za trochę dłużej xVM ze zintegrowanym VirtualBoksem. Przy tym należy podkreślić, że Solaris ma bardzo dobrze zrobione kontenery, które mogą być także linuksowe.

Pomyślmy przyszłościowo -= OpenSolaris 11 =-

• transakcyjne upgrade'y - mamy apt-get + ZFS (działa w Nexencie)
  
• prostsze i wydajniejsze snapshoty maszyn wirtualnych - ZFS
• może być zwirtualizowane wszystko, bo mamy XENa, VBoksa i kontenery

Dlaczego VirtualBox jest lepszy od VMWare'a

Po pierwsze dlatego, że jest zrobiony w Qt a nie GTK ;)
Trochę wyników z SiSoft Sandry, hostem jest laptop z Celeronem 420 na i945 + Hackett Linux 2008.0, natomiast gościem W2K3:

VMWare

Floating point: Dhrystone ALU 5101 MIPS
Floating point: Whetstone iSSE3 3769 MFLOPS

Multimedia: Integer x8 iSSE2 11724 it/s
Multimedia: Float x4 iSSE2 15637 it/s

Memory bandwidth: Int iSSE2 2501 MB/s
Memory bandwidth: Float iSSE2 2568 MB/s

Cache and memory: Combined index 4864 MB/s
Cache and memory: Speed factor 11.4

Memory latency: Random 203 ns
Memory latency: Speed factor 90.2

VirtualBox

Floating point: Dhrystone ALU 5089 MIPS
Floating point: Whetstone iSSE3 3725 MFLOPS

Multimedia: Integer x8 iSSE2 11599 it/s
Multimedia: Float x4 iSSE2 15717 it/s

Memory bandwidth: Int iSSE2 2438 MB/s
Memory bandwidth: Float iSSE2 2440 MB/s

Cache and memory: Combined index 4742 MB/s
Cache and memory: Speed factor 10.2

Memory latency: Random 216 ns
Memory latency: Speed factor 92.4

Tak na oko wyniki są zbliżone z delikatnym wskazaniem na VMWare'a.
Ale spójrzmy na obrazki z Memory Latency:





And the winner is... VirtualBox.
Jeśli obejrzycie dokładnie dwa obrazki, to widać, że VirtualBox na obszarze pamięci o szerokości 4MB operuje z opóźnieniami
w cyklach procesora na poziomie 75. Tymczasem VMWare oferuje takie opóźnienie
tylko dla 512KB. To by tłumaczyło dlaczego wszelkie operacje graficzne na VirtualBox-ie są szybsze - wszak operujemy na bitmapach w pamięci.
Rezultat: w VirtualBox-ie daje się używać programów graficznych takich jak Paint Shop Pro
i Photoshop. No i nawet płynnie działają teledyski z onetu :)