自然の赴くままに・そのときの 気分次第で・なんとなく

興味を持ったことを、なんとなく気の向くまま書いています。

flings が無くなっていた・・・・vSphere の Arm Edition 最新版(v1.14)の入手先は

VMwareBroadcom に買収されるのが表に出てからそろそろ買収完了の最後の締め切り日 11月26日になりますが、実際どのようになるのかがまだわからないみたい・・・・に見えますね。

そのような VMware がバタバタしている中、ESXi Arm Edition があった flings.vmware.com が消えてしまっているのに気づきました。当初の買収完了日 10月末にほど近い 10月24日に flings.vmware.com が削除されてしまい、

Code Samples and PowerCLI Example Scripts | VMware - VMware {code}

 へのリンクに変っています。

ESXi Arm Edition はどこに行ったの?

flings で公開されていた多くのツール類は既に入手不能になっており、例えば NUC で vSphere を動かすために必要だった USB デバイスのドライバやネットワークインターフェースどのドライバ類も入手が不可能になってしまっています。困った困った。
でも、いくつかの flings にあったものはそれぞれ個別にホストされているものもあり、ESXi Arm Edition は VMwareCustomer Connect でホストされているため、現在でも入手が可能です。

ESXi Arm Edition のある場所は

ESXi Arm Edition の最新版は Customer Connect のダウンロードから入手することが出来ますが、普通に Customer Connect に行っても見つけることが出来ません。URL に「get-download?downloadGroup=ESXI-ARM」を追加することで初めて ESXi for ARM のダウンロード先に行くことが出来ます。

ESXi Arm Edition の最新版は

今日時点でのESXi Arm Edition の新しいバージョンは  version 1.14 で、今回もまだ vSphere 7.0 0 ベースで、Build 22346715 す。登場は 2023年 9月1日なので、2か月前のリリースでした。

f:id:imaisato:20210403190605p:plain

ESXi Arm Edition version 1.14

https://customerconnect.vmware.com/downloads/get-download?downloadGroup=ESXI-ARM

インストールは

残念ながら flings のページとドキュメントが消え去ってしまっていますが、置いてあったドキュメントの最終版と思われるものはここから入手できます。

VMware ESXi-Arm Documentation

ここに置いてある esxi-arm-docs.zip をダウンロードし展開することで以下のドキュメントファイルを得ることが出来ますので、その中を参照しながらインストールをしてください。

  • ESXi-Arm-Fling-Doc.pdf
  • Fling-on-Ampere-Altra-based-Serv.pdf
  • Fling-on-Ampere-Altra-from-OCI.pdf
  • Fling-on-Ampere-eMAG-8180.pdf
  • Fling-on-Arm-Neoverse-N1-System.pdf
  • Fling-on-Marvell-Armada-A8040-Octeon-TX2.pdf
  • Fling-on-NVIDIA-Xavier-AGX-Devel.pdf
  • Fling-on-NVIDIA-Xavier-NX-Devel.pdf
  • Fling-on-NXP-LS1046A-FRWY.pdf
  • Fling-on-NXP-LS1046A-RDB.pdf
  • Fling-on-PINE64-Quartz64-Model-A.pdf
  • Fling-on-Raspberry-Pi.pdf
  • Fling-on-Socionext-SynQuacer.pdf
  • Fling-on-SolidRun-HoneyComb-LX2K.pdf

なにが変わったの?

こちらも修正履歴が記載されているページが消えているので確認することはできないのですが、過去からチェックしている Change log がありましたので、それを英語の原文まま記載しておきます。

Sep 1, 2023 - v1.14
Note: Upgrade is NOW supported from earlier ESXi-Arm 1.x Fling releases using either ESXi-Arm ISO or Offline Bundle

  • Fix SMP boot issues on some micro-architectures.
  • Improve high physical addresses memory nodes support.
  • Add support for 3 kinds of USB NIC adaptors:
    • Realtek RTL8153 serial 1G USB Network Adaptor
    • Realtek RTL8152 serial 100M USB Network Adaptor
    • ASIX AX88179/AX88178A serial 1G USB Network Adaptor
    • See this blog post for the complete list of USB Network Adaptors

      Build 22346715
      VMware-VMvisor-Installer-7.0.0-22346715.aarch64.iso
      VMware-ESXi-7.0.0-22346715-depot.zip

Jun 14, 2023 - v1.13
Note: Upgrade is NOW supported from earlier ESXi-Arm 1.x Fling releases using either ESXi-Arm ISO or Offline Bundle

  • Adds support for AHCI SATA controllers that do not support 64-bit addressing on systems with memory located above 4GB
  • Fixes a PSOD on GIGABYTE’s Ampere Altra and Altra Max systems with ASM1164 based SATA HBAs when one or more SATA disks are present
  • Virtual NVMe device data corruption fix
  • Virtual UEFI ACPI tables now only shows configured serial ports. An ACPI SPCR table is created for the first one found
  • UEFI real-time clock (RTC) support is now enabled on Rockchip based systems
  • Fixes a possible hang at shutdown on Rockchip based systems when using the onboard network interface
  • Upgrades using image profiles with the Offline Bundle (zip) are now possible on all systems
  • Fixes vVols connection failures
  • High Availability for vCenter Server 8.0+ (See blog post for more details)

      Build 21921575
      VMware-VMvisor-Installer-7.0.0-21921575.aarch64.iso
      VMware-ESXi-7.0.0-21921575-depot.zip
      vmware-fdm-8.0.0-20519528.arm64.vib (VC 8.0 Build 20519528)
      vmware-fdm-8.0.0-20920323.arm64.vib (VC 8.0a Build 20920323)
      vmware-fdm-8.0.0-21216066.arm64.vib (VC 8.0b Build 21216066)
      vmware-fdm-8.0.0-21457384.arm64.vib (VC 8.0c Build 21457384)
      vmware-fdm-8.0.1-21560480.arm64.vib (VC 8.0u1 Build 21560480)
      vmware-fdm-8.0.1-21815093.arm64.vib (VC 8.0u1a Build 21815093)

Mar 17, 2023 - v1.12
Note: Upgrade is NOW supported from earlier ESXi-Arm 1.x Fling releases using either ESXi-Arm ISO or Offline Bundle

    • Virtualization Improvements
      • Various fixes related to Arm SystemReady compliance for virtual hardware exposed to guests
      • Compatibility fixes related to secure boot
    • Host Support Improvements
      • New platforms
        • EXPERIMENTAL support for HPE ProLiant RL300 Gen11 servers
        • EXPERIMENTAL support for Marvell OCTEON 10 based platforms
      • NVME
        • Support for NVMe on non-cache coherent PCIe root complexes (eg. Rockchip RK3566 systems like Pine64 Quartz64 and Firefly Station M2)
        • Add a workaround for devices with PCI vendor/device ID 126f:2263 (e.g. Patriot M.2 P300) that report non-unique EUI64/NGUID identifiers which prevented more than one disk from being detected on systems with multiple devices present
          • When upgrading a system from 1.12 from a prior Fling release with one of these devices, datastores from the device will not be mounted by default. Please refer to this blog post on how to mount the volumes after the upgrade is complete
      • Miscellaneous
        • ESXi-Arm Offline Bundle (zip) now available
        • Fixed cache size detection for Armv8.3+ based systems
        • Relax processor speed uniformity checks for DVFS enabled systems
        • Support additional PHY modes in the mvpp2 driver
        • Fixed IPv6 LRO handling in the eqos driver
        • Identify some new CPU models

Known Issues:

      • Ampere Altra-based systems may PSOD when AHCI disks are used
      • In 1.11 we mentioned that the kernel included with the Ubuntu for Arm 22.04.1 LTS installer had an issue that prevented graphics from initializing properly. Ubuntu for Arm 22.04.2 LTS has since been released and includes a fix for this issue.
      • FreeBSD 13.1-RELEASE has a known bug with PVSCSI support and large I/O requests. There are a few ways to work around this issue:
        • Upgrade to FreeBSD 13.2-RC1 or later, which includes a fix
        • Set the tunable kern.maxphys=”131072″ to limit the maximum I/O request size
        • Use AHCI instead of PVSCSI      

 Build 21447677      

 VMware-VMvisor-Installer-7.0.0-21447677.aarch64.iso      

 VMware-ESXi-7.0.0-21447677-depot.zip

Oct 26, 2022 - v1.11
Note:

       Upgrade is NOW supported from earlier ESXi-Arm 1.x Fling releases
      • Support CPU accelerated crypto (e.g. NEON, Armv8 Cryptographic Extensions) for built-in ESX services
      • Fixed ESXi xterm-256color terminfo. Terminal.app in macOS (or any modern terminal, on any OS) now properly renders esxtop
      • Updated the virtual UEFI ROM to match the version used by VMware Fusion for Apple silicon
      • Support for virtual HTTP boot
      • Support for virtual TPM, virtual Secure Boot, and encrypted VMs
      • Support for physical GICv4 systems
      • Added VMware Tools for Windows
      • Fixed issue with ixgben driver

Known Issues:

      • Ampere Altra-based systems may PSOD when AHCI disks are used
      • Ubuntu 22.04 LTS installer graphics do not work. Please use Ubuntu 22.10
      • Windows SVGA driver does not work and must not be installed (or use safe mode to uninstall the svga device)      

 Build 20693597     

 VMware-VMvisor-Installer-7.0.0-20693597.aarch64.iso

July 20, 2022 - v1.10
Note:

       Upgrade is NOW supported from earlier ESXi-Arm 1.x Fling releases
      • Upgrade from earlier ESXi-Arm 1.x Fling is now supported
      • Support for Arm DEN0115 (PCIe config space access via firmware interface, tested with Raspberry Pi)
      • Report L3 cache info for Ampere eMAG
      • Minor improvements to non-cache coherent DMA support
      • Raspberry Pi NIC (genet) statistics
      • GOS: use VNXNET3 and PVSCSI as default for freebsd12
      • Support for RK3566 SBCs (e.g. Quartz64)
        • PCIe support (NVMe not supported at this time)
        • EQOS (onboard) NIC support
      • Fix missing barriers for Intel igbn NIC driver, improving stability
      • Return zero for unknown sys_reg(3, 0, 0, x, y) accesses from VMs
      • Telemetry reporting - Collect statistics on what kind of systems the Fling is being run on, to best gauge interest
        • No PII is collected. Here are items collected:
          • CPU info: core count, NUMA, manufacturer, etc.
          • Firmware info: vendor, version
          • Platform info: vendor, product, UUID, PCI device list
          • ESXi-Arm info: version, patch level, product build
          • The /bin/telemetry script runs on every boot and at 00:00 every Saturday      

 Build 20133114      

 VMware-VMvisor-Installer-7.0.0-20133114.aarch64.iso

March 31, 2022 - v1.9
Note:

       Upgrade is NOT possible, only fresh installation is supported. If you select "Preserve VMFS" option, you can re-register your existing Virtual Machines.
      • Experimental support for Marvell Octeon TX2 CN92xx/CN93xx/CN95xx/CN96xx/CN98xx platforms
      • Improved support for PL011 UARTs
      • VMM support for ID_AA64ISAR2_EL2, fixing VM crashes with newer Linux kernels (>= 5.17-rc2)
      • PCIe Enhanced Allocation support
      • Improvements to logging for PCIe
      • Improvements to MSI virtualization      

 Build 19546333      

 VMware-VMvisor-Installer-7.0.0-19546333.aarch64.iso

December 17, 2021 - v1.8
Note:

       Upgrade is NOT possible, only fresh installation is supported. If you select "Preserve VMFS" option, you can re-register your existing Virtual Machines.
      • ACPI fix to support OpenBSD guests
      • Improved handling of ITS device ID width in implementations without indirect table support
      • Improvements to VMkernel TLB handling
      • Improvements to NUMA handling (Especially around error reporting)     

 Build 19076756      

 VMware-VMvisor-Installer-7.0.0-19076756.aarch64.iso

December 7, 2021 - v1.7
Note:

       Upgrade is NOT possible, only fresh installation is supported. If you select "Preserve VMFS" option, you can re-register your existing Virtual Machines.
      • Experimental support for Pine64 Quartz64 board
      • Support for VMware SVGA driver (compatible with Fusion on AS, e,g, fixes Fedora F35 black screen issue)
      • NUMA-aware VMM, improving performance for dual-socket Ampere Altra machines
      • Improved compatibility for systems without an IORT
      • Fix performance issues in newer Linux kernel guest OSes like Debian 10 and Photon 4
      • Recognise CA55
      • Improve TLBI handling in VMM/VMK
      • Improve contention for atomic ops     

 Build 19025766      

 VMware-VMvisor-Installer-7.0.0-19025766.aarch64.iso

October 6, 2021 - v1.6
Note:

       This release does not contain a new ESXi-Arm build, it is to announce new hardware enablement. The previous ESXi-Arm build can be used with the mentioned hardware platforms below. For more information, please 

download the hardware specific PDF guides

      • Experimental Support for Ampere Altra-based BM.Standard.A1.160 shapes from Oracle Cloud Infrastructure
      • Experimental Support for Marvell Armada A8040 / Octeon TX2 CN9132 chipsets
      • Experimental Support for Socionext SynQuacer Developerbox


August 6, 2021 - v1.5
Note:

       Upgrade is NOT possible, only fresh installation is supported. If you select "Preserve VMFS" option, you can re-register your existing Virtual Machines.
      • Minor VM performance improvement
      • Support BCM2848 ACPI ID for the USB OTG port (affects newer UEFI firmware versions)      

 Build 18427252      

 VMware-VMvisor-Installer-7.0.0-18427252.aarch64.iso

June 15, 2021 - v1.4
Note:

       Upgrade is NOT possible, only fresh installation is supported. If you select "Preserve VMFS" option, you can re-register your existing Virtual Machines.
      • Improved PMU virtualization
      • Fix virtual AHCI support for some ACPI OSes
      • Improve time virtualization
      • Experimental support for NVIDIA Tegra Xavier AGX and NVIDIA Tegra Xavier NX (PCIe, USB, NVMe, SATA)
      • Experimental support for 2P Ampere Altra-based servers (Mt. Jade)
      • Improved VM performance for multi-socket Arm servers
      • Fix virtual NVMe support in UEFI and some OSes
      • Improve interrupt controller virtualization
      • Improve virtualization performance
      • Improve compatibility with newer guest OS linux kernels
      • Improve USB stability issues, especially with RTL8153-based USB NICs (a common chipset) and especially on Raspberry Pi and Tegra Xavier
      • Updated documentation for ESXi-Arm Fling, Raspberry Pi, Ampere Altra, NVIDIA Xavier AGX & NVIDIA Xavier NX (See download for details)      

 Build 18175197      

 VMware-VMvisor-Installer-7.0.0-18175197.aarch64.iso

April 02, 2021 - v1.3
Note:

       Upgrade is NOT possible, only fresh installation is supported. If you select "Preserve VMFS" option, you can re-register your existing Virtual Machines.
      • Improved hardware compatibility (various bug fixes/enhancements)
      • Add support for Experimental Ampere Altra (single socket systems only) (please see Requirements for more details)
      • ACPI support for virtual machines
      • NVMe and PVSCSI boot support in vEFI
      • Workaround for ISO boot on some Arm servers
      • Address VMM crash with newer guest OSes and Neoverse N1-based systems
      • Improved guest interrupt controller virtualization
      • Improved (skeletal) PMU virtualization
      • Improved big endian VM support      

 Build 17839012     

 VMware-VMvisor-Installer-7.0.0-17839012.aarch64.iso

November 30, 2020 - v1.2
Note:

       Upgrade is NOT possible, only fresh installation is supported. If you select "Preserve VMFS" option, you can re-register your existing Virtual Machines.
      • UI: Disable datastore browsing when no datastores are present
      • PSCI: Fix missing context_id argument for CPU_ON calls
      • GICv2: Always enable SGIs, as GIC-500
      • arm64: Support for big-endian guests
      • Remove requirements/restrictions on initrd for UEFI-less VMs      

 Build 17230755     

 VMware-VMvisor-Installer-7.0.0-17230755.aarch64.iso

October 22, 2020 - v1.1

      • Fix for https://flings.vmware.com/esxi-arm-edition/bugs/1098 (PSOD adding to VDS)
      • Support for Arm N1 SDP platform
      • Support for VMs on Neoverse N1 CPU
      • Pass-thru stability improvements to LS1046A and LX2160A platforms
      • Fix for vCenter/DRS incorrect CPU usage
      • Fix for VM crash when VM storage fills up
      • Stability fix for non-coherent DMA device support
      • Installer: tolerate RAM size within 4% of 4GB instead of 3.125 (for the otherwise unsupported RK3399 boards)
      • Serial port handling improvements (for unsupported/unknown boards, to be a bit more resilient of firmware configuration errors)
      • Documentation Updates:
        • Moved and expanded iSCSI doc for Pi doc to main ESXi-Arm Fling doc
        • Added LS1046ARDB docs (including ref to it from main ESXi-Arm doc and Fling website)
        • Fixed Ampere server name and links (its HR330A/HR350A, not SR-something)
        • Added Arm N1SDP document (including ref to it from main ESXi-Arm doc)
        • Updated GuestOSes known to work with ESXi-Arm including new "Verified" section
        • Updated instruction to update EEPROM for Pi doc      

 Build 17068872      

 VMware-VMvisor-Installer-7.0.0-17068872.aarch64.iso

October 06, 2020 - v1.0 (Initial Release)    

 Build 16966451      

 VMware-VMvisor-Installer-7.0.0-16966451.aarch64.iso

 ダウンロード情報

ESXi for ARM v1.14

ダウンロードには Customer Connect アカウントが必要です。 Customer Connect アカウントは個人でも作成できるので、リンクからCustomer Connect アカウントを作成し

 Customer Connect にログイン後、  ESXi for ARM からイメージをダウンロードしてください。なお、リリースノートは以下の URL で見ることができます。

この記事から読み始めた方のための補助情報

ESXi Arm Edition は単体でも使うことができますが、vCenter Server 配下でも

使うことができます。使用できる vCenter Server には以下の要件があります。

  • ESXi-Arm ホストの管理には、vCenter Server Appliance(VCSA)7.0 以降が必要です。
  • ESXi-Arm ホストで vSphere HA および vSphere FT を有効にしたいときは、vCenter Server Appliance(VCSA)7.0.0c または 7.0.0d を使います。また、vSphere DRS が必要な場合は VCSA7.0.0c または 7.0.0d を使用するとともに、VCSA7.0c の場合は vmware-fdm-7.0c-16620014.arm64.vib を、VCSA7.0d の場合は vmware-fdm-7.0d-16749671.arm64.vib をダウンロードし適用する必要があります。
    ※ vCSA によって適用する vib が異なりますので注意してください。
    ※vCSA 7.0.0c / 7.0.0d は VMware サイトの製品のダウンロードからダウンロードできます。
  • vCenter Server Appliance(VCSA)7.0 Update 1以降を使用することは可能ですが、いくつかの制限があります。
    • vSphere DRSは機能が動作しません。
    • vCLS(vCenter Cluster Services)対策が必要です。(現在の vCenter Server Appliance は x86 ベースの仮想マシンのため、vCLS により分散コントロールプレーンサービスをESXiホストにデプロイしようとしてもできないため、ファイルの削除処理が走るとともに再度のデプロイ処理も走るため、延々と処理が続いているような状態になります。)

VCSA 7.0 U1 以降を使う場合は

どうしても VCSA 7.0.0c または VCSA 7.0.0d が入手できず VCSA 7.0 U1 以降を使わざるを得ない場合は、以下の KB を参考にして vCLS を無効にしてください。これにより、vCLS の動作が停止してメッセージも出なくなります。

kb.vmware.com

この vCLS 停止は既存の x86 の vSphere 7.0x でも有効なので、vCLS を使用しない場合はこの設定をするのもよいかもしれません。

vCentr Server Appliance は x86 ベースしかないので、ESXi Arm Edition 以外に最低 1台の x86 ESXi が必要になります。でも、それを準備すれば安価に vSAN まで使える vSphere 環境が得られるのは、家ラボやっている人には朗報です。ただし、私のように Raspberry Pi 4 で環境を作っている場合はそのホストのメモリーが 8GB しかないので、できることは最低限になります。例えば vSphere の資格を取るための勉強用としては良いかもしれませんが、本格的に vSphere ノウハウを習得するために家ラボを作る場合には、やはり x86 ホストは必要になるかなと思います。

どんなことに使えるの

もともと Raspberry Pi 4 は最大 8GB しかメモリーがありません。そのため、Raspberry Pi 4 の上で Arm ベースの仮想マシンは数動かせません。あくまでも vSphere 7 をテストしてみたい、または ARM 版の ESXi を体験したいなどの用途がメインになると思います。あとは、VMware の資格を取るための勉強の環境という使い方もあるでしょう。本番としては使うなとも書かれていますので、あくまでも評価という使い方になります。

過去の ESXi Arm Edition の記事

今までの記事のリストがここで見られますので、併せてご覧ください。

imaisato.hatenablog.jp

f:id:imaisato:20220206203155p:plain

ESXi for ARM