libvirt.git
3 hours agoqemu: Adjust EndAsyncJob for qemuDomainSaveInternal error path master
John Ferlan [Mon, 26 Jan 2015 19:13:22 +0000]
qemu: Adjust EndAsyncJob for qemuDomainSaveInternal error path

Commit id '540c339a' to fix issues with reference counting and transient
domains moved the qemuDomainObjEndAsyncJob call prior to the attempt to
restart the guest CPU's resulting in an error:

    error: Failed to save domain rhel70 to /tmp/pl/rhel70.save
    error: internal error: unexpected async job 3

when (ret != 0) - eg, the error path from qemuDomainSaveMemory.

This patch will adjust the logic to call the EndAsyncJob only after
we've tried to restart the guest CPUs. It also needs to adjust the
test for qemuDomainRemoveInactive to add the ret == 0 condition.

Additionally, if we get to endjob: because of some error earlier, then
we need to save that error in the event the CPU restart logic fails.
We don't want to return the error from CPU restart failure, rather we
want to return the error from the failed save that caused us to fall
into the retry to start the CPU logic.

Signed-off-by: John Ferlan <jferlan@redhat.com>

4 hours agoschemas: Allow all generic elements and attributes for all interfaces
Michal Privoznik [Wed, 28 Jan 2015 17:14:22 +0000]
schemas: Allow all generic elements and attributes for all interfaces

There are some interface types (notably 'server' and 'client')
which instead of allowing the default set of elements and
attributes (like the rest do), try to enumerate only the elements
they know of. This way it's, however, easy to miss something. For
instance, the <address/> element was not mentioned at all. This
resulted in a strange behavior: when such interface was added
into XML, the address was automatically generated by parsing
code. Later, the formatted XML hasn't passed the RNG schema. This
became more visible once we've turned on the XML validation on
domain XML changes: appending an empty line at the end of
formatted XML (to trick virsh think the XML had changed) made
libvirt to refuse the very same XML it formatted.

Instead of trying to find each element and attribute we are
missing in the schema, lets just allow all the elements and
attributes like we're doing that for the rest of types. It's no
harm if the schema is wider than our parser allows.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

6 hours agoqemu: Add AAVMF to the list of known UEFIs
Michal Privoznik [Wed, 21 Jan 2015 18:44:43 +0000]
qemu: Add AAVMF to the list of known UEFIs

Well, even though users can pass the list of UEFI:NVRAM pairs at the
configure time, we may maintain the list of widely available UEFI
ourselves too. And as arm64 begin to rises, OVMF was ported there too.
With a slight name change - it's called AAVMF, with AAVMF_CODE.fd
being the UEFI firmware and AAVMF_VARS.fd being the NVRAM store file.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

6 hours agoqemu: Allow UEFI paths to be specified at compile time
Michal Privoznik [Wed, 21 Jan 2015 18:38:57 +0000]
qemu: Allow UEFI paths to be specified at compile time

Up until now there are just two ways how to specify UEFI paths to
libvirt. The first one is editing qemu.conf, the other is editing
qemu_conf.c and recompile which is not that fancy. So, new
configure option is introduced: --with-loader-nvram which takes a
list of pairs of UEFI firmware and NVRAM store. This way, the
compiled in defaults can be passed during compile time without
need to change the code itself.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

6 hours agoFix syntax-check
Ján Tomko [Thu, 29 Jan 2015 13:39:12 +0000]
Fix syntax-check

My commit 08d1ae1 broke syntax-check by adding ATTRIBUTE_UNUSED
to the flags parameter.

Rename the parameter to unused_flags to bypass the check.

11 hours agoRemove flag checking in MacVLanCreate helper stub
Ján Tomko [Thu, 29 Jan 2015 09:03:29 +0000]
Remove flag checking in MacVLanCreate helper stub

When compiling without WITH_MACVTAP, we can get:
'unsupported flags (0x1) in function
virNetDevMacVLanCreateWithVPortProfile'
on an attempt to start a domain.

Remove the flag check to reach the more helpful error:
Cannot create macvlan devices on this platform

https://bugzilla.redhat.com/show_bug.cgi?id=1186928

12 hours agovirsh: man: Document behavior of some blkdeviotune's flags when querying
Peter Krempa [Thu, 29 Jan 2015 07:33:51 +0000]
virsh: man: Document behavior of some blkdeviotune's flags when querying

--live and --config can't be specified together when querying the
configuration, but are valid when setting. The man page was hinting that
they are valid always.

12 hours agoutil: bitmap: Tolerate NULL bitmaps in virBitmapEqual
Peter Krempa [Tue, 20 Jan 2015 18:41:08 +0000]
util: bitmap: Tolerate NULL bitmaps in virBitmapEqual

After virBitmapEqual is able to compare NULL bitmaps few bits of code
can be cleaned up.

21 hours agostorage: Check the partition name against provided name
John Ferlan [Fri, 16 Jan 2015 00:12:42 +0000]
storage: Check the partition name against provided name

https://bugzilla.redhat.com/show_bug.cgi?id=1138516

If the provided volume name doesn't match what parted generated as the
partition name, then return a failure.

Update virsh.pod and formatstorage.html.in to describe the 'name' restriction
for disk pools as well as the usage of the <target>'s <format type='value'>.

21 hours agostorage: When delete extended partition, need to refresh pool
John Ferlan [Thu, 22 Jan 2015 16:23:10 +0000]
storage: When delete extended partition, need to refresh pool

When removing a volume that is the extended partition, all the logical
volume partitions that exist within the extended partition will also be
removed, so we need to refresh the pool to have the updated list

21 hours agostorage: Adjust how to refresh extended partition disk data
John Ferlan [Thu, 22 Jan 2015 14:12:04 +0000]
storage: Adjust how to refresh extended partition disk data

During virStorageBackendDiskMakeDataVol processing, if we find an extended
partition, then handle it specially when updating the capacity/allocation
rather than calling virStorageBackendUpdateVolInfo.

As it turns out, once a logical partition exists, any attempt to refresh
the pool or after libvirtd restart/reload will result in a failure to open
the extended partition device resulting in the inability to start the pool.
The downside to this is we will lose the <permissions> and <timestamps> for
the extended partition upon subsequent restart, refresh, reload since the
stat() in virStorageBackendUpdateVolTargetInfoFD will not be called. However,
since it's really only a container and shouldn't directly be used for
storage that seems reasonable.

Therefore, only use the existing code that already had a comment about
getting the allocation wrong for extended partitions for just the setting
of the extended partition data.

21 hours agostorage: Fix check for partition type for disk backing volumes
John Ferlan [Thu, 22 Jan 2015 13:30:36 +0000]
storage: Fix check for partition type for disk backing volumes

While checking the existing partitions in virStorageBackendDiskPartFormat,
the code would erroneously compare the volume target format type (eg, the
virStoragePartedFsType) rather than the source partition type (eg, the
virStorageVolTypeDisk) which is set during virStorageBackendDiskReadPartitions.

21 hours agostorage: Attempt error recovery in virStorageBackendDiskCreateVol
John Ferlan [Wed, 21 Jan 2015 20:38:05 +0000]
storage: Attempt error recovery in virStorageBackendDiskCreateVol

During virStorageBackendDiskCreateVol if virStorageBackendDiskReadPartitions
fails, then we were leaving with an error and a partition on the disk for
which there was no corresponding volume and used space on the disk which
could be reclaimable through direct parted activity. On a subsequent restart,
reload, or refresh the volume may magically appear too.

21 hours agostorage: Move virStorageBackendDiskDeleteVol
John Ferlan [Wed, 21 Jan 2015 19:41:02 +0000]
storage: Move virStorageBackendDiskDeleteVol

Move the API to before virStorageBackendDiskCreateVol in order to be
able to call the DeleteVol API when virStorageBackendDiskReadPartitions
fails so that we don't by chance leave a partition on the disk.

26 hours agolibvirt.spec: remove vbox storage and network .so files
Pavel Hrdina [Wed, 28 Jan 2015 17:40:14 +0000]
libvirt.spec: remove vbox storage and network .so files

Commit 55ea7be7 removed separated modules for vbox_network and
vbox_storage drivers but forget to update libvirt.spec.in file. This
patch will fix rpm build.

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

28 hours agoqemu: fix cannot set graphic passwd via qemuDomainSaveImageDefineXML
Luyao Huang [Tue, 20 Jan 2015 09:04:41 +0000]
qemu: fix cannot set graphic passwd via qemuDomainSaveImageDefineXML

https://bugzilla.redhat.com/show_bug.cgi?id=1183890

When we try to update a xml to a image file, we will clear the
graphics passwd settings, because we do not pass VIR_DOMAIN_XML_SECURE
to qemuDomainDefCopy, qemuDomainDefFormatBuf won't format the passwd.

Add VIR_DOMAIN_XML_SECURE flag when we call qemuDomainDefCopy
in qemuDomainSaveImageUpdateDef.

Signed-off-by: Luyao Huang <lhuang@redhat.com>

35 hours agohotplug: only add a chardev to vmdef after monitor call
Ján Tomko [Tue, 27 Jan 2015 17:44:30 +0000]
hotplug: only add a chardev to vmdef after monitor call

https://bugzilla.redhat.com/show_bug.cgi?id=1161024

This way the device is in vmdef only if ret = 0 and the caller
(qemuDomainAttachDeviceFlags) does not free it.

Otherwise it might get double freed by qemuProcessStop
and qemuDomainAttachDeviceFlags if the domain crashed
in monitor after we've added it to vm->def.

2 days agoSplit qemuDomainChrInsert into two parts
Ján Tomko [Tue, 27 Jan 2015 17:30:15 +0000]
Split qemuDomainChrInsert into two parts

Do the allocation first, then add the actual device.
The second part should never fail. This is good
for live hotplug where we don't want to remove the device
on OOM after the monitor command succeeded.

The only change in behavior is that on failure, the
vmdef->consoles array is freed, not just the first console.

2 days agolxc: report veth device indexes to systemd
Daniel P. Berrange [Fri, 16 Jan 2015 16:58:39 +0000]
lxc: report veth device indexes to systemd

Record the index of each host-side veth device created and report
them to systemd, so they show up in machinectl status for the VM.

lxc-shell(95449419f969d649d9962566ec42af7d)
     Since: Fri 2015-01-16 16:53:37 GMT; 3s ago
    Leader: 28085 (sh)
   Service: libvirt-lxc; class container
     Iface: vnet0
   Address: fe80::216:3eff:fe00:c317%124
        OS: Fedora 21 (Twenty One)
      Unit: machine-lxc\x2dshell.scope
            └─28085 /bin/sh

2 days agolxc: more logging during startup paths
Daniel P. Berrange [Fri, 16 Jan 2015 17:20:48 +0000]
lxc: more logging during startup paths

Add more logging to the lxc controller and container files to
facilitate debugging startup problems. Also make it clear when
the container is going to close stdout and thus no longer do
any logging.

2 days agolxc: delay setup of cgroup until we have the init pid
Daniel P. Berrange [Fri, 16 Jan 2015 16:23:45 +0000]
lxc: delay setup of cgroup until we have the init pid

Don't create the cgroups ahead of launching the container since
there is no need for the limits to apply during initial bootstrap.
Create the cgroup after the container PID is known and tell
systemd the initpid is the leader, instead of the controller
pid.

2 days agolxc: only write XML once for lxc controller
Daniel P. Berrange [Fri, 16 Jan 2015 16:39:57 +0000]
lxc: only write XML once for lxc controller

Currently when launching the LXC controller we first write out
the plain, inactive XML configuration, then launch the controller,
then replace the file with the live status XML configuration.
By good fortune this hasn't caused any problems other than some
misleading error messages during failure scenarios.

This simplifies the code so it only writes out the XML once and
always writes the live status XML. To do this we need to handshake
with the child process, to make execution pause just before exec()
so we can write the XML status with the child PID present.

2 days agolxc: re-arrange startup synchronization sequence with controller
Daniel P. Berrange [Fri, 16 Jan 2015 15:03:16 +0000]
lxc: re-arrange startup synchronization sequence with controller

Currently the lxc controller process itself is responsible for
daemonizing itself into the background and writing out its pid
file. The lxc driver would fork the controller and then attempt
to connect to the lxc monitor. This connection would only
succeed after the controller has backgrounded itself, setup
cgroups and written its pid file, so startup was race free.

The problem is that we need to delay create of the cgroups to
much later, such that we can tell systemd the container init
pid when we create the cgroups. If we delay cgroup creation
though the current synchronization won't work.

A second problem is that the controller needs the XML config
of the guest. Currently we write out the plain virDomainDefPtr
XML before starting the controller, and then later replace it
with the full virDomainObjPtr status XML. This is kind of gross
and also means that the controller doesn't get a record of the
live XML config right away. This means it doesn't have a record
of the veth device names either and so can't give that info
to systemd when creating the cgroups.

To address this we change the startup sequencing. The goal
is that we want to get the PID as soon as possible, before
the LXC controller even starts. So we stop letting the LXC
controller daemonize itself, and instead use virCommand's
built-in capabilities. This daemonizes and writes the PID
before LXC controller is exec'd. So the driver can read
the PID as soon as virCommandRun returns. It is no longer
safe to connect to the monitor or detect the cgroups though.

Fortunately the LXC controller already has a second point
of synchronization. Immediately before its  event loop
starts running, it performs a handshake with the driver.
So we move the opening of the monitor connection and cgroup
detection after this synchronization point.

2 days agolxc: don't build pidfile string multiple times
Daniel P. Berrange [Fri, 16 Jan 2015 11:54:30 +0000]
lxc: don't build pidfile string multiple times

Build the pidfile string once when starting a guest and then
use the same string thereafter. This will benefit following
patches which need the pidfile string in more situations.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

2 days agosystemd: don't report an error if the guest is already terminated
Daniel P. Berrange [Fri, 16 Jan 2015 11:26:39 +0000]
systemd: don't report an error if the guest is already terminated

In many cases where we invoke virSystemdTerminateMachine the
process(es) will have already gone away on their own accord.
In these cases we log an error message that the machine does
not exist. We should catch this particular error and simply
ignore it, so we don't pollute the logs.

2 days agoqemu: report TAP device indexes to systemd
Daniel P. Berrange [Fri, 16 Jan 2015 11:25:50 +0000]
qemu: report TAP device indexes to systemd

Record the index of each TAP device created and report them to
systemd, so they show up in machinectl status for the VM.

2 days agoFix shadowed variable warning
Ján Tomko [Tue, 27 Jan 2015 12:36:10 +0000]
Fix shadowed variable warning

libvirtd.c: In function 'daemonSetupAccessManager':
libvirtd.c:730:18: error: declaration of 'driver' shadows
  a global declaration [-Werror=shadow]
     const char **driver = (const char **)config->access_drivers;
                  ^
In file included from libvirtd.c:95:0:
../src/node_device/node_device_driver.h:43:36: error: shadowed
  declaration is here [-Werror=shadow]
 extern virNodeDeviceDriverStatePtr driver;
                                    ^

2 days agostorage: add a flag to clone files on btrfs
Chen Hanxiao [Fri, 23 Jan 2015 10:22:35 +0000]
storage: add a flag to clone files on btrfs

When creating a RAW file, we don't take advantage
of clone of btrfs.

Add a VIR_STORAGE_VOL_CREATE_REFLINK flag to request
a reflink copy.

Signed-off-by: Chen Hanxiao <chenhanxiao@cn.fujitsu.com>
Signed-off-by: Ján Tomko <jtomko@redhat.com>

2 days agostorage: introduce btrfsCloneFile() for COW copy
Chen Hanxiao [Fri, 23 Jan 2015 10:22:34 +0000]
storage: introduce btrfsCloneFile() for COW copy

Add a wrapper for BTRFS_IOC_CLONE ioctl.

Signed-off-by: Chen Hanxiao <chenhanxiao@cn.fujitsu.com>
Signed-off-by: Ján Tomko <jtomko@redhat.com>

2 days agoRemoving probing of secondary drivers
Daniel P. Berrange [Tue, 20 Jan 2015 16:16:26 +0000]
Removing probing of secondary drivers

For stateless, client side drivers, it is never correct to
probe for secondary drivers. It is only ever appropriate to
use the secondary driver that is associated with the
hypervisor in question. As a result the ESX & HyperV drivers
have both been forced to do hacks where they register no-op
drivers for the ones they don't implement.

For stateful, server side drivers, we always just want to
use the same built-in shared driver. The exception is
virtualbox which is really a stateless driver and so wants
to use its own server side secondary drivers. To deal with
this virtualbox has to be built as 3 separate loadable
modules to allow registration to work in the right order.

This can all be simplified by introducing a new struct
recording the precise set of secondary drivers each
hypervisor driver wants

struct _virConnectDriver {
    virHypervisorDriverPtr hypervisorDriver;
    virInterfaceDriverPtr interfaceDriver;
    virNetworkDriverPtr networkDriver;
    virNodeDeviceDriverPtr nodeDeviceDriver;
    virNWFilterDriverPtr nwfilterDriver;
    virSecretDriverPtr secretDriver;
    virStorageDriverPtr storageDriver;
};

Instead of registering the hypervisor driver, we now
just register a virConnectDriver instead. This allows
us to remove all probing of secondary drivers. Once we
have chosen the primary driver, we immediately know the
correct secondary drivers to use.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

2 days agodon't disable state driver when libvirtd is not built
Daniel P. Berrange [Mon, 19 Jan 2015 16:56:04 +0000]
don't disable state driver when libvirtd is not built

A bunch of code is wrapped in #if WITH_LIBVIRTD in order to
enable the virStateDriver to be disabled when libvirtd is not
built. Disabling this code doesn't have any real functional
benefit beyond removing 1 pointer from the virConnectPtr struct,
while having a cost of many more conditionals.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

2 days agoRemove all secondary driver private data fields
Daniel P. Berrange [Fri, 14 Nov 2014 15:27:24 +0000]
Remove all secondary driver private data fields

Now all drivers are converted to use their global state
directly, there is no need for private data fields for
the secondary drivers in virConnectPtr

2 days agoRemove use of interfacePrivateData from udev driver
Daniel P. Berrange [Mon, 17 Nov 2014 17:09:00 +0000]
Remove use of interfacePrivateData from udev driver

The udev driver can be implemented using global state instead
of the connect private data.

2 days agoRemove use of nodeDevicePrivateData from nodeDev driver
Daniel P. Berrange [Mon, 17 Nov 2014 16:30:27 +0000]
Remove use of nodeDevicePrivateData from nodeDev driver

The node device driver can rely on its global state instead
of the connect private data.

2 days agoRemove use of storagePrivateData/networkPrivateData from vbox
Daniel P. Berrange [Fri, 14 Nov 2014 15:24:26 +0000]
Remove use of storagePrivateData/networkPrivateData from vbox

The vbox driver can use the main hypervisor private data and
so does not need to use the storage/network private data fields.

2 days agoRemove use of nwfilterPrivateData from nwfilter driver
Daniel P. Berrange [Fri, 7 Nov 2014 10:37:37 +0000]
Remove use of nwfilterPrivateData from nwfilter driver

The nwfilter driver can rely on its global state instead
of the connect private data.

2 days agoRemove use of secretPrivateData from secret driver
Daniel P. Berrange [Fri, 7 Nov 2014 10:28:58 +0000]
Remove use of secretPrivateData from secret driver

The secret driver can rely on its global state instead
of the connect private data.

2 days agoqemu: Fix job handling in qemuDomainSetMetadata
Peter Krempa [Thu, 22 Jan 2015 08:56:38 +0000]
qemu: Fix job handling in qemuDomainSetMetadata

The code modifies the domain configuration but doesn't take a MODIFY
type job to do so.

2 days agoqemu: Fix job type in qemuDomainGetBlockIoTune
Peter Krempa [Thu, 22 Jan 2015 08:56:38 +0000]
qemu: Fix job type in qemuDomainGetBlockIoTune

The function just queries status so there's no need for a MODIFY type
job.

2 days agoqemu: Fix job handling in qemuDomainSetSchedulerParametersFlags
Peter Krempa [Thu, 22 Jan 2015 08:56:38 +0000]
qemu: Fix job handling in qemuDomainSetSchedulerParametersFlags

The code modifies the domain configuration but doesn't take a MODIFY
type job to do so.

2 days agoqemu: Fix job handling in qemuDomainSetMemoryParameters
Peter Krempa [Thu, 22 Jan 2015 08:56:38 +0000]
qemu: Fix job handling in qemuDomainSetMemoryParameters

The code modifies the domain configuration but doesn't take a MODIFY
type job to do so.

2 days agoqemu: Fix job handling in qemuDomainSetAutostart
Peter Krempa [Thu, 22 Jan 2015 08:56:38 +0000]
qemu: Fix job handling in qemuDomainSetAutostart

The code modifies the domain configuration but doesn't take a MODIFY
type job to do so.

This patch also fixes a few very long lines of code around the touched
parts.

2 days agoqemu: Fix job handling in qemuDomainPinEmulator
Peter Krempa [Thu, 22 Jan 2015 08:56:38 +0000]
qemu: Fix job handling in qemuDomainPinEmulator

The code modifies the domain configuration but doesn't take a MODIFY
type job to do so.

2 days agoqemu: Fix job handling in qemuDomainPinVcpuFlags
Peter Krempa [Thu, 22 Jan 2015 08:56:38 +0000]
qemu: Fix job handling in qemuDomainPinVcpuFlags

The domain modifies the domain configuration but doesn't take a MODIFY
type job to do it.

2 days agoPost-release version bump for new dev cycle
Peter Krempa [Tue, 27 Jan 2015 08:28:15 +0000]
Post-release version bump for new dev cycle

2 days agoRelease of libvirt-1.2.12 v1.2.12-maint v1.2.12
Daniel Veillard [Tue, 27 Jan 2015 08:01:12 +0000]
Release of libvirt-1.2.12

* docs/news.html.in libvirt.spec.in: updated for the release
* po/*.po*: regenerated the po

3 days agotests: Check for virQEMUDriverConfigNew return value
Michal Privoznik [Mon, 26 Jan 2015 16:09:36 +0000]
tests: Check for virQEMUDriverConfigNew return value

The function may return NULL if something went wrong. In some places
in the tests we are not checking the return value rather than
accessing the pointer directly resulting in SIGSEGV.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

3 days agoFix a memory leak in virCgroupGetPercpuStats
Ján Tomko [Mon, 26 Jan 2015 09:20:22 +0000]
Fix a memory leak in virCgroupGetPercpuStats

Coverity reports that my commit af1c98e introduced
two memory leaks:
the cpumap if ncpus == 0 in virCgroupGetPercpuStats
and the params array in the test of the function.

3 days agoUse correct location for qcow1 encryption header
Ján Tomko [Fri, 23 Jan 2015 12:29:48 +0000]
Use correct location for qcow1 encryption header

After the 8-byte size header, there are two one-byte headers
and two bytes of padding before the crypt_header field.

Our QCOW1_HDR_CRYPT constant did not skip the padding.
http://git.qemu.org/?p=qemu.git;a=blob;f=block/qcow.c;h=ece22697#l41

https://bugzilla.redhat.com/show_bug.cgi?id=1185165

3 days agosystemd: avoid string comparisons on dbus error messages
Daniel P. Berrange [Thu, 22 Jan 2015 16:50:33 +0000]
systemd: avoid string comparisons on dbus error messages

Add a virDBusErrorIsUnknownMethod helper so that callers
don't need todo string comparisons themselves to detect
standard error names.

3 days agosystemd: fix build without dbus
Daniel P. Berrange [Mon, 19 Jan 2015 12:30:24 +0000]
systemd: fix build without dbus

The virDBusMethodCall method has a DBusError as one of its
parameters. If the caller wants to pass a non-NULL value
for this, it immediately makes the calling code require
DBus at build time. This has led to breakage of non-DBus
builds several times. It is desirable that only the virdbus.c
file should need WITH_DBUS conditionals, so we must ideally
remove the DBusError parameter from the method.

We can't simply raise a libvirt error, since the whole point
of this parameter is to give the callers a way to check if
the error is one they want to ignore, without having the logs
polluted with an error message. So, we add a virErrorPtr
parameter which the caller can then either ignore or raise
using the new virReportErrorObject method.

This new method is distinct from virSetError in that it
ensures the logging hooks are run.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

6 days agoaarch64: Support versioned machine types. v1.2.12-rc2
Richard W.M. Jones [Fri, 23 Jan 2015 14:48:25 +0000]
aarch64: Support versioned machine types.

For distros that want to add versioned machine types, they will add
(downstream) machine types like "virt-foo-1.2.3".  Detect these as
MMIO too.

Signed-off-by: Richard W.M. Jones <rjones@redhat.com>

6 days agoqemu: Add check for PCI bridge placement if there are too many PCI devices
Erik Skultety [Fri, 23 Jan 2015 12:17:43 +0000]
qemu: Add check for PCI bridge placement if there are too many PCI devices

Previous patch of this series fixed the issue with adding a new PCI bridge
when all the slots were reserved by devices with user specified addresses.
In case there are still some PCI devices waiting to get a slot reserved
by qemuAssignDevicePCISlots, this means a new bus needs to be
created along with a corresponding bridge controller. By adding an
additional check, this scenario now results in a reasonable error
instead of generating wrong qemu command line.

6 days agoqemu: Fix auto-adding PCI bridge when all slots are reserved
Erik Skultety [Fri, 23 Jan 2015 12:17:42 +0000]
qemu: Fix auto-adding PCI bridge when all slots are reserved

Commit 93c8ca tried to fix the issue with auto-adding of a PCI bridge
controller, but didn't work properly in all scenarios.

This patch provides a better fix of the issue when all slots on a PCI bus
are reserved by devices with user specified addresses and no additional
bridges need to be created.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1132900

6 days agoqemu: move PCI slot assignment for PIIX3, Q35 into a separate function
Erik Skultety [Fri, 23 Jan 2015 12:17:41 +0000]
qemu: move PCI slot assignment for PIIX3, Q35 into a separate function

In order to be able to test for fully reserved PCI buses, assignment of
PCI slots for integrated devices needs to be moved to a separate function.
This also might be a good preparation if we decide to add support for
other chipsets as well.

6 days agoqemu: reorder PCI slot assignment functions
Erik Skultety [Fri, 23 Jan 2015 12:17:40 +0000]
qemu: reorder PCI slot assignment functions

Move qemuDomainAssignPCIAddresses after the definition
of the static function qemuDomainValidateDevicePCISlotsQ35.

This lets us define a new static function using
qemuDomainValidateDevicePCISlots* and use it in
qemuDomainAssignPCIAddresses without a forward declaration.

Signed-off-by: Ján Tomko <jtomko@redhat.com>

6 days agoschemas: Move definition of 'hexuint' to basictypes
Peter Krempa [Thu, 11 Dec 2014 13:50:11 +0000]
schemas: Move definition of 'hexuint' to basictypes

Allow reuse of the type.

6 days agoutil: json: Make argument of virJSONValueArraySize const
Peter Krempa [Thu, 15 Jan 2015 13:40:48 +0000]
util: json: Make argument of virJSONValueArraySize const

The function doesn't allow to modify the array in any way, thus the
argument can be const.

6 days agoqemu: command: Honor const-correctnes in qemuBuildNumaArgStr
Peter Krempa [Fri, 9 Jan 2015 14:47:10 +0000]
qemu: command: Honor const-correctnes in qemuBuildNumaArgStr

@def is modified in the function indirectly although it's marked as
const.

6 days agoconf: Fix comment mentioning actual type of @multi member of virDevicePCIAddress
Peter Krempa [Tue, 20 Jan 2015 18:38:00 +0000]
conf: Fix comment mentioning actual type of @multi member of virDevicePCIAddress

After refactor to use the virTristateSwitch enum the comment in the
struct was not adjusted.

6 days agoGrant access to helpers
Mike Latimer [Tue, 20 Jan 2015 01:25:41 +0000]
Grant access to helpers

Apparmor must not prevent access to required helper programs. The following
helpers should be allowed to run in unconfined execution mode:

 - libvirt_parthelper
 - libvirt_iohelper

6 days agoFix apparmor issues for tck
Mike Latimer [Tue, 20 Jan 2015 01:25:42 +0000]
Fix apparmor issues for tck

The network and nwfilter tests contained in the libvirt-TCK testkit can fail
unless access to raw network packets is granted. Without this access, the
following apparmor error can be seen while running the tests:

  apparmor="DENIED" operation="create" parent=1 profile="/usr/sbin/libvirtd"
  pid=94731 comm="libvirtd" family="packet" sock_type="raw" protocol=768

6 days agoFix apparmor issues for Xen
Mike Latimer [Tue, 20 Jan 2015 01:25:40 +0000]
Fix apparmor issues for Xen

In order for apparmor to work properly in Xen environments, the following
access rights need to be allowed:

 - Allow CAP_SYS_PACCT, which is required when resetting some multi-port
   Broadcom cards by writting to the PCI config space

 - Allow CAP_IPC_LOCK, which is required to lock/unlock memory. Without
   this setting, an error 'Resource temporarily unavailable' can be seen
   while attempting to mmap memory. At the same time, the following
   apparmor message is seen:

   apparmor="DENIED" operation="capable" parent=1 profile="/usr/sbin/libvirtd"
   pid=2097 comm="libvirtd" pid=2097 comm="libvirtd" capability=14
   capname="ipc_lock"

 - Allow access to distribution specific directories:
     /usr/{lib,lib64}/xen/bin

6 days agoconf: virDomainDefMaybeAddController tweak return code
Erik Skultety [Wed, 21 Jan 2015 16:49:51 +0000]
conf: virDomainDefMaybeAddController tweak return code

Previously the function returned either -1 in case of an error or 0 on
success. However, we should also distinguish between a case we
successfully added a controller and a case there wasn't a need to add any
controller

6 days agoqemu: Remove dead code in qemuDomainAssignPCIAddresses revert patch
Erik Skultety [Wed, 21 Jan 2015 16:49:24 +0000]
qemu: Remove dead code in qemuDomainAssignPCIAddresses revert patch

As it turned out, fix of dead code 419a22 changed the affected condition
from "never true" to "always true", so better fix would be to change the
return code of virDomainMaybeAddController from 0 to 1 if
a new bridge has been added, thus distinguishing case when we didn't need to
add any controller and case we successfully added one.

The return code is changed in the next commit

6 days agoFix build with older gcc
Ján Tomko [Fri, 23 Jan 2015 09:30:01 +0000]
Fix build with older gcc

My commit af1c98e4 broke the build on RHEL-6:
vircgrouptest.c: In function 'testCgroupGetPercpuStats':
vircgrouptest.c:566: error: nested extern declaration of
'_gl_verify_function2' [-Wnested-externs]

The only thing that needs checking is that the array size
is at least EXPECTED_NCPUS, to prevent access beyond the array.

We can ensure the minimum size also by specifying the array
size upfront.

7 days agoesx_vi: fix possible segfault
Pavel Hrdina [Wed, 21 Jan 2015 10:17:52 +0000]
esx_vi: fix possible segfault

Clang found possible dereference of NULL pointer which is right.
Function 'esxVI_LookupTaskInfoByTask' should find a task info. The issue
is that we could return 0 and leave 'taksInfo' pointer NULL because if
there is no match we simply end the search loop end set 'result' to 0.
Every caller count on the fact that if the return value is 0 than it's
safe to dereference 'taskInfo'. We should return 0 only in case we found
something and the '*taskInfo' is not NULL.

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

7 days agoxenapi_driver: fix copy-paste typo
Pavel Hrdina [Wed, 21 Jan 2015 10:13:31 +0000]
xenapi_driver: fix copy-paste typo

Clang found that we are passing variable with wrong enum type to
'xenapiCrashExitEnum2virDomainLifecycle' function. This is probably
copy-paste typo as the correct variable exists in the code, but it isn't
used.

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

7 days agoFix virCgroupGetPercpuStats with non-continuous present CPUs
Ján Tomko [Thu, 22 Jan 2015 10:54:50 +0000]
Fix virCgroupGetPercpuStats with non-continuous present CPUs

Per-cpu stats are only shown for present CPUs in the cgroups,
but we were only parsing the largest CPU number from
/sys/devices/system/cpu/present and looking for stats even for
non-present CPUs.
This resulted in:
internal error: cpuacct parse error

7 days agoCVE-2015-0236: qemu: Check ACLs when dumping security info from snapshots CVE-2015-0236-2
Peter Krempa [Tue, 20 Jan 2015 16:01:01 +0000]
CVE-2015-0236: qemu: Check ACLs when dumping security info from snapshots

The ACL check didn't check the VIR_DOMAIN_XML_SECURE flag and the
appropriate permission for it. Found via code inspection while fixing
permissions for save images.

7 days agoCVE-2015-0236: qemu: Check ACLs when dumping security info from save image CVE-2015-0236-1
Peter Krempa [Tue, 20 Jan 2015 16:01:01 +0000]
CVE-2015-0236: qemu: Check ACLs when dumping security info from save image

The ACL check didn't check the VIR_DOMAIN_XML_SECURE flag and the
appropriate permission for it.

7 days agoqemu: output error when try to hotplug unsupported console type
Luyao Huang [Thu, 22 Jan 2015 02:28:18 +0000]
qemu: output error when try to hotplug unsupported console type

https://bugzilla.redhat.com/show_bug.cgi?id=1164627

When using 'virsh attach-device' to hotplug an unsupported console type
into a qemu guest the attachment would succeed as the command line
formatter didn't report error in such case.

Signed-off-by: Luyao Huang <lhuang@redhat.com>

8 days agoqemu: format server interface without a listen address
Ján Tomko [Tue, 20 Jan 2015 12:34:10 +0000]
qemu: format server interface without a listen address

https://bugzilla.redhat.com/show_bug.cgi?id=1130390

The listen address is not mandatory for <interface type='server'>
but when it's not specified, we've been formatting it as:
-netdev socket,listen=(null):5558,id=hostnet0
which failed with:
Device 'socket' could not be initialized

Omit the address completely and only format the port in the listen
attribute.

Also fix the schema to allow specifying a model.

8 days agotests: fix xlconfigtest build failure
Jim Fehlig [Tue, 20 Jan 2015 23:45:09 +0000]
tests: fix xlconfigtest build failure

When libvirt is configured --without-xen, building the xlconfigtest
fails with

  CCLD   xlconfigtest
  /usr/lib/gcc/x86_64-linux-gnu/4.7/../../../x86_64-linux-gnu/crt1.o
  In function `_start': (.text+0x20): undefined reference to `main'
  collect2: error: ld returned 1 exit status

Introduced in commit 4ed5fb91 by too much copy and paste from
xmconfigtest.

9 days agoFix virCgroupNewMachine prototype on non-Linux v1.2.12-rc1
Ján Tomko [Tue, 20 Jan 2015 09:00:59 +0000]
Fix virCgroupNewMachine prototype on non-Linux

Commit 318df5a changed the prototype of virCgroupNewMachine
without adjusting the stub function for platforms without
cgroups.

9 days agonetwork: Let domains be restricted to local DNS
Josh Stone [Thu, 4 Dec 2014 00:01:33 +0000]
network: Let domains be restricted to local DNS

This adds a new "localOnly" attribute on the domain element of the
network xml.  With this set to "yes", DNS requests under that domain
will only be resolved by libvirt's dnsmasq, never forwarded upstream.

This was how it worked before commit f69a6b987d616, and I found that
functionality useful.  For example, I have my host's NetworkManager
dnsmasq configured to forward that domain to libvirt's dnsmasq, so I can
easily resolve guest names from outside.  But if libvirt's dnsmasq
doesn't know a name and forwards it to the host, I'd get an endless
forwarding loop.  Now I can set localOnly="yes" to prevent the loop.

Signed-off-by: Josh Stone <jistone@redhat.com>

10 days agoMake ZFS storage pool XML tests optional
Gary R Hook [Fri, 16 Jan 2015 17:38:32 +0000]
Make ZFS storage pool XML tests optional

Do not run ZFS tests when ZFS is unsupported in the environment.

The recent patch b4af40226d09adeaf9e33a1d6594c4e8ce7f771d adds tests
to storagepoolxml2xmltest for the optional ZFS feature. When ZFS is
not included in the configuration these tests should not / cannot be
run. Modify the test source file to check for use of the feature and
compile in the tests accordingly.

Signed-off-by: Gary R Hook <gary.hook@nimboxx.com>

10 days agodocs: Fix docs about python bindings package
Martin Kletzander [Mon, 19 Jan 2015 10:03:55 +0000]
docs: Fix docs about python bindings package

Since the day we removed python bindings from the core repository, the
documentation was missing that information.

Reported-by: Lingyu Zhu <lynuszhu@gmail.com>
Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

10 days agoqemu_conf: check for duplicate security drivers
Ján Tomko [Mon, 19 Jan 2015 11:46:37 +0000]
qemu_conf: check for duplicate security drivers

Using the same driver multiple times is pointless and
it can result in confusing errors:

$ virsh start test
error: Failed to start domain test
error: internal error: security label already defined for VM

https://bugzilla.redhat.com/show_bug.cgi?id=1153891

10 days agoAlways check return value of qemuDomainObjExitMonitor
Ján Tomko [Tue, 16 Dec 2014 09:40:58 +0000]
Always check return value of qemuDomainObjExitMonitor

Depending on the context, either error out if the domain
has disappeared in the meantime, or just ignore the value
to allow marking the function as ATTRIBUTE_RETURN_CHECK.

10 days agoFix vmdef usage after domain crash in monitor on device attach
Ján Tomko [Wed, 7 Jan 2015 12:12:18 +0000]
Fix vmdef usage after domain crash in monitor on device attach

https://bugzilla.redhat.com/show_bug.cgi?id=1161024

If the domain crashed while we were in monitor,
we cannot rely on the REALLOC done on live definition,
since vm->def now points to the persistent definition.
Skip adding the attached devices to domain definition
if the domain crashed.

In AttachChrDevice, the chardev was already added to the
live definition and freed by qemuProcessStop in the case
of a crash. Skip the device removal in that case.

Also skip audit if the domain crashed in the meantime.

10 days agoFix vmdef usage after domain crash in monitor on device detach
Ján Tomko [Tue, 16 Dec 2014 14:50:20 +0000]
Fix vmdef usage after domain crash in monitor on device detach

https://bugzilla.redhat.com/show_bug.cgi?id=1161024

In the device type-specific functions, exit early
if the domain has disappeared, because the cleanup
should have been done by qemuProcessStop.

Check the return value in processDeviceDeletedEvent
and qemuProcessUpdateDevices.

Skip audit and removing the device from live def because
it has already been cleaned up.

10 days agoSimplify condition for formatting CPU features
Ján Tomko [Thu, 15 Jan 2015 11:49:13 +0000]
Simplify condition for formatting CPU features

Commit adff345 added support for features to MODE_HOSTPASSTHROUGH
as well. Since we support all modes now, the condition can be
eliminated.

10 days agoAdd an XML test for host-model CPU with features
Ján Tomko [Thu, 15 Jan 2015 10:55:44 +0000]
Add an XML test for host-model CPU with features

This was broken in a dowstream build due to a missing backport:
https://bugzilla.redhat.com/show_bug.cgi?id=1182448

12 days agolibxl: Set path to console on domain startup.
Anthony PERARD [Thu, 15 Jan 2015 16:40:19 +0000]
libxl: Set path to console on domain startup.

The path to the pty of a Xen PV console is set only in
virDomainOpenConsole. But this is done too late. A call to
virDomainGetXMLDesc done before OpenConsole will not have the path to
the pty, but a call after OpenConsole will.

e.g. of the current issue.
Starting a domain with '<console type="pty"/>'
Then:
virDomainGetXMLDesc():
  <devices>
    <console type='pty'>
      <target type='xen' port='0'/>
    </console>
  </devices>
virDomainOpenConsole()
virDomainGetXMLDesc():
  <devices>
    <console type='pty' tty='/dev/pts/30'>
      <source path='/dev/pts/30'/>
      <target type='xen' port='0'/>
    </console>
  </devices>

The patch intend to have the TTY path on the first call of GetXMLDesc.
This is done by setting up the path at domain start up instead of in
OpenConsole.

https://bugzilla.redhat.com/show_bug.cgi?id=1170743

Signed-off-by: Anthony PERARD <anthony.perard@citrix.com>

13 days agoConditionalize use of -Wno-suggest-attribute=format pragma
Daniel P. Berrange [Fri, 16 Jan 2015 14:45:08 +0000]
Conditionalize use of -Wno-suggest-attribute=format pragma

Many GCC versions don't understand -Wno-suggest-attribute=format
so the pragma must only be used when supported

13 days agoCoverity fix: properly check for 0 ipv6 address.
Cédric Bosdonnat [Fri, 16 Jan 2015 13:24:37 +0000]
Coverity fix: properly check for 0 ipv6 address.

13 days agoparallels: create container from existing image
Dmitry Guryanov [Tue, 13 Jan 2015 11:27:40 +0000]
parallels: create container from existing image

It's possible to create a container with existing
disk image as root filesystem. You need to remove
existing disks from PCS VM config and then add a new
one, pointing to your image. And then call PrlVm_RegEx
with PRNVM_PRESERVE_DISK flag.

With this patch you can create such container with
something like this for new domain XML config:

    <filesystem type='file' accessmode='passthrough'>
      <driver type='ploop' format='ploop'/>
      <source file='/path-to-image'/>
      <target dir='/'/>
    </filesystem>

Signed-off-by: Dmitry Guryanov <dguryanov@parallels.com>
Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

13 days agoparallels: allow to add filesystems to container
Dmitry Guryanov [Tue, 13 Jan 2015 11:27:39 +0000]
parallels: allow to add filesystems to container

Handle information about filesystems in domain config
and add corresponding devices to container via
parallels sdk.

Signed-off-by: Dmitry Guryanov <dguryanov@parallels.com>

13 days agoparallels: commit with PVCF_DETACH_HDD_BUNDLE flag
Dmitry Guryanov [Tue, 13 Jan 2015 11:27:38 +0000]
parallels: commit with PVCF_DETACH_HDD_BUNDLE flag

PCS removes disk image from filesystem, if you remove it
from config. There is a special flag PVCF_DETACH_HDD_BUNDLE
which allow to remove disk only from VM/CT config.

If you call virDomainDefine and remove some disk from
config it should be preserved, so call PrlVm_CommitEx
always with flag PVCF_DETACH_HDD_BUNDLE.

Signed-off-by: Dmitry Guryanov <dguryanov@parallels.com>

13 days agoparallels: dump info about container filesystems
Dmitry Guryanov [Tue, 13 Jan 2015 11:27:37 +0000]
parallels: dump info about container filesystems

Obtain information about container's filesystems and
store it in virDomainDef structure.

Signed-off-by: Dmitry Guryanov <dguryanov@parallels.com>
Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

13 days agoadd ploop fs driver type
Dmitry Guryanov [Tue, 13 Jan 2015 11:27:36 +0000]
add ploop fs driver type

Ploop is a pseudo device which makeit possible to access
to an image in a file as a block device. Like loop devices,
but with additional features, like snapshots, write tracker
and without double-caching.

It used in PCS for containers and in OpenVZ. You can manage
ploop devices and images with ploop utility
(http://git.openvz.org/?p=ploop).

Signed-off-by: Dmitry Guryanov <dguryanov@parallels.com>

13 days agoqemu: Add support for enabling/disabling PMU
Martin Kletzander [Mon, 5 Jan 2015 15:52:18 +0000]
qemu: Add support for enabling/disabling PMU

This is used as a boolean parameter for the '-cpu' option.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1178853

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

13 days agodocs, schema, conf: Add support for PMU feature
Martin Kletzander [Mon, 5 Jan 2015 15:21:51 +0000]
docs, schema, conf: Add support for PMU feature

Just a new feature that can be turned on/off.

https://bugzilla.redhat.com/show_bug.cgi?id=1178853

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

13 days agonetwork: Resolve Coverity FORWARD_NULL
John Ferlan [Fri, 16 Jan 2015 11:40:15 +0000]
network: Resolve Coverity FORWARD_NULL

Commit id 'ca481a6f' added virNetworkRouteDefFree which may be called
in an error path from lxcAddNetworkRouteDefinition with 'route = NULL'.
So just add the (!def) at the top to resolve.

13 days agovirsh: add support for domain XML validation
Daniel P. Berrange [Thu, 8 Jan 2015 15:26:50 +0000]
virsh: add support for domain XML validation

The 'virsh edit' command gets XML validation enabled by default,
with a --skip-validate option to disable it. The 'virsh define'
and 'virsh create' commands get a --validate option to enable
it, to avoid regressions for existing scripts.

The quality of error reporting from libxml2 varies depending
on the type of XML error made. Sometimes it is quite clear
and useful, other times it is obscure & inaccurate. At least
the user will see an error now, rather than having their
XML modification silently disappear.

13 days agoAdd XML test for too many PCI devices on default PCI bus
Erik Skultety [Thu, 15 Jan 2015 13:14:19 +0000]
Add XML test for too many PCI devices on default PCI bus

13 days agoRemove dead code in qemuDomainAssignPCIAddresses
Erik Skultety [Thu, 15 Jan 2015 13:14:18 +0000]
Remove dead code in qemuDomainAssignPCIAddresses

We tested for positive return value from virDomainMaybeAddController,
but it returns 0 or -1 only resulting in a dead code.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

13 days agoqemu: Tweak auto adding PCI bridge controller when extending default PCI bus
Erik Skultety [Thu, 15 Jan 2015 13:14:17 +0000]
qemu: Tweak auto adding PCI bridge controller when extending default PCI bus

In case we find out, there are more PCI devices to be connected
than there are available slots on the default PCI bus, we automatically add a
new bus and a related PCI bridge controller as well. As there are no free slots
left on the default PCI bus, PCI bridge controller gets a free slot on a
newly created PCI bus which causes qemu to refuse to start the guest.
This fix introduces a new function qemuDomainPCIBusFullyReserved which
is checked right before we possibly try to reserve a slot for PCI bridge
controller.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1132900

13 days agodomain_conf: Check errors from virSocketAddrFormat
John Ferlan [Fri, 9 Jan 2015 16:02:05 +0000]
domain_conf: Check errors from virSocketAddrFormat

Commit id 'aa2cc721' added calls to virSocketAddrFormat but did not
check for a NULL (error) return which could lead to bad output
in the XML file.  Need to check for NULL return and cause failure.

Signed-off-by: John Ferlan <jferlan@redhat.com>