1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20#include "virtio_pci_common.h"
21
22
23static u64 vp_get_features(struct virtio_device *vdev)
24{
25 struct virtio_pci_device *vp_dev = to_vp_device(vdev);
26
27
28
29 return ioread32(vp_dev->ioaddr + VIRTIO_PCI_HOST_FEATURES);
30}
31
32
33static int vp_finalize_features(struct virtio_device *vdev)
34{
35 struct virtio_pci_device *vp_dev = to_vp_device(vdev);
36
37
38 vring_transport_features(vdev);
39
40
41 BUG_ON((u32)vdev->features != vdev->features);
42
43
44 iowrite32(vdev->features, vp_dev->ioaddr + VIRTIO_PCI_GUEST_FEATURES);
45
46 return 0;
47}
48
49
50static void vp_get(struct virtio_device *vdev, unsigned offset,
51 void *buf, unsigned len)
52{
53 struct virtio_pci_device *vp_dev = to_vp_device(vdev);
54 void __iomem *ioaddr = vp_dev->ioaddr +
55 VIRTIO_PCI_CONFIG(vp_dev) + offset;
56 u8 *ptr = buf;
57 int i;
58
59 for (i = 0; i < len; i++)
60 ptr[i] = ioread8(ioaddr + i);
61}
62
63
64
65static void vp_set(struct virtio_device *vdev, unsigned offset,
66 const void *buf, unsigned len)
67{
68 struct virtio_pci_device *vp_dev = to_vp_device(vdev);
69 void __iomem *ioaddr = vp_dev->ioaddr +
70 VIRTIO_PCI_CONFIG(vp_dev) + offset;
71 const u8 *ptr = buf;
72 int i;
73
74 for (i = 0; i < len; i++)
75 iowrite8(ptr[i], ioaddr + i);
76}
77
78
79static u8 vp_get_status(struct virtio_device *vdev)
80{
81 struct virtio_pci_device *vp_dev = to_vp_device(vdev);
82 return ioread8(vp_dev->ioaddr + VIRTIO_PCI_STATUS);
83}
84
85static void vp_set_status(struct virtio_device *vdev, u8 status)
86{
87 struct virtio_pci_device *vp_dev = to_vp_device(vdev);
88
89 BUG_ON(status == 0);
90 iowrite8(status, vp_dev->ioaddr + VIRTIO_PCI_STATUS);
91}
92
93static void vp_reset(struct virtio_device *vdev)
94{
95 struct virtio_pci_device *vp_dev = to_vp_device(vdev);
96
97 iowrite8(0, vp_dev->ioaddr + VIRTIO_PCI_STATUS);
98
99
100 ioread8(vp_dev->ioaddr + VIRTIO_PCI_STATUS);
101
102 vp_synchronize_vectors(vdev);
103}
104
105static u16 vp_config_vector(struct virtio_pci_device *vp_dev, u16 vector)
106{
107
108 iowrite16(vector, vp_dev->ioaddr + VIRTIO_MSI_CONFIG_VECTOR);
109
110
111 return ioread16(vp_dev->ioaddr + VIRTIO_MSI_CONFIG_VECTOR);
112}
113
114static struct virtqueue *setup_vq(struct virtio_pci_device *vp_dev,
115 struct virtio_pci_vq_info *info,
116 unsigned index,
117 void (*callback)(struct virtqueue *vq),
118 const char *name,
119 bool ctx,
120 u16 msix_vec)
121{
122 struct virtqueue *vq;
123 u16 num;
124 int err;
125
126
127 iowrite16(index, vp_dev->ioaddr + VIRTIO_PCI_QUEUE_SEL);
128
129
130 num = ioread16(vp_dev->ioaddr + VIRTIO_PCI_QUEUE_NUM);
131 if (!num || ioread32(vp_dev->ioaddr + VIRTIO_PCI_QUEUE_PFN))
132 return ERR_PTR(-ENOENT);
133
134 info->msix_vector = msix_vec;
135
136
137 vq = vring_create_virtqueue(index, num,
138 VIRTIO_PCI_VRING_ALIGN, &vp_dev->vdev,
139 true, false, ctx,
140 vp_notify, callback, name);
141 if (!vq)
142 return ERR_PTR(-ENOMEM);
143
144
145 iowrite32(virtqueue_get_desc_addr(vq) >> VIRTIO_PCI_QUEUE_ADDR_SHIFT,
146 vp_dev->ioaddr + VIRTIO_PCI_QUEUE_PFN);
147
148 vq->priv = (void __force *)vp_dev->ioaddr + VIRTIO_PCI_QUEUE_NOTIFY;
149
150 if (msix_vec != VIRTIO_MSI_NO_VECTOR) {
151 iowrite16(msix_vec, vp_dev->ioaddr + VIRTIO_MSI_QUEUE_VECTOR);
152 msix_vec = ioread16(vp_dev->ioaddr + VIRTIO_MSI_QUEUE_VECTOR);
153 if (msix_vec == VIRTIO_MSI_NO_VECTOR) {
154 err = -EBUSY;
155 goto out_deactivate;
156 }
157 }
158
159 return vq;
160
161out_deactivate:
162 iowrite32(0, vp_dev->ioaddr + VIRTIO_PCI_QUEUE_PFN);
163 vring_del_virtqueue(vq);
164 return ERR_PTR(err);
165}
166
167static void del_vq(struct virtio_pci_vq_info *info)
168{
169 struct virtqueue *vq = info->vq;
170 struct virtio_pci_device *vp_dev = to_vp_device(vq->vdev);
171
172 iowrite16(vq->index, vp_dev->ioaddr + VIRTIO_PCI_QUEUE_SEL);
173
174 if (vp_dev->msix_enabled) {
175 iowrite16(VIRTIO_MSI_NO_VECTOR,
176 vp_dev->ioaddr + VIRTIO_MSI_QUEUE_VECTOR);
177
178 ioread8(vp_dev->ioaddr + VIRTIO_PCI_ISR);
179 }
180
181
182 iowrite32(0, vp_dev->ioaddr + VIRTIO_PCI_QUEUE_PFN);
183
184 vring_del_virtqueue(vq);
185}
186
187static const struct virtio_config_ops virtio_pci_config_ops = {
188 .get = vp_get,
189 .set = vp_set,
190 .get_status = vp_get_status,
191 .set_status = vp_set_status,
192 .reset = vp_reset,
193 .find_vqs = vp_find_vqs,
194 .del_vqs = vp_del_vqs,
195 .get_features = vp_get_features,
196 .finalize_features = vp_finalize_features,
197 .bus_name = vp_bus_name,
198 .set_vq_affinity = vp_set_vq_affinity,
199 .get_vq_affinity = vp_get_vq_affinity,
200};
201
202
203int virtio_pci_legacy_probe(struct virtio_pci_device *vp_dev)
204{
205 struct pci_dev *pci_dev = vp_dev->pci_dev;
206 int rc;
207
208
209 if (pci_dev->device < 0x1000 || pci_dev->device > 0x103f)
210 return -ENODEV;
211
212 if (pci_dev->revision != VIRTIO_PCI_ABI_VERSION) {
213 printk(KERN_ERR "virtio_pci: expected ABI version %d, got %d\n",
214 VIRTIO_PCI_ABI_VERSION, pci_dev->revision);
215 return -ENODEV;
216 }
217
218 rc = dma_set_mask(&pci_dev->dev, DMA_BIT_MASK(64));
219 if (rc) {
220 rc = dma_set_mask_and_coherent(&pci_dev->dev, DMA_BIT_MASK(32));
221 } else {
222
223
224
225
226 dma_set_coherent_mask(&pci_dev->dev,
227 DMA_BIT_MASK(32 + VIRTIO_PCI_QUEUE_ADDR_SHIFT));
228 }
229
230 if (rc)
231 dev_warn(&pci_dev->dev, "Failed to enable 64-bit or 32-bit DMA. Trying to continue, but this might not work.\n");
232
233 rc = pci_request_region(pci_dev, 0, "virtio-pci-legacy");
234 if (rc)
235 return rc;
236
237 rc = -ENOMEM;
238 vp_dev->ioaddr = pci_iomap(pci_dev, 0, 0);
239 if (!vp_dev->ioaddr)
240 goto err_iomap;
241
242 vp_dev->isr = vp_dev->ioaddr + VIRTIO_PCI_ISR;
243
244
245
246
247
248 vp_dev->vdev.id.vendor = pci_dev->subsystem_vendor;
249 vp_dev->vdev.id.device = pci_dev->subsystem_device;
250
251 vp_dev->vdev.config = &virtio_pci_config_ops;
252
253 vp_dev->config_vector = vp_config_vector;
254 vp_dev->setup_vq = setup_vq;
255 vp_dev->del_vq = del_vq;
256
257 return 0;
258
259err_iomap:
260 pci_release_region(pci_dev, 0);
261 return rc;
262}
263
264void virtio_pci_legacy_remove(struct virtio_pci_device *vp_dev)
265{
266 struct pci_dev *pci_dev = vp_dev->pci_dev;
267
268 pci_iounmap(pci_dev, vp_dev->ioaddr);
269 pci_release_region(pci_dev, 0);
270}
271