Lines Matching +full:0 +full:- +full:dev
2 * Copyright (c) 2014-2015 Travis Geiselbrecht
23 #include <dev/virtio.h>
24 #include <dev/virtio/virtio_ring.h>
43 #include <dev/virtio/block.h>
46 #include <dev/virtio/net.h>
49 #include <dev/virtio/gpu.h>
52 #define LOCAL_TRACE 0
59 printf("\tmagic 0x%x\n", mmio->magic); in dump_mmio_config()
60 printf("\tversion 0x%x\n", mmio->version); in dump_mmio_config()
61 printf("\tdevice_id 0x%x\n", mmio->device_id); in dump_mmio_config()
62 printf("\tvendor_id 0x%x\n", mmio->vendor_id); in dump_mmio_config()
63 printf("\thost_features 0x%x\n", mmio->host_features); in dump_mmio_config()
64 printf("\tguest_page_size %u\n", mmio->guest_page_size); in dump_mmio_config()
65 printf("\tqnum %u\n", mmio->queue_num); in dump_mmio_config()
66 printf("\tqnum_max %u\n", mmio->queue_num_max); in dump_mmio_config()
67 printf("\tqnum_align %u\n", mmio->queue_align); in dump_mmio_config()
68 printf("\tqnum_pfn %u\n", mmio->queue_pfn); in dump_mmio_config()
69 printf("\tstatus 0x%x\n", mmio->status); in dump_mmio_config()
75 printf("\taddr 0x%" PRIx64 "\n", desc->addr); in virtio_dump_desc()
76 printf("\tlen 0x%x\n", desc->len); in virtio_dump_desc()
77 printf("\tflags 0x%" PRIx16 "\n", desc->flags); in virtio_dump_desc()
78 printf("\tnext 0x%" PRIx16 "\n", desc->next); in virtio_dump_desc()
83 struct virtio_device *dev = (struct virtio_device *)arg; in virtio_mmio_irq() local
84 LTRACEF("dev %p, index %u\n", dev, dev->index); in virtio_mmio_irq()
86 uint32_t irq_status = dev->mmio_config->interrupt_status; in virtio_mmio_irq()
87 LTRACEF("status 0x%x\n", irq_status); in virtio_mmio_irq()
90 if (irq_status & 0x1) { /* used ring update */ in virtio_mmio_irq()
92 dev->mmio_config->interrupt_ack = 0x1; in virtio_mmio_irq()
95 for (uint r = 0; r < MAX_VIRTIO_RINGS; r++) { in virtio_mmio_irq()
96 if ((dev->active_rings_bitmap & (1<<r)) == 0) in virtio_mmio_irq()
99 struct vring *ring = &dev->ring[r]; in virtio_mmio_irq()
100 LTRACEF("ring %u: used flags 0x%" PRIx16 " idx 0x%" PRIx16 " last_used %u\n", in virtio_mmio_irq()
101 r, ring->used->flags, ring->used->idx, ring->last_used); in virtio_mmio_irq()
103 uint cur_idx = ring->used->idx; in virtio_mmio_irq()
104 for (uint i = ring->last_used; i != cur_idx; i = (i + 1) & 0xffff) { in virtio_mmio_irq()
108 struct vring_used_elem *used_elem = &ring->used->ring[i & ring->num_mask]; in virtio_mmio_irq()
109 LTRACEF("id %u, len %u\n", used_elem->id, used_elem->len); in virtio_mmio_irq()
111 DEBUG_ASSERT(dev->irq_driver_callback); in virtio_mmio_irq()
112 ret |= dev->irq_driver_callback(dev, r, used_elem); in virtio_mmio_irq()
114 DEBUG_ASSERT(i == ring->last_used); in virtio_mmio_irq()
115 ring->last_used = (ring->last_used + 1) & 0xffff; in virtio_mmio_irq()
119 if (irq_status & 0x2) { /* config change */ in virtio_mmio_irq()
120 dev->mmio_config->interrupt_ack = 0x2; in virtio_mmio_irq()
122 if (dev->config_change_callback) { in virtio_mmio_irq()
123 ret |= dev->config_change_callback(dev); in virtio_mmio_irq()
145 int found = 0; in virtio_mmio_detect()
146 for (uint i = 0; i < count; i++) { in virtio_mmio_detect()
147 …latile struct virtio_mmio_config *mmio = (struct virtio_mmio_config *)((uint8_t *)ptr + i * 0x200); in virtio_mmio_detect()
148 struct virtio_device *dev = &devices[i]; in virtio_mmio_detect() local
150 dev->index = i; in virtio_mmio_detect()
151 dev->irq = irqs[i]; in virtio_mmio_detect()
154 register_int_handler(irqs[i], &virtio_mmio_irq, (void *)dev); in virtio_mmio_detect()
156 LTRACEF("looking at magic 0x%x version 0x%x did 0x%x vid 0x%x\n", in virtio_mmio_detect()
157 mmio->magic, mmio->version, mmio->device_id, mmio->vendor_id); in virtio_mmio_detect()
159 if (mmio->magic != VIRTIO_MMIO_MAGIC) { in virtio_mmio_detect()
164 if (mmio->device_id != 0) { in virtio_mmio_detect()
170 if (mmio->device_id == 2) { // block device in virtio_mmio_detect()
173 dev->mmio_config = mmio; in virtio_mmio_detect()
174 dev->config_ptr = (void *)mmio->config; in virtio_mmio_detect()
176 status_t err = virtio_block_init(dev, mmio->host_features); in virtio_mmio_detect()
177 if (err >= 0) { in virtio_mmio_detect()
179 dev->valid = true; in virtio_mmio_detect()
181 if (dev->irq_driver_callback) in virtio_mmio_detect()
182 unmask_interrupt(dev->irq); in virtio_mmio_detect()
185 #if 0 in virtio_mmio_detect()
187 memset(buf, 0x99, sizeof(buf)); in virtio_mmio_detect()
188 virtio_block_read_write(dev, buf, 0, sizeof(buf), false); in virtio_mmio_detect()
189 hexdump8_ex(buf, sizeof(buf), 0); in virtio_mmio_detect()
191 buf[0]++; in virtio_mmio_detect()
192 virtio_block_read_write(dev, buf, 0, sizeof(buf), true); in virtio_mmio_detect()
194 virtio_block_read_write(dev, buf, 0, sizeof(buf), false); in virtio_mmio_detect()
195 hexdump8_ex(buf, sizeof(buf), 0); in virtio_mmio_detect()
202 if (mmio->device_id == 1) { // network device in virtio_mmio_detect()
205 dev->mmio_config = mmio; in virtio_mmio_detect()
206 dev->config_ptr = (void *)mmio->config; in virtio_mmio_detect()
208 status_t err = virtio_net_init(dev, mmio->host_features); in virtio_mmio_detect()
209 if (err >= 0) { in virtio_mmio_detect()
211 dev->valid = true; in virtio_mmio_detect()
213 if (dev->irq_driver_callback) in virtio_mmio_detect()
214 unmask_interrupt(dev->irq); in virtio_mmio_detect()
219 if (mmio->device_id == 0x10) { // virtio-gpu in virtio_mmio_detect()
222 dev->mmio_config = mmio; in virtio_mmio_detect()
223 dev->config_ptr = (void *)mmio->config; in virtio_mmio_detect()
225 status_t err = virtio_gpu_init(dev, mmio->host_features); in virtio_mmio_detect()
226 if (err >= 0) { in virtio_mmio_detect()
228 dev->valid = true; in virtio_mmio_detect()
230 if (dev->irq_driver_callback) in virtio_mmio_detect()
231 unmask_interrupt(dev->irq); in virtio_mmio_detect()
233 virtio_gpu_start(dev); in virtio_mmio_detect()
238 if (dev->valid) in virtio_mmio_detect()
245 void virtio_free_desc(struct virtio_device *dev, uint ring_index, uint16_t desc_index) in virtio_free_desc() argument
247 …LTRACEF("dev %p ring %u index %u free_count %u\n", dev, ring_index, desc_index, dev->ring[ring_ind… in virtio_free_desc()
248 dev->ring[ring_index].desc[desc_index].next = dev->ring[ring_index].free_list; in virtio_free_desc()
249 dev->ring[ring_index].free_list = desc_index; in virtio_free_desc()
250 dev->ring[ring_index].free_count++; in virtio_free_desc()
253 uint16_t virtio_alloc_desc(struct virtio_device *dev, uint ring_index) in virtio_alloc_desc() argument
255 if (dev->ring[ring_index].free_count == 0) in virtio_alloc_desc()
256 return 0xffff; in virtio_alloc_desc()
258 DEBUG_ASSERT(dev->ring[ring_index].free_list != 0xffff); in virtio_alloc_desc()
260 uint16_t i = dev->ring[ring_index].free_list; in virtio_alloc_desc()
261 struct vring_desc *desc = &dev->ring[ring_index].desc[i]; in virtio_alloc_desc()
262 dev->ring[ring_index].free_list = desc->next; in virtio_alloc_desc()
264 dev->ring[ring_index].free_count--; in virtio_alloc_desc()
269 struct vring_desc *virtio_alloc_desc_chain(struct virtio_device *dev, uint ring_index, size_t count… in virtio_alloc_desc_chain() argument
271 if (dev->ring[ring_index].free_count < count) in virtio_alloc_desc_chain()
275 struct vring_desc *last = 0; in virtio_alloc_desc_chain()
276 uint16_t last_index = 0; in virtio_alloc_desc_chain()
277 while (count > 0) { in virtio_alloc_desc_chain()
278 uint16_t i = dev->ring[ring_index].free_list; in virtio_alloc_desc_chain()
279 struct vring_desc *desc = &dev->ring[ring_index].desc[i]; in virtio_alloc_desc_chain()
281 dev->ring[ring_index].free_list = desc->next; in virtio_alloc_desc_chain()
282 dev->ring[ring_index].free_count--; in virtio_alloc_desc_chain()
285 desc->flags = VRING_DESC_F_NEXT; in virtio_alloc_desc_chain()
286 desc->next = last_index; in virtio_alloc_desc_chain()
289 desc->flags = 0; in virtio_alloc_desc_chain()
290 desc->next = 0; in virtio_alloc_desc_chain()
294 count--; in virtio_alloc_desc_chain()
303 void virtio_submit_chain(struct virtio_device *dev, uint ring_index, uint16_t desc_index) in virtio_submit_chain() argument
305 LTRACEF("dev %p, ring %u, desc %u\n", dev, ring_index, desc_index); in virtio_submit_chain()
308 struct vring_avail *avail = dev->ring[ring_index].avail; in virtio_submit_chain()
310 avail->ring[avail->idx & dev->ring[ring_index].num_mask] = desc_index; in virtio_submit_chain()
312 avail->idx++; in virtio_submit_chain()
319 void virtio_kick(struct virtio_device *dev, uint ring_index) in virtio_kick() argument
321 LTRACEF("dev %p, ring %u\n", dev, ring_index); in virtio_kick()
323 dev->mmio_config->queue_notify = ring_index; in virtio_kick()
327 status_t virtio_alloc_ring(struct virtio_device *dev, uint index, uint16_t len) in virtio_alloc_ring() argument
329 LTRACEF("dev %p, index %u, len %u\n", dev, index, len); in virtio_alloc_ring()
331 DEBUG_ASSERT(dev); in virtio_alloc_ring()
332 DEBUG_ASSERT(len > 0 && ispow2(len)); in virtio_alloc_ring()
335 if (len == 0 || !ispow2(len)) in virtio_alloc_ring()
338 struct vring *ring = &dev->ring[index]; in virtio_alloc_ring()
347 0, 0, ARCH_MMU_FLAG_UNCACHED_DEVICE | in virtio_alloc_ring()
349 if (err < 0) in virtio_alloc_ring()
357 if (pa == 0) { in virtio_alloc_ring()
361 LTRACEF("virtio_ring at pa 0x%" PRIxPADDR "\n", pa); in virtio_alloc_ring()
368 memset(vptr, 0, size); in virtio_alloc_ring()
376 dev->ring[index].free_list = 0xffff; in virtio_alloc_ring()
377 dev->ring[index].free_count = 0; in virtio_alloc_ring()
380 for (uint i = 0; i < len; i++) { in virtio_alloc_ring()
381 virtio_free_desc(dev, index, i); in virtio_alloc_ring()
385 DEBUG_ASSERT(dev->mmio_config); in virtio_alloc_ring()
386 dev->mmio_config->guest_page_size = PAGE_SIZE; in virtio_alloc_ring()
387 dev->mmio_config->queue_sel = index; in virtio_alloc_ring()
388 dev->mmio_config->queue_num = len; in virtio_alloc_ring()
389 dev->mmio_config->queue_align = PAGE_SIZE; in virtio_alloc_ring()
390 dev->mmio_config->queue_pfn = pa / PAGE_SIZE; in virtio_alloc_ring()
393 dev->active_rings_bitmap |= (1 << index); in virtio_alloc_ring()
398 void virtio_reset_device(struct virtio_device *dev) in virtio_reset_device() argument
400 dev->mmio_config->status = 0; in virtio_reset_device()
403 void virtio_status_acknowledge_driver(struct virtio_device *dev) in virtio_status_acknowledge_driver() argument
405 dev->mmio_config->status |= VIRTIO_STATUS_ACKNOWLEDGE | VIRTIO_STATUS_DRIVER; in virtio_status_acknowledge_driver()
408 void virtio_status_driver_ok(struct virtio_device *dev) in virtio_status_driver_ok() argument
410 dev->mmio_config->status |= VIRTIO_STATUS_DRIVER_OK; in virtio_status_driver_ok()