3  * NVIDIA Tegra DRM GEM helper functions
8  * Based on the GEM/CMA helpers
21 #include "gem.h"
27 	drm_gem_object_put(&obj->gem);  in tegra_bo_put()
91 						0, obj->gem.size, GFP_KERNEL);  in tegra_bo_pin()
112 				      obj->gem.size);  in tegra_bo_pin()
138 	else if (obj->gem.import_attach)  in tegra_bo_mmap()
139 		return dma_buf_vmap(obj->gem.import_attach->dmabuf);  in tegra_bo_mmap()
151 	else if (obj->gem.import_attach)  in tegra_bo_munmap()
152 		dma_buf_vunmap(obj->gem.import_attach->dmabuf, addr);  in tegra_bo_munmap()
161 	drm_gem_object_get(&obj->gem);  in tegra_bo_get()
190 					 bo->mm, bo->gem.size, PAGE_SIZE, 0, 0);  in tegra_bo_iommu_map()
246 	err = drm_gem_object_init(drm, &bo->gem, size);  in tegra_bo_alloc_object()
250 	err = drm_gem_create_mmap_offset(&bo->gem);  in tegra_bo_alloc_object()
257 	drm_gem_object_release(&bo->gem);  in tegra_bo_alloc_object()
267 		drm_gem_put_pages(&bo->gem, bo->pages, true, true);  in tegra_bo_free()
271 		dma_free_wc(drm->dev, bo->gem.size, bo->vaddr, bo->iova);  in tegra_bo_free()
279 	bo->pages = drm_gem_get_pages(&bo->gem);  in tegra_bo_get_pages()
283 	bo->num_pages = bo->gem.size >> PAGE_SHIFT;  in tegra_bo_get_pages()
285 	bo->sgt = drm_prime_pages_to_sg(bo->gem.dev, bo->pages, bo->num_pages);  in tegra_bo_get_pages()
301 	drm_gem_put_pages(&bo->gem, bo->pages, false, false);  in tegra_bo_get_pages()
321 		size_t size = bo->gem.size;  in tegra_bo_alloc()
359 	drm_gem_object_release(&bo->gem);  in tegra_bo_create()
377 	err = drm_gem_handle_create(file, &bo->gem, handle);  in tegra_bo_create_with_handle()
379 		tegra_bo_free_object(&bo->gem);  in tegra_bo_create_with_handle()
383 	drm_gem_object_put(&bo->gem);  in tegra_bo_create_with_handle()
420 	bo->gem.import_attach = attach;  in tegra_bo_import()
431 	drm_gem_object_release(&bo->gem);  in tegra_bo_import()
436 void tegra_bo_free_object(struct drm_gem_object *gem)  in tegra_bo_free_object()  argument
438 	struct tegra_drm *tegra = gem->dev->dev_private;  in tegra_bo_free_object()
439 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_bo_free_object()
444 	if (gem->import_attach) {  in tegra_bo_free_object()
445 		dma_buf_unmap_attachment(gem->import_attach, bo->sgt,  in tegra_bo_free_object()
447 		drm_prime_gem_destroy(gem, NULL);  in tegra_bo_free_object()
449 		tegra_bo_free(gem->dev, bo);  in tegra_bo_free_object()
452 	drm_gem_object_release(gem);  in tegra_bo_free_object()
477 	struct drm_gem_object *gem = vma->vm_private_data;  in tegra_bo_fault()  local
478 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_bo_fault()
497 int __tegra_gem_mmap(struct drm_gem_object *gem, struct vm_area_struct *vma)  in __tegra_gem_mmap()  argument
499 	struct tegra_bo *bo = to_tegra_bo(gem);  in __tegra_gem_mmap()
513 		err = dma_mmap_wc(gem->dev->dev, vma, bo->vaddr, bo->iova,  in __tegra_gem_mmap()
514 				  gem->size);  in __tegra_gem_mmap()
535 	struct drm_gem_object *gem;  in tegra_drm_mmap()  local
542 	gem = vma->vm_private_data;  in tegra_drm_mmap()
544 	return __tegra_gem_mmap(gem, vma);  in tegra_drm_mmap()
551 	struct drm_gem_object *gem = attach->dmabuf->priv;  in tegra_gem_prime_map_dma_buf()  local
552 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_map_dma_buf()
561 					      0, gem->size, GFP_KERNEL) < 0)  in tegra_gem_prime_map_dma_buf()
565 				    gem->size) < 0)  in tegra_gem_prime_map_dma_buf()
584 	struct drm_gem_object *gem = attach->dmabuf->priv;  in tegra_gem_prime_unmap_dma_buf()  local
585 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_unmap_dma_buf()
602 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_begin_cpu_access()  local
603 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_begin_cpu_access()
604 	struct drm_device *drm = gem->dev;  in tegra_gem_prime_begin_cpu_access()
615 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_end_cpu_access()  local
616 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_end_cpu_access()
617 	struct drm_device *drm = gem->dev;  in tegra_gem_prime_end_cpu_access()
627 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_mmap()  local
630 	err = drm_gem_mmap_obj(gem, gem->size, vma);  in tegra_gem_prime_mmap()
634 	return __tegra_gem_mmap(gem, vma);  in tegra_gem_prime_mmap()
639 	struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_vmap()  local
640 	struct tegra_bo *bo = to_tegra_bo(gem);  in tegra_gem_prime_vmap()
660 struct dma_buf *tegra_gem_prime_export(struct drm_gem_object *gem,  in tegra_gem_prime_export()  argument
666 	exp_info.owner = gem->dev->driver->fops->owner;  in tegra_gem_prime_export()
668 	exp_info.size = gem->size;  in tegra_gem_prime_export()
670 	exp_info.priv = gem;  in tegra_gem_prime_export()
672 	return drm_gem_dmabuf_export(gem->dev, &exp_info);  in tegra_gem_prime_export()
681 		struct drm_gem_object *gem = buf->priv;  in tegra_gem_prime_import()  local
683 		if (gem->dev == drm) {  in tegra_gem_prime_import()
684 			drm_gem_object_get(gem);  in tegra_gem_prime_import()
685 			return gem;  in tegra_gem_prime_import()
693 	return &bo->gem;  in tegra_gem_prime_import()