274 	ctrl = readq(iommu->mmio_base + MMIO_CONTROL_OFFSET);  in init_translation_status()
354 	memcpy_toio(iommu->mmio_base + MMIO_EXCL_BASE_OFFSET,  in iommu_set_exclusion_range()
358 	memcpy_toio(iommu->mmio_base + MMIO_EXCL_LIMIT_OFFSET,  in iommu_set_exclusion_range()
367 	BUG_ON(iommu->mmio_base == NULL);  in iommu_set_device_table()
371 	memcpy_toio(iommu->mmio_base + MMIO_DEV_TABLE_OFFSET,  in iommu_set_device_table()
380 	ctrl = readq(iommu->mmio_base +  MMIO_CONTROL_OFFSET);  in iommu_feature_enable()
382 	writeq(ctrl, iommu->mmio_base +  MMIO_CONTROL_OFFSET);  in iommu_feature_enable()
389 	ctrl = readq(iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_feature_disable()
391 	writeq(ctrl, iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_feature_disable()
398 	ctrl = readq(iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_set_inv_tlb_timeout()
401 	writeq(ctrl, iommu->mmio_base + MMIO_CONTROL_OFFSET);  in iommu_set_inv_tlb_timeout()
412 	if (!iommu->mmio_base)  in iommu_disable()
448 	if (iommu->mmio_base)  in iommu_unmap_mmio_space()
449 		iounmap(iommu->mmio_base);  in iommu_unmap_mmio_space()
612 	writel(0x00, iommu->mmio_base + MMIO_CMD_HEAD_OFFSET);  in amd_iommu_reset_cmd_buffer()
613 	writel(0x00, iommu->mmio_base + MMIO_CMD_TAIL_OFFSET);  in amd_iommu_reset_cmd_buffer()
633 	memcpy_toio(iommu->mmio_base + MMIO_CMD_BUF_OFFSET,  in iommu_enable_command_buffer()
669 	memcpy_toio(iommu->mmio_base + MMIO_EVT_BUF_OFFSET,  in iommu_enable_event_buffer()
673 	writel(0x00, iommu->mmio_base + MMIO_EVT_HEAD_OFFSET);  in iommu_enable_event_buffer()
674 	writel(0x00, iommu->mmio_base + MMIO_EVT_TAIL_OFFSET);  in iommu_enable_event_buffer()
710 	memcpy_toio(iommu->mmio_base + MMIO_PPR_LOG_OFFSET,  in iommu_enable_ppr_log()
714 	writel(0x00, iommu->mmio_base + MMIO_PPR_HEAD_OFFSET);  in iommu_enable_ppr_log()
715 	writel(0x00, iommu->mmio_base + MMIO_PPR_TAIL_OFFSET);  in iommu_enable_ppr_log()
749 	status = readl(iommu->mmio_base + MMIO_STATUS_OFFSET);  in iommu_ga_log_enable()
759 		status = readl(iommu->mmio_base + MMIO_STATUS_OFFSET);  in iommu_ga_log_enable()
789 	memcpy_toio(iommu->mmio_base + MMIO_GA_LOG_BASE_OFFSET,  in iommu_init_ga_log()
793 	memcpy_toio(iommu->mmio_base + MMIO_GA_LOG_TAIL_OFFSET,  in iommu_init_ga_log()
795 	writel(0x00, iommu->mmio_base + MMIO_GA_HEAD_OFFSET);  in iommu_init_ga_log()
796 	writel(0x00, iommu->mmio_base + MMIO_GA_TAIL_OFFSET);  in iommu_init_ga_log()
879 		lo = readl(iommu->mmio_base + MMIO_DEV_TABLE_OFFSET);  in copy_device_table()
880 		hi = readl(iommu->mmio_base + MMIO_DEV_TABLE_OFFSET + 4);  in copy_device_table()
1544 	iommu->mmio_base = iommu_map_mmio_space(iommu->mmio_phys,  in init_iommu_one()
1546 	if (!iommu->mmio_base)  in init_iommu_one()
1681 	val = readl(iommu->mmio_base + MMIO_CNTR_CONF_OFFSET);  in init_iommu_perf_ctr()
1752 	low  = readl(iommu->mmio_base + MMIO_EXT_FEATURES);  in iommu_init_pci()
1753 	high = readl(iommu->mmio_base + MMIO_EXT_FEATURES + 4);  in iommu_init_pci()
1953 	u32 addr_lo = readl(iommu->mmio_base + MMIO_MSI_ADDR_LO_OFFSET);  in iommu_update_intcapxt()
1954 	u32 addr_hi = readl(iommu->mmio_base + MMIO_MSI_ADDR_HI_OFFSET);  in iommu_update_intcapxt()
1955 	u32 data    = readl(iommu->mmio_base + MMIO_MSI_DATA_OFFSET);  in iommu_update_intcapxt()
1971 	writeq(val, iommu->mmio_base + MMIO_INTCAPXT_EVT_OFFSET);  in iommu_update_intcapxt()
1972 	writeq(val, iommu->mmio_base + MMIO_INTCAPXT_PPR_OFFSET);  in iommu_update_intcapxt()
1973 	writeq(val, iommu->mmio_base + MMIO_INTCAPXT_GALOG_OFFSET);  in iommu_update_intcapxt()
3141 		writel((u32)val, iommu->mmio_base + offset);  in iommu_pc_get_set_reg()
3142 		writel((val >> 32), iommu->mmio_base + offset + 4);  in iommu_pc_get_set_reg()
3144 		*value = readl(iommu->mmio_base + offset + 4);  in iommu_pc_get_set_reg()
3146 		*value |= readl(iommu->mmio_base + offset);  in iommu_pc_get_set_reg()