410 	struct iproc_pcie *pcie = bus->sysdata;  in iproc_data()  local
411 	return pcie;  in iproc_data()
419 static inline u16 iproc_pcie_reg_offset(struct iproc_pcie *pcie,  in iproc_pcie_reg_offset()  argument
422 	return pcie->reg_offsets[reg];  in iproc_pcie_reg_offset()
425 static inline u32 iproc_pcie_read_reg(struct iproc_pcie *pcie,  in iproc_pcie_read_reg()  argument
428 	u16 offset = iproc_pcie_reg_offset(pcie, reg);  in iproc_pcie_read_reg()
433 	return readl(pcie->base + offset);  in iproc_pcie_read_reg()
436 static inline void iproc_pcie_write_reg(struct iproc_pcie *pcie,  in iproc_pcie_write_reg()  argument
439 	u16 offset = iproc_pcie_reg_offset(pcie, reg);  in iproc_pcie_write_reg()
444 	writel(val, pcie->base + offset);  in iproc_pcie_write_reg()
456 	struct iproc_pcie *pcie = iproc_data(bus);  in iproc_pcie_apb_err_disable()  local
459 	if (bus->number && pcie->has_apb_err_disable) {  in iproc_pcie_apb_err_disable()
460 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_APB_ERR_EN);  in iproc_pcie_apb_err_disable()
465 		iproc_pcie_write_reg(pcie, IPROC_PCIE_APB_ERR_EN, val);  in iproc_pcie_apb_err_disable()
469 static void __iomem *iproc_pcie_map_ep_cfg_reg(struct iproc_pcie *pcie,  in iproc_pcie_map_ep_cfg_reg()  argument
485 	iproc_pcie_write_reg(pcie, IPROC_PCIE_CFG_ADDR, val);  in iproc_pcie_map_ep_cfg_reg()
486 	offset = iproc_pcie_reg_offset(pcie, IPROC_PCIE_CFG_DATA);  in iproc_pcie_map_ep_cfg_reg()
491 	return (pcie->base + offset);  in iproc_pcie_map_ep_cfg_reg()
494 static unsigned int iproc_pcie_cfg_retry(struct iproc_pcie *pcie,  in iproc_pcie_cfg_retry()  argument
525 		status = iproc_pcie_read_reg(pcie, IPROC_PCIE_CFG_RD_STATUS);  in iproc_pcie_cfg_retry()
539 static void iproc_pcie_fix_cap(struct iproc_pcie *pcie, int where, u32 *val)  in iproc_pcie_fix_cap()  argument
553 				pcie->fix_paxc_cap = true;  in iproc_pcie_fix_cap()
557 		if (pcie->fix_paxc_cap) {  in iproc_pcie_fix_cap()
565 		if (pcie->fix_paxc_cap) {  in iproc_pcie_fix_cap()
585 	struct iproc_pcie *pcie = iproc_data(bus);  in iproc_pcie_config_read()  local
597 			iproc_pcie_fix_cap(pcie, where, val);  in iproc_pcie_config_read()
602 	cfg_data_p = iproc_pcie_map_ep_cfg_reg(pcie, busno, slot, fn, where);  in iproc_pcie_config_read()
607 	data = iproc_pcie_cfg_retry(pcie, cfg_data_p);  in iproc_pcie_config_read()
626 	if (pcie->rej_unconfig_pf &&  in iproc_pcie_config_read()
639 static void __iomem *iproc_pcie_map_cfg_bus(struct iproc_pcie *pcie,  in iproc_pcie_map_cfg_bus()  argument
652 		iproc_pcie_write_reg(pcie, IPROC_PCIE_CFG_IND_ADDR,  in iproc_pcie_map_cfg_bus()
654 		offset = iproc_pcie_reg_offset(pcie, IPROC_PCIE_CFG_IND_DATA);  in iproc_pcie_map_cfg_bus()
658 			return (pcie->base + offset);  in iproc_pcie_map_cfg_bus()
661 	return iproc_pcie_map_ep_cfg_reg(pcie, busno, slot, fn, where);  in iproc_pcie_map_cfg_bus()
672 static int iproc_pci_raw_config_read32(struct iproc_pcie *pcie,  in iproc_pci_raw_config_read32()  argument
678 	addr = iproc_pcie_map_cfg_bus(pcie, 0, devfn, where & ~0x3);  in iproc_pci_raw_config_read32()
692 static int iproc_pci_raw_config_write32(struct iproc_pcie *pcie,  in iproc_pci_raw_config_write32()  argument
699 	addr = iproc_pcie_map_cfg_bus(pcie, 0, devfn, where & ~0x3);  in iproc_pci_raw_config_write32()
720 	struct iproc_pcie *pcie = iproc_data(bus);  in iproc_pcie_config_read32()  local
723 	if (pcie->iproc_cfg_read)  in iproc_pcie_config_read32()
750 static void iproc_pcie_perst_ctrl(struct iproc_pcie *pcie, bool assert)  in iproc_pcie_perst_ctrl()  argument
759 	if (pcie->ep_is_internal)  in iproc_pcie_perst_ctrl()
763 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_CLK_CTRL);  in iproc_pcie_perst_ctrl()
766 		iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);  in iproc_pcie_perst_ctrl()
769 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_CLK_CTRL);  in iproc_pcie_perst_ctrl()
771 		iproc_pcie_write_reg(pcie, IPROC_PCIE_CLK_CTRL, val);  in iproc_pcie_perst_ctrl()
776 int iproc_pcie_shutdown(struct iproc_pcie *pcie)  in iproc_pcie_shutdown()  argument
778 	iproc_pcie_perst_ctrl(pcie, true);  in iproc_pcie_shutdown()
785 static int iproc_pcie_check_link(struct iproc_pcie *pcie)  in iproc_pcie_check_link()  argument
787 	struct device *dev = pcie->dev;  in iproc_pcie_check_link()
795 	if (pcie->ep_is_internal)  in iproc_pcie_check_link()
798 	val = iproc_pcie_read_reg(pcie, IPROC_PCIE_LINK_STATUS);  in iproc_pcie_check_link()
805 	iproc_pci_raw_config_read32(pcie, 0, PCI_HEADER_TYPE, 1, &hdr_type);  in iproc_pcie_check_link()
815 	iproc_pci_raw_config_read32(pcie, 0, PCI_BRIDGE_CTRL_REG_OFFSET,  in iproc_pcie_check_link()
819 	iproc_pci_raw_config_write32(pcie, 0, PCI_BRIDGE_CTRL_REG_OFFSET,  in iproc_pcie_check_link()
823 	iproc_pci_raw_config_read32(pcie, 0, IPROC_PCI_EXP_CAP + PCI_EXP_LNKSTA,  in iproc_pcie_check_link()
833 		iproc_pci_raw_config_read32(pcie, 0,  in iproc_pcie_check_link()
840 			iproc_pci_raw_config_write32(pcie, 0,  in iproc_pcie_check_link()
845 			iproc_pci_raw_config_read32(pcie, 0,  in iproc_pcie_check_link()
858 static void iproc_pcie_enable(struct iproc_pcie *pcie)  in iproc_pcie_enable()  argument
860 	iproc_pcie_write_reg(pcie, IPROC_PCIE_INTX_EN, SYS_RC_INTX_MASK);  in iproc_pcie_enable()
863 static inline bool iproc_pcie_ob_is_valid(struct iproc_pcie *pcie,  in iproc_pcie_ob_is_valid()  argument
868 	val = iproc_pcie_read_reg(pcie, MAP_REG(IPROC_PCIE_OARR0, window_idx));  in iproc_pcie_ob_is_valid()
873 static inline int iproc_pcie_ob_write(struct iproc_pcie *pcie, int window_idx,  in iproc_pcie_ob_write()  argument
876 	struct device *dev = pcie->dev;  in iproc_pcie_ob_write()
883 	oarr_offset = iproc_pcie_reg_offset(pcie, MAP_REG(IPROC_PCIE_OARR0,  in iproc_pcie_ob_write()
885 	omap_offset = iproc_pcie_reg_offset(pcie, MAP_REG(IPROC_PCIE_OMAP0,  in iproc_pcie_ob_write()
896 	       OARR_VALID, pcie->base + oarr_offset);  in iproc_pcie_ob_write()
897 	writel(upper_32_bits(axi_addr), pcie->base + oarr_offset + 4);  in iproc_pcie_ob_write()
900 	writel(lower_32_bits(pci_addr), pcie->base + omap_offset);  in iproc_pcie_ob_write()
901 	writel(upper_32_bits(pci_addr), pcie->base + omap_offset + 4);  in iproc_pcie_ob_write()
906 		readl(pcie->base + oarr_offset),  in iproc_pcie_ob_write()
907 		readl(pcie->base + oarr_offset + 4));  in iproc_pcie_ob_write()
909 		readl(pcie->base + omap_offset),  in iproc_pcie_ob_write()
910 		readl(pcie->base + omap_offset + 4));  in iproc_pcie_ob_write()
926 static int iproc_pcie_setup_ob(struct iproc_pcie *pcie, u64 axi_addr,  in iproc_pcie_setup_ob()  argument
929 	struct iproc_pcie_ob *ob = &pcie->ob;  in iproc_pcie_setup_ob()
930 	struct device *dev = pcie->dev;  in iproc_pcie_setup_ob()
948 			&pcie->ob_map[window_idx];  in iproc_pcie_setup_ob()
954 		if (iproc_pcie_ob_is_valid(pcie, window_idx))  in iproc_pcie_setup_ob()
999 			ret = iproc_pcie_ob_write(pcie, window_idx, size_idx,  in iproc_pcie_setup_ob()
1028 static int iproc_pcie_map_ranges(struct iproc_pcie *pcie,  in iproc_pcie_map_ranges()  argument
1031 	struct device *dev = pcie->dev;  in iproc_pcie_map_ranges()
1044 			ret = iproc_pcie_setup_ob(pcie, res->start,  in iproc_pcie_map_ranges()
1059 static inline bool iproc_pcie_ib_is_in_use(struct iproc_pcie *pcie,  in iproc_pcie_ib_is_in_use()  argument
1062 	const struct iproc_pcie_ib_map *ib_map = &pcie->ib_map[region_idx];  in iproc_pcie_ib_is_in_use()
1065 	val = iproc_pcie_read_reg(pcie, MAP_REG(IPROC_PCIE_IARR0, region_idx));  in iproc_pcie_ib_is_in_use()
1076 static int iproc_pcie_ib_write(struct iproc_pcie *pcie, int region_idx,  in iproc_pcie_ib_write()  argument
1080 	struct device *dev = pcie->dev;  in iproc_pcie_ib_write()
1081 	const struct iproc_pcie_ib_map *ib_map = &pcie->ib_map[region_idx];  in iproc_pcie_ib_write()
1086 	iarr_offset = iproc_pcie_reg_offset(pcie,  in iproc_pcie_ib_write()
1088 	imap_offset = iproc_pcie_reg_offset(pcie,  in iproc_pcie_ib_write()
1102 	       pcie->base + iarr_offset);  in iproc_pcie_ib_write()
1103 	writel(upper_32_bits(pci_addr), pcie->base + iarr_offset + 4);  in iproc_pcie_ib_write()
1106 		readl(pcie->base + iarr_offset),  in iproc_pcie_ib_write()
1107 		readl(pcie->base + iarr_offset + 4));  in iproc_pcie_ib_write()
1115 		val = readl(pcie->base + imap_offset);  in iproc_pcie_ib_write()
1117 		writel(val, pcie->base + imap_offset);  in iproc_pcie_ib_write()
1119 		       pcie->base + imap_offset + ib_map->imap_addr_offset);  in iproc_pcie_ib_write()
1122 			window_idx, readl(pcie->base + imap_offset),  in iproc_pcie_ib_write()
1123 			readl(pcie->base + imap_offset +  in iproc_pcie_ib_write()
1133 static int iproc_pcie_setup_ib(struct iproc_pcie *pcie,  in iproc_pcie_setup_ib()  argument
1137 	struct device *dev = pcie->dev;  in iproc_pcie_setup_ib()
1138 	struct iproc_pcie_ib *ib = &pcie->ib;  in iproc_pcie_setup_ib()
1148 			&pcie->ib_map[region_idx];  in iproc_pcie_setup_ib()
1154 		if (iproc_pcie_ib_is_in_use(pcie, region_idx) ||  in iproc_pcie_setup_ib()
1175 			ret = iproc_pcie_ib_write(pcie, region_idx, size_idx,  in iproc_pcie_setup_ib()
1195 static int iproc_pcie_map_dma_ranges(struct iproc_pcie *pcie)  in iproc_pcie_map_dma_ranges()  argument
1197 	struct pci_host_bridge *host = pci_host_bridge_from_priv(pcie);  in iproc_pcie_map_dma_ranges()
1203 		ret = iproc_pcie_setup_ib(pcie, entry, IPROC_PCIE_IB_MAP_MEM);  in iproc_pcie_map_dma_ranges()
1211 static void iproc_pcie_invalidate_mapping(struct iproc_pcie *pcie)  in iproc_pcie_invalidate_mapping()  argument
1213 	struct iproc_pcie_ib *ib = &pcie->ib;  in iproc_pcie_invalidate_mapping()
1214 	struct iproc_pcie_ob *ob = &pcie->ob;  in iproc_pcie_invalidate_mapping()
1217 	if (pcie->ep_is_internal)  in iproc_pcie_invalidate_mapping()
1220 	if (pcie->need_ob_cfg) {  in iproc_pcie_invalidate_mapping()
1223 			iproc_pcie_write_reg(pcie,  in iproc_pcie_invalidate_mapping()
1228 	if (pcie->need_ib_cfg) {  in iproc_pcie_invalidate_mapping()
1231 			iproc_pcie_write_reg(pcie,  in iproc_pcie_invalidate_mapping()
1237 static int iproce_pcie_get_msi(struct iproc_pcie *pcie,  in iproce_pcie_get_msi()  argument
1241 	struct device *dev = pcie->dev;  in iproce_pcie_get_msi()
1265 static int iproc_pcie_paxb_v2_msi_steer(struct iproc_pcie *pcie, u64 msi_addr)  in iproc_pcie_paxb_v2_msi_steer()  argument
1277 	ret = iproc_pcie_setup_ib(pcie, &entry, IPROC_PCIE_IB_MAP_IO);  in iproc_pcie_paxb_v2_msi_steer()
1281 static void iproc_pcie_paxc_v2_msi_steer(struct iproc_pcie *pcie, u64 msi_addr,  in iproc_pcie_paxc_v2_msi_steer()  argument
1291 		val = iproc_pcie_read_reg(pcie, IPROC_PCIE_MSI_EN_CFG);  in iproc_pcie_paxc_v2_msi_steer()
1293 		iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_EN_CFG, val);  in iproc_pcie_paxc_v2_msi_steer()
1303 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_BASE_ADDR,  in iproc_pcie_paxc_v2_msi_steer()
1307 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_WINDOW_SIZE, 0);  in iproc_pcie_paxc_v2_msi_steer()
1310 	val = iproc_pcie_read_reg(pcie, IPROC_PCIE_MSI_GIC_MODE);  in iproc_pcie_paxc_v2_msi_steer()
1312 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_GIC_MODE, val);  in iproc_pcie_paxc_v2_msi_steer()
1319 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_ADDR_HI,  in iproc_pcie_paxc_v2_msi_steer()
1321 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_ADDR_LO,  in iproc_pcie_paxc_v2_msi_steer()
1325 	val = iproc_pcie_read_reg(pcie, IPROC_PCIE_MSI_EN_CFG);  in iproc_pcie_paxc_v2_msi_steer()
1327 	iproc_pcie_write_reg(pcie, IPROC_PCIE_MSI_EN_CFG, val);  in iproc_pcie_paxc_v2_msi_steer()
1330 static int iproc_pcie_msi_steer(struct iproc_pcie *pcie,  in iproc_pcie_msi_steer()  argument
1333 	struct device *dev = pcie->dev;  in iproc_pcie_msi_steer()
1337 	ret = iproce_pcie_get_msi(pcie, msi_node, &msi_addr);  in iproc_pcie_msi_steer()
1343 	switch (pcie->type) {  in iproc_pcie_msi_steer()
1345 		ret = iproc_pcie_paxb_v2_msi_steer(pcie, msi_addr);  in iproc_pcie_msi_steer()
1350 		iproc_pcie_paxc_v2_msi_steer(pcie, msi_addr, true);  in iproc_pcie_msi_steer()
1359 static int iproc_pcie_msi_enable(struct iproc_pcie *pcie)  in iproc_pcie_msi_enable()  argument
1369 	msi_node = of_parse_phandle(pcie->dev->of_node, "msi-parent", 0);  in iproc_pcie_msi_enable()
1375 		msi_map = of_get_property(pcie->dev->of_node, "msi-map", &len);  in iproc_pcie_msi_enable()
1390 	if (pcie->need_msi_steer) {  in iproc_pcie_msi_enable()
1391 		ret = iproc_pcie_msi_steer(pcie, msi_node);  in iproc_pcie_msi_enable()
1400 	ret = iproc_msi_init(pcie, msi_node);  in iproc_pcie_msi_enable()
1407 static void iproc_pcie_msi_disable(struct iproc_pcie *pcie)  in iproc_pcie_msi_disable()  argument
1409 	iproc_msi_exit(pcie);  in iproc_pcie_msi_disable()
1412 static int iproc_pcie_rev_init(struct iproc_pcie *pcie)  in iproc_pcie_rev_init()  argument
1414 	struct device *dev = pcie->dev;  in iproc_pcie_rev_init()
1418 	switch (pcie->type) {  in iproc_pcie_rev_init()
1424 		pcie->has_apb_err_disable = true;  in iproc_pcie_rev_init()
1425 		if (pcie->need_ob_cfg) {  in iproc_pcie_rev_init()
1426 			pcie->ob_map = paxb_ob_map;  in iproc_pcie_rev_init()
1427 			pcie->ob.nr_windows = ARRAY_SIZE(paxb_ob_map);  in iproc_pcie_rev_init()
1432 		pcie->iproc_cfg_read = true;  in iproc_pcie_rev_init()
1433 		pcie->has_apb_err_disable = true;  in iproc_pcie_rev_init()
1434 		if (pcie->need_ob_cfg) {  in iproc_pcie_rev_init()
1435 			pcie->ob_map = paxb_v2_ob_map;  in iproc_pcie_rev_init()
1436 			pcie->ob.nr_windows = ARRAY_SIZE(paxb_v2_ob_map);  in iproc_pcie_rev_init()
1438 		pcie->ib.nr_regions = ARRAY_SIZE(paxb_v2_ib_map);  in iproc_pcie_rev_init()
1439 		pcie->ib_map = paxb_v2_ib_map;  in iproc_pcie_rev_init()
1440 		pcie->need_msi_steer = true;  in iproc_pcie_rev_init()
1446 		pcie->ep_is_internal = true;  in iproc_pcie_rev_init()
1447 		pcie->iproc_cfg_read = true;  in iproc_pcie_rev_init()
1448 		pcie->rej_unconfig_pf = true;  in iproc_pcie_rev_init()
1452 		pcie->ep_is_internal = true;  in iproc_pcie_rev_init()
1453 		pcie->iproc_cfg_read = true;  in iproc_pcie_rev_init()
1454 		pcie->rej_unconfig_pf = true;  in iproc_pcie_rev_init()
1455 		pcie->need_msi_steer = true;  in iproc_pcie_rev_init()
1462 	pcie->reg_offsets = devm_kcalloc(dev, IPROC_PCIE_MAX_NUM_REG,  in iproc_pcie_rev_init()
1463 					 sizeof(*pcie->reg_offsets),  in iproc_pcie_rev_init()
1465 	if (!pcie->reg_offsets)  in iproc_pcie_rev_init()
1469 	pcie->reg_offsets[0] = (pcie->type == IPROC_PCIE_PAXC_V2) ?  in iproc_pcie_rev_init()
1472 		pcie->reg_offsets[reg_idx] = regs[reg_idx] ?  in iproc_pcie_rev_init()
1478 int iproc_pcie_setup(struct iproc_pcie *pcie, struct list_head *res)  in iproc_pcie_setup()  argument
1482 	struct pci_host_bridge *host = pci_host_bridge_from_priv(pcie);  in iproc_pcie_setup()
1484 	dev = pcie->dev;  in iproc_pcie_setup()
1486 	ret = iproc_pcie_rev_init(pcie);  in iproc_pcie_setup()
1492 	ret = phy_init(pcie->phy);  in iproc_pcie_setup()
1498 	ret = phy_power_on(pcie->phy);  in iproc_pcie_setup()
1504 	iproc_pcie_perst_ctrl(pcie, true);  in iproc_pcie_setup()
1505 	iproc_pcie_perst_ctrl(pcie, false);  in iproc_pcie_setup()
1507 	iproc_pcie_invalidate_mapping(pcie);  in iproc_pcie_setup()
1509 	if (pcie->need_ob_cfg) {  in iproc_pcie_setup()
1510 		ret = iproc_pcie_map_ranges(pcie, res);  in iproc_pcie_setup()
1517 	if (pcie->need_ib_cfg) {  in iproc_pcie_setup()
1518 		ret = iproc_pcie_map_dma_ranges(pcie);  in iproc_pcie_setup()
1523 	ret = iproc_pcie_check_link(pcie);  in iproc_pcie_setup()
1529 	iproc_pcie_enable(pcie);  in iproc_pcie_setup()
1532 		if (iproc_pcie_msi_enable(pcie))  in iproc_pcie_setup()
1536 	host->sysdata = pcie;  in iproc_pcie_setup()
1537 	host->map_irq = pcie->map_irq;  in iproc_pcie_setup()
1548 	phy_power_off(pcie->phy);  in iproc_pcie_setup()
1550 	phy_exit(pcie->phy);  in iproc_pcie_setup()
1555 int iproc_pcie_remove(struct iproc_pcie *pcie)  in iproc_pcie_remove()  argument
1557 	struct pci_host_bridge *host = pci_host_bridge_from_priv(pcie);  in iproc_pcie_remove()
1562 	iproc_pcie_msi_disable(pcie);  in iproc_pcie_remove()
1564 	phy_power_off(pcie->phy);  in iproc_pcie_remove()
1565 	phy_exit(pcie->phy);  in iproc_pcie_remove()
1577 	struct iproc_pcie *pcie = iproc_data(pdev->bus);  in quirk_paxc_disable_msi_parsing()  local
1580 		iproc_pcie_paxc_v2_msi_steer(pcie, 0, false);  in quirk_paxc_disable_msi_parsing()