203 static int qcom_pcie_ep_core_reset(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_core_reset()  argument
205 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_core_reset()
209 	ret = reset_control_assert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
217 	ret = reset_control_deassert(pcie_ep->core_reset);  in qcom_pcie_ep_core_reset()
233 static void qcom_pcie_ep_configure_tcsr(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_configure_tcsr()  argument
235 	if (pcie_ep->perst_map) {  in qcom_pcie_ep_configure_tcsr()
236 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_en, 0);  in qcom_pcie_ep_configure_tcsr()
237 		regmap_write(pcie_ep->perst_map, pcie_ep->perst_sep_en, 0);  in qcom_pcie_ep_configure_tcsr()
243 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_link_up()  local
246 	reg = readl_relaxed(pcie_ep->elbi + ELBI_SYS_STTS);  in qcom_pcie_dw_link_up()
253 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_start_link()  local
255 	enable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_start_link()
262 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_stop_link()  local
264 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_dw_stop_link()
270 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_dw_write_dbi2()  local
273 	writel(1, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
279 	writel(0, pcie_ep->elbi + ELBI_CS2_ENABLE);  in qcom_pcie_dw_write_dbi2()
282 static void qcom_pcie_ep_icc_update(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_icc_update()  argument
284 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_icc_update()
289 	if (!pcie_ep->icc_mem)  in qcom_pcie_ep_icc_update()
316 	ret = icc_set_bw(pcie_ep->icc_mem, 0, width * bw);  in qcom_pcie_ep_icc_update()
322 static int qcom_pcie_enable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_enable_resources()  argument
324 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_enable_resources()
327 	ret = clk_bulk_prepare_enable(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
331 	ret = qcom_pcie_ep_core_reset(pcie_ep);  in qcom_pcie_enable_resources()
335 	ret = phy_init(pcie_ep->phy);  in qcom_pcie_enable_resources()
339 	ret = phy_set_mode_ext(pcie_ep->phy, PHY_MODE_PCIE, PHY_MODE_PCIE_EP);  in qcom_pcie_enable_resources()
343 	ret = phy_power_on(pcie_ep->phy);  in qcom_pcie_enable_resources()
354 	ret = icc_set_bw(pcie_ep->icc_mem, 0, MBps_to_icc(PCIE_GEN1_BW_MBPS));  in qcom_pcie_enable_resources()
364 	phy_power_off(pcie_ep->phy);  in qcom_pcie_enable_resources()
366 	phy_exit(pcie_ep->phy);  in qcom_pcie_enable_resources()
368 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_enable_resources()
373 static void qcom_pcie_disable_resources(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_disable_resources()  argument
375 	icc_set_bw(pcie_ep->icc_mem, 0, 0);  in qcom_pcie_disable_resources()
376 	phy_power_off(pcie_ep->phy);  in qcom_pcie_disable_resources()
377 	phy_exit(pcie_ep->phy);  in qcom_pcie_disable_resources()
378 	clk_bulk_disable_unprepare(pcie_ep->num_clks, pcie_ep->clks);  in qcom_pcie_disable_resources()
383 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_deassert()  local
388 	ret = qcom_pcie_enable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
395 	gpiod_set_value_cansleep(pcie_ep->wake, 1);  in qcom_pcie_perst_deassert()
397 	gpiod_set_value_cansleep(pcie_ep->wake, 0);  in qcom_pcie_perst_deassert()
399 	qcom_pcie_ep_configure_tcsr(pcie_ep);  in qcom_pcie_perst_deassert()
402 	val = readl_relaxed(pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
404 	writel_relaxed(val, pcie_ep->parf + PARF_BDF_TO_SID_CFG);  in qcom_pcie_perst_deassert()
407 	val = readl_relaxed(pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
411 	writel_relaxed(val, pcie_ep->parf + PARF_DEBUG_INT_EN);  in qcom_pcie_perst_deassert()
414 	writel_relaxed(PARF_DEVICE_TYPE_EP, pcie_ep->parf + PARF_DEVICE_TYPE);  in qcom_pcie_perst_deassert()
417 	val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
419 	writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_perst_deassert()
422 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
424 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_RD_HALT_NO_WRITES);  in qcom_pcie_perst_deassert()
427 	val = readl_relaxed(pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
429 	writel_relaxed(val, pcie_ep->parf + PARF_AXI_MSTR_WR_ADDR_HALT);  in qcom_pcie_perst_deassert()
432 	val = readl_relaxed(pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
434 	writel_relaxed(val, pcie_ep->parf + PARF_Q2A_FLUSH);  in qcom_pcie_perst_deassert()
442 	val = readl_relaxed(pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
447 	writel_relaxed(val, pcie_ep->parf + PARF_SYS_CTRL);  in qcom_pcie_perst_deassert()
450 	val = readl_relaxed(pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
454 	writel_relaxed(val, pcie_ep->parf + PARF_DB_CTRL);  in qcom_pcie_perst_deassert()
457 	val = readl_relaxed(pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
459 	writel_relaxed(val, pcie_ep->parf + PARF_CFG_BITS);  in qcom_pcie_perst_deassert()
479 	writel_relaxed(0, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
483 	writel_relaxed(val, pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_perst_deassert()
485 	ret = dw_pcie_ep_init_complete(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
495 	writel_relaxed(pcie_ep->mmio_res->start,  in qcom_pcie_perst_deassert()
496 		       pcie_ep->parf + PARF_MHI_BASE_ADDR_LOWER);  in qcom_pcie_perst_deassert()
497 	writel_relaxed(0, pcie_ep->parf + PARF_MHI_BASE_ADDR_UPPER);  in qcom_pcie_perst_deassert()
500 	val = readl_relaxed(pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
502 	writel_relaxed(val, pcie_ep->parf + PARF_MHI_CLOCK_RESET_CTRL);  in qcom_pcie_perst_deassert()
504 	dw_pcie_ep_init_notify(&pcie_ep->pci.ep);  in qcom_pcie_perst_deassert()
507 	val = readl_relaxed(pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
509 	writel_relaxed(val, pcie_ep->parf + PARF_LTSSM);  in qcom_pcie_perst_deassert()
514 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_deassert()
521 	struct qcom_pcie_ep *pcie_ep = to_pcie_ep(pci);  in qcom_pcie_perst_assert()  local
524 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED) {  in qcom_pcie_perst_assert()
529 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_perst_assert()
530 	pcie_ep->link_status = QCOM_PCIE_EP_LINK_DISABLED;  in qcom_pcie_perst_assert()
542 					 struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_io_resources()  argument
545 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_get_io_resources()
550 	pcie_ep->parf = devm_platform_ioremap_resource_byname(pdev, "parf");  in qcom_pcie_ep_get_io_resources()
551 	if (IS_ERR(pcie_ep->parf))  in qcom_pcie_ep_get_io_resources()
552 		return PTR_ERR(pcie_ep->parf);  in qcom_pcie_ep_get_io_resources()
561 	pcie_ep->elbi = devm_pci_remap_cfg_resource(dev, res);  in qcom_pcie_ep_get_io_resources()
562 	if (IS_ERR(pcie_ep->elbi))  in qcom_pcie_ep_get_io_resources()
563 		return PTR_ERR(pcie_ep->elbi);  in qcom_pcie_ep_get_io_resources()
565 	pcie_ep->mmio_res = platform_get_resource_byname(pdev, IORESOURCE_MEM,  in qcom_pcie_ep_get_io_resources()
567 	if (!pcie_ep->mmio_res) {  in qcom_pcie_ep_get_io_resources()
572 	pcie_ep->mmio = devm_pci_remap_cfg_resource(dev, pcie_ep->mmio_res);  in qcom_pcie_ep_get_io_resources()
573 	if (IS_ERR(pcie_ep->mmio))  in qcom_pcie_ep_get_io_resources()
574 		return PTR_ERR(pcie_ep->mmio);  in qcom_pcie_ep_get_io_resources()
582 	pcie_ep->perst_map = syscon_node_to_regmap(syscon);  in qcom_pcie_ep_get_io_resources()
584 	if (IS_ERR(pcie_ep->perst_map))  in qcom_pcie_ep_get_io_resources()
585 		return PTR_ERR(pcie_ep->perst_map);  in qcom_pcie_ep_get_io_resources()
588 					 1, &pcie_ep->perst_en);  in qcom_pcie_ep_get_io_resources()
595 					 2, &pcie_ep->perst_sep_en);  in qcom_pcie_ep_get_io_resources()
605 				      struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_get_resources()  argument
610 	ret = qcom_pcie_ep_get_io_resources(pdev, pcie_ep);  in qcom_pcie_ep_get_resources()
616 	pcie_ep->num_clks = devm_clk_bulk_get_all(dev, &pcie_ep->clks);  in qcom_pcie_ep_get_resources()
617 	if (pcie_ep->num_clks < 0) {  in qcom_pcie_ep_get_resources()
619 		return pcie_ep->num_clks;  in qcom_pcie_ep_get_resources()
622 	pcie_ep->core_reset = devm_reset_control_get_exclusive(dev, "core");  in qcom_pcie_ep_get_resources()
623 	if (IS_ERR(pcie_ep->core_reset))  in qcom_pcie_ep_get_resources()
624 		return PTR_ERR(pcie_ep->core_reset);  in qcom_pcie_ep_get_resources()
626 	pcie_ep->reset = devm_gpiod_get(dev, "reset", GPIOD_IN);  in qcom_pcie_ep_get_resources()
627 	if (IS_ERR(pcie_ep->reset))  in qcom_pcie_ep_get_resources()
628 		return PTR_ERR(pcie_ep->reset);  in qcom_pcie_ep_get_resources()
630 	pcie_ep->wake = devm_gpiod_get_optional(dev, "wake", GPIOD_OUT_LOW);  in qcom_pcie_ep_get_resources()
631 	if (IS_ERR(pcie_ep->wake))  in qcom_pcie_ep_get_resources()
632 		return PTR_ERR(pcie_ep->wake);  in qcom_pcie_ep_get_resources()
634 	pcie_ep->phy = devm_phy_optional_get(dev, "pciephy");  in qcom_pcie_ep_get_resources()
635 	if (IS_ERR(pcie_ep->phy))  in qcom_pcie_ep_get_resources()
636 		ret = PTR_ERR(pcie_ep->phy);  in qcom_pcie_ep_get_resources()
638 	pcie_ep->icc_mem = devm_of_icc_get(dev, "pcie-mem");  in qcom_pcie_ep_get_resources()
639 	if (IS_ERR(pcie_ep->icc_mem))  in qcom_pcie_ep_get_resources()
640 		ret = PTR_ERR(pcie_ep->icc_mem);  in qcom_pcie_ep_get_resources()
648 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_global_irq_thread()  local
649 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_global_irq_thread()
651 	u32 status = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_STATUS);  in qcom_pcie_ep_global_irq_thread()
652 	u32 mask = readl_relaxed(pcie_ep->parf + PARF_INT_ALL_MASK);  in qcom_pcie_ep_global_irq_thread()
655 	writel_relaxed(status, pcie_ep->parf + PARF_INT_ALL_CLEAR);  in qcom_pcie_ep_global_irq_thread()
660 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_DOWN;  in qcom_pcie_ep_global_irq_thread()
664 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_ENABLED;  in qcom_pcie_ep_global_irq_thread()
665 		qcom_pcie_ep_icc_update(pcie_ep);  in qcom_pcie_ep_global_irq_thread()
669 		val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
671 		writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
677 			val = readl_relaxed(pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
679 			writel_relaxed(val, pcie_ep->parf + PARF_PM_CTRL);  in qcom_pcie_ep_global_irq_thread()
684 		pcie_ep->link_status = QCOM_PCIE_EP_LINK_UP;  in qcom_pcie_ep_global_irq_thread()
694 	struct qcom_pcie_ep *pcie_ep = data;  in qcom_pcie_ep_perst_irq_thread()  local
695 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_perst_irq_thread()
699 	perst = gpiod_get_value(pcie_ep->reset);  in qcom_pcie_ep_perst_irq_thread()
708 	irq_set_irq_type(gpiod_to_irq(pcie_ep->reset),  in qcom_pcie_ep_perst_irq_thread()
715 					     struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_enable_irq_resources()  argument
719 	pcie_ep->global_irq = platform_get_irq_byname(pdev, "global");  in qcom_pcie_ep_enable_irq_resources()
720 	if (pcie_ep->global_irq < 0)  in qcom_pcie_ep_enable_irq_resources()
721 		return pcie_ep->global_irq;  in qcom_pcie_ep_enable_irq_resources()
723 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->global_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
726 					"global_irq", pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
732 	pcie_ep->perst_irq = gpiod_to_irq(pcie_ep->reset);  in qcom_pcie_ep_enable_irq_resources()
733 	irq_set_status_flags(pcie_ep->perst_irq, IRQ_NOAUTOEN);  in qcom_pcie_ep_enable_irq_resources()
734 	ret = devm_request_threaded_irq(&pdev->dev, pcie_ep->perst_irq, NULL,  in qcom_pcie_ep_enable_irq_resources()
737 					"perst_irq", pcie_ep);  in qcom_pcie_ep_enable_irq_resources()
740 		disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_enable_irq_resources()
765 	struct qcom_pcie_ep *pcie_ep = (struct qcom_pcie_ep *)  in qcom_pcie_ep_link_transition_count()  local
769 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L0S));  in qcom_pcie_ep_link_transition_count()
772 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L1));  in qcom_pcie_ep_link_transition_count()
775 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L1));  in qcom_pcie_ep_link_transition_count()
778 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_AUX_CLK_IN_L1SUB_L2));  in qcom_pcie_ep_link_transition_count()
781 		   readl_relaxed(pcie_ep->mmio + PARF_DEBUG_CNT_PM_LINKST_IN_L2));  in qcom_pcie_ep_link_transition_count()
786 static void qcom_pcie_ep_init_debugfs(struct qcom_pcie_ep *pcie_ep)  in qcom_pcie_ep_init_debugfs()  argument
788 	struct dw_pcie *pci = &pcie_ep->pci;  in qcom_pcie_ep_init_debugfs()
790 	debugfs_create_devm_seqfile(pci->dev, "link_transition_count", pcie_ep->debugfs,  in qcom_pcie_ep_init_debugfs()
826 	struct qcom_pcie_ep *pcie_ep;  in qcom_pcie_ep_probe()  local
830 	pcie_ep = devm_kzalloc(dev, sizeof(*pcie_ep), GFP_KERNEL);  in qcom_pcie_ep_probe()
831 	if (!pcie_ep)  in qcom_pcie_ep_probe()
834 	pcie_ep->pci.dev = dev;  in qcom_pcie_ep_probe()
835 	pcie_ep->pci.ops = &pci_ops;  in qcom_pcie_ep_probe()
836 	pcie_ep->pci.ep.ops = &pci_ep_ops;  in qcom_pcie_ep_probe()
837 	pcie_ep->pci.edma.nr_irqs = 1;  in qcom_pcie_ep_probe()
838 	platform_set_drvdata(pdev, pcie_ep);  in qcom_pcie_ep_probe()
840 	ret = qcom_pcie_ep_get_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
844 	ret = qcom_pcie_enable_resources(pcie_ep);  in qcom_pcie_ep_probe()
850 	ret = dw_pcie_ep_init(&pcie_ep->pci.ep);  in qcom_pcie_ep_probe()
856 	ret = qcom_pcie_ep_enable_irq_resources(pdev, pcie_ep);  in qcom_pcie_ep_probe()
866 	pcie_ep->debugfs = debugfs_create_dir(name, NULL);  in qcom_pcie_ep_probe()
867 	qcom_pcie_ep_init_debugfs(pcie_ep);  in qcom_pcie_ep_probe()
872 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_probe()
873 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_probe()
876 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_ep_probe()
883 	struct qcom_pcie_ep *pcie_ep = platform_get_drvdata(pdev);  in qcom_pcie_ep_remove()  local
885 	disable_irq(pcie_ep->global_irq);  in qcom_pcie_ep_remove()
886 	disable_irq(pcie_ep->perst_irq);  in qcom_pcie_ep_remove()
888 	debugfs_remove_recursive(pcie_ep->debugfs);  in qcom_pcie_ep_remove()
890 	if (pcie_ep->link_status == QCOM_PCIE_EP_LINK_DISABLED)  in qcom_pcie_ep_remove()
893 	qcom_pcie_disable_resources(pcie_ep);  in qcom_pcie_ep_remove()