1
2
3
4
5
6
7
8
9
10
11#ifndef _PCIE_ROCKCHIP_H
12#define _PCIE_ROCKCHIP_H
13
14#include <linux/kernel.h>
15#include <linux/pci.h>
16
17
18
19
20
21#define HIWORD_UPDATE(mask, val) (((mask) << 16) | (val))
22#define HIWORD_UPDATE_BIT(val) HIWORD_UPDATE(val, val)
23
24#define ENCODE_LANES(x) ((((x) >> 1) & 3) << 4)
25#define MAX_LANE_NUM 4
26#define MAX_REGION_LIMIT 32
27#define MIN_EP_APERTURE 28
28
29#define PCIE_CLIENT_BASE 0x0
30#define PCIE_CLIENT_CONFIG (PCIE_CLIENT_BASE + 0x00)
31#define PCIE_CLIENT_CONF_ENABLE HIWORD_UPDATE_BIT(0x0001)
32#define PCIE_CLIENT_CONF_DISABLE HIWORD_UPDATE(0x0001, 0)
33#define PCIE_CLIENT_LINK_TRAIN_ENABLE HIWORD_UPDATE_BIT(0x0002)
34#define PCIE_CLIENT_ARI_ENABLE HIWORD_UPDATE_BIT(0x0008)
35#define PCIE_CLIENT_CONF_LANE_NUM(x) HIWORD_UPDATE(0x0030, ENCODE_LANES(x))
36#define PCIE_CLIENT_MODE_RC HIWORD_UPDATE_BIT(0x0040)
37#define PCIE_CLIENT_MODE_EP HIWORD_UPDATE(0x0040, 0)
38#define PCIE_CLIENT_GEN_SEL_1 HIWORD_UPDATE(0x0080, 0)
39#define PCIE_CLIENT_GEN_SEL_2 HIWORD_UPDATE_BIT(0x0080)
40#define PCIE_CLIENT_DEBUG_OUT_0 (PCIE_CLIENT_BASE + 0x3c)
41#define PCIE_CLIENT_DEBUG_LTSSM_MASK GENMASK(5, 0)
42#define PCIE_CLIENT_DEBUG_LTSSM_L1 0x18
43#define PCIE_CLIENT_DEBUG_LTSSM_L2 0x19
44#define PCIE_CLIENT_BASIC_STATUS1 (PCIE_CLIENT_BASE + 0x48)
45#define PCIE_CLIENT_LINK_STATUS_UP 0x00300000
46#define PCIE_CLIENT_LINK_STATUS_MASK 0x00300000
47#define PCIE_CLIENT_INT_MASK (PCIE_CLIENT_BASE + 0x4c)
48#define PCIE_CLIENT_INT_STATUS (PCIE_CLIENT_BASE + 0x50)
49#define PCIE_CLIENT_INTR_MASK GENMASK(8, 5)
50#define PCIE_CLIENT_INTR_SHIFT 5
51#define PCIE_CLIENT_INT_LEGACY_DONE BIT(15)
52#define PCIE_CLIENT_INT_MSG BIT(14)
53#define PCIE_CLIENT_INT_HOT_RST BIT(13)
54#define PCIE_CLIENT_INT_DPA BIT(12)
55#define PCIE_CLIENT_INT_FATAL_ERR BIT(11)
56#define PCIE_CLIENT_INT_NFATAL_ERR BIT(10)
57#define PCIE_CLIENT_INT_CORR_ERR BIT(9)
58#define PCIE_CLIENT_INT_INTD BIT(8)
59#define PCIE_CLIENT_INT_INTC BIT(7)
60#define PCIE_CLIENT_INT_INTB BIT(6)
61#define PCIE_CLIENT_INT_INTA BIT(5)
62#define PCIE_CLIENT_INT_LOCAL BIT(4)
63#define PCIE_CLIENT_INT_UDMA BIT(3)
64#define PCIE_CLIENT_INT_PHY BIT(2)
65#define PCIE_CLIENT_INT_HOT_PLUG BIT(1)
66#define PCIE_CLIENT_INT_PWR_STCG BIT(0)
67
68#define PCIE_CLIENT_INT_LEGACY \
69 (PCIE_CLIENT_INT_INTA | PCIE_CLIENT_INT_INTB | \
70 PCIE_CLIENT_INT_INTC | PCIE_CLIENT_INT_INTD)
71
72#define PCIE_CLIENT_INT_CLI \
73 (PCIE_CLIENT_INT_CORR_ERR | PCIE_CLIENT_INT_NFATAL_ERR | \
74 PCIE_CLIENT_INT_FATAL_ERR | PCIE_CLIENT_INT_DPA | \
75 PCIE_CLIENT_INT_HOT_RST | PCIE_CLIENT_INT_MSG | \
76 PCIE_CLIENT_INT_LEGACY_DONE | PCIE_CLIENT_INT_LEGACY | \
77 PCIE_CLIENT_INT_PHY)
78
79#define PCIE_CORE_CTRL_MGMT_BASE 0x900000
80#define PCIE_CORE_CTRL (PCIE_CORE_CTRL_MGMT_BASE + 0x000)
81#define PCIE_CORE_PL_CONF_SPEED_5G 0x00000008
82#define PCIE_CORE_PL_CONF_SPEED_MASK 0x00000018
83#define PCIE_CORE_PL_CONF_LANE_MASK 0x00000006
84#define PCIE_CORE_PL_CONF_LANE_SHIFT 1
85#define PCIE_CORE_CTRL_PLC1 (PCIE_CORE_CTRL_MGMT_BASE + 0x004)
86#define PCIE_CORE_CTRL_PLC1_FTS_MASK GENMASK(23, 8)
87#define PCIE_CORE_CTRL_PLC1_FTS_SHIFT 8
88#define PCIE_CORE_CTRL_PLC1_FTS_CNT 0xffff
89#define PCIE_CORE_TXCREDIT_CFG1 (PCIE_CORE_CTRL_MGMT_BASE + 0x020)
90#define PCIE_CORE_TXCREDIT_CFG1_MUI_MASK 0xFFFF0000
91#define PCIE_CORE_TXCREDIT_CFG1_MUI_SHIFT 16
92#define PCIE_CORE_TXCREDIT_CFG1_MUI_ENCODE(x) \
93 (((x) >> 3) << PCIE_CORE_TXCREDIT_CFG1_MUI_SHIFT)
94#define PCIE_CORE_LANE_MAP (PCIE_CORE_CTRL_MGMT_BASE + 0x200)
95#define PCIE_CORE_LANE_MAP_MASK 0x0000000f
96#define PCIE_CORE_LANE_MAP_REVERSE BIT(16)
97#define PCIE_CORE_INT_STATUS (PCIE_CORE_CTRL_MGMT_BASE + 0x20c)
98#define PCIE_CORE_INT_PRFPE BIT(0)
99#define PCIE_CORE_INT_CRFPE BIT(1)
100#define PCIE_CORE_INT_RRPE BIT(2)
101#define PCIE_CORE_INT_PRFO BIT(3)
102#define PCIE_CORE_INT_CRFO BIT(4)
103#define PCIE_CORE_INT_RT BIT(5)
104#define PCIE_CORE_INT_RTR BIT(6)
105#define PCIE_CORE_INT_PE BIT(7)
106#define PCIE_CORE_INT_MTR BIT(8)
107#define PCIE_CORE_INT_UCR BIT(9)
108#define PCIE_CORE_INT_FCE BIT(10)
109#define PCIE_CORE_INT_CT BIT(11)
110#define PCIE_CORE_INT_UTC BIT(18)
111#define PCIE_CORE_INT_MMVC BIT(19)
112#define PCIE_CORE_CONFIG_VENDOR (PCIE_CORE_CTRL_MGMT_BASE + 0x44)
113#define PCIE_CORE_INT_MASK (PCIE_CORE_CTRL_MGMT_BASE + 0x210)
114#define PCIE_CORE_PHY_FUNC_CFG (PCIE_CORE_CTRL_MGMT_BASE + 0x2c0)
115#define PCIE_RC_BAR_CONF (PCIE_CORE_CTRL_MGMT_BASE + 0x300)
116#define ROCKCHIP_PCIE_CORE_BAR_CFG_CTRL_DISABLED 0x0
117#define ROCKCHIP_PCIE_CORE_BAR_CFG_CTRL_IO_32BITS 0x1
118#define ROCKCHIP_PCIE_CORE_BAR_CFG_CTRL_MEM_32BITS 0x4
119#define ROCKCHIP_PCIE_CORE_BAR_CFG_CTRL_PREFETCH_MEM_32BITS 0x5
120#define ROCKCHIP_PCIE_CORE_BAR_CFG_CTRL_MEM_64BITS 0x6
121#define ROCKCHIP_PCIE_CORE_BAR_CFG_CTRL_PREFETCH_MEM_64BITS 0x7
122
123#define PCIE_CORE_INT \
124 (PCIE_CORE_INT_PRFPE | PCIE_CORE_INT_CRFPE | \
125 PCIE_CORE_INT_RRPE | PCIE_CORE_INT_CRFO | \
126 PCIE_CORE_INT_RT | PCIE_CORE_INT_RTR | \
127 PCIE_CORE_INT_PE | PCIE_CORE_INT_MTR | \
128 PCIE_CORE_INT_UCR | PCIE_CORE_INT_FCE | \
129 PCIE_CORE_INT_CT | PCIE_CORE_INT_UTC | \
130 PCIE_CORE_INT_MMVC)
131
132#define PCIE_RC_RP_ATS_BASE 0x400000
133#define PCIE_RC_CONFIG_NORMAL_BASE 0x800000
134#define PCIE_RC_CONFIG_BASE 0xa00000
135#define PCIE_RC_CONFIG_RID_CCR (PCIE_RC_CONFIG_BASE + 0x08)
136#define PCIE_RC_CONFIG_SCC_SHIFT 16
137#define PCIE_RC_CONFIG_DCR (PCIE_RC_CONFIG_BASE + 0xc4)
138#define PCIE_RC_CONFIG_DCR_CSPL_SHIFT 18
139#define PCIE_RC_CONFIG_DCR_CSPL_LIMIT 0xff
140#define PCIE_RC_CONFIG_DCR_CPLS_SHIFT 26
141#define PCIE_RC_CONFIG_DCSR (PCIE_RC_CONFIG_BASE + 0xc8)
142#define PCIE_RC_CONFIG_DCSR_MPS_MASK GENMASK(7, 5)
143#define PCIE_RC_CONFIG_DCSR_MPS_256 (0x1 << 5)
144#define PCIE_RC_CONFIG_LINK_CAP (PCIE_RC_CONFIG_BASE + 0xcc)
145#define PCIE_RC_CONFIG_LINK_CAP_L0S BIT(10)
146#define PCIE_RC_CONFIG_LCS (PCIE_RC_CONFIG_BASE + 0xd0)
147#define PCIE_RC_CONFIG_L1_SUBSTATE_CTRL2 (PCIE_RC_CONFIG_BASE + 0x90c)
148#define PCIE_RC_CONFIG_THP_CAP (PCIE_RC_CONFIG_BASE + 0x274)
149#define PCIE_RC_CONFIG_THP_CAP_NEXT_MASK GENMASK(31, 20)
150
151#define PCIE_CORE_AXI_CONF_BASE 0xc00000
152#define PCIE_CORE_OB_REGION_ADDR0 (PCIE_CORE_AXI_CONF_BASE + 0x0)
153#define PCIE_CORE_OB_REGION_ADDR0_NUM_BITS 0x3f
154#define PCIE_CORE_OB_REGION_ADDR0_LO_ADDR 0xffffff00
155#define PCIE_CORE_OB_REGION_ADDR1 (PCIE_CORE_AXI_CONF_BASE + 0x4)
156#define PCIE_CORE_OB_REGION_DESC0 (PCIE_CORE_AXI_CONF_BASE + 0x8)
157#define PCIE_CORE_OB_REGION_DESC1 (PCIE_CORE_AXI_CONF_BASE + 0xc)
158
159#define PCIE_CORE_AXI_INBOUND_BASE 0xc00800
160#define PCIE_RP_IB_ADDR0 (PCIE_CORE_AXI_INBOUND_BASE + 0x0)
161#define PCIE_CORE_IB_REGION_ADDR0_NUM_BITS 0x3f
162#define PCIE_CORE_IB_REGION_ADDR0_LO_ADDR 0xffffff00
163#define PCIE_RP_IB_ADDR1 (PCIE_CORE_AXI_INBOUND_BASE + 0x4)
164
165
166#define AXI_REGION_SIZE BIT(20)
167
168#define AXI_REGION_0_SIZE (32 * (0x1 << 20))
169#define OB_REG_SIZE_SHIFT 5
170#define IB_ROOT_PORT_REG_SIZE_SHIFT 3
171#define AXI_WRAPPER_IO_WRITE 0x6
172#define AXI_WRAPPER_MEM_WRITE 0x2
173#define AXI_WRAPPER_TYPE0_CFG 0xa
174#define AXI_WRAPPER_TYPE1_CFG 0xb
175#define AXI_WRAPPER_NOR_MSG 0xc
176
177#define MAX_AXI_IB_ROOTPORT_REGION_NUM 3
178#define MIN_AXI_ADDR_BITS_PASSED 8
179#define PCIE_RC_SEND_PME_OFF 0x11960
180#define ROCKCHIP_VENDOR_ID 0x1d87
181#define PCIE_ECAM_BUS(x) (((x) & 0xff) << 20)
182#define PCIE_ECAM_DEV(x) (((x) & 0x1f) << 15)
183#define PCIE_ECAM_FUNC(x) (((x) & 0x7) << 12)
184#define PCIE_ECAM_REG(x) (((x) & 0xfff) << 0)
185#define PCIE_ECAM_ADDR(bus, dev, func, reg) \
186 (PCIE_ECAM_BUS(bus) | PCIE_ECAM_DEV(dev) | \
187 PCIE_ECAM_FUNC(func) | PCIE_ECAM_REG(reg))
188#define PCIE_LINK_IS_L2(x) \
189 (((x) & PCIE_CLIENT_DEBUG_LTSSM_MASK) == PCIE_CLIENT_DEBUG_LTSSM_L2)
190#define PCIE_LINK_UP(x) \
191 (((x) & PCIE_CLIENT_LINK_STATUS_MASK) == PCIE_CLIENT_LINK_STATUS_UP)
192#define PCIE_LINK_IS_GEN2(x) \
193 (((x) & PCIE_CORE_PL_CONF_SPEED_MASK) == PCIE_CORE_PL_CONF_SPEED_5G)
194
195#define RC_REGION_0_ADDR_TRANS_H 0x00000000
196#define RC_REGION_0_ADDR_TRANS_L 0x00000000
197#define RC_REGION_0_PASS_BITS (25 - 1)
198#define RC_REGION_0_TYPE_MASK GENMASK(3, 0)
199#define MAX_AXI_WRAPPER_REGION_NUM 33
200
201#define ROCKCHIP_PCIE_MSG_ROUTING_TO_RC 0x0
202#define ROCKCHIP_PCIE_MSG_ROUTING_VIA_ADDR 0x1
203#define ROCKCHIP_PCIE_MSG_ROUTING_VIA_ID 0x2
204#define ROCKCHIP_PCIE_MSG_ROUTING_BROADCAST 0x3
205#define ROCKCHIP_PCIE_MSG_ROUTING_LOCAL_INTX 0x4
206#define ROCKCHIP_PCIE_MSG_ROUTING_PME_ACK 0x5
207#define ROCKCHIP_PCIE_MSG_CODE_ASSERT_INTA 0x20
208#define ROCKCHIP_PCIE_MSG_CODE_ASSERT_INTB 0x21
209#define ROCKCHIP_PCIE_MSG_CODE_ASSERT_INTC 0x22
210#define ROCKCHIP_PCIE_MSG_CODE_ASSERT_INTD 0x23
211#define ROCKCHIP_PCIE_MSG_CODE_DEASSERT_INTA 0x24
212#define ROCKCHIP_PCIE_MSG_CODE_DEASSERT_INTB 0x25
213#define ROCKCHIP_PCIE_MSG_CODE_DEASSERT_INTC 0x26
214#define ROCKCHIP_PCIE_MSG_CODE_DEASSERT_INTD 0x27
215#define ROCKCHIP_PCIE_MSG_ROUTING_MASK GENMASK(7, 5)
216#define ROCKCHIP_PCIE_MSG_ROUTING(route) \
217 (((route) << 5) & ROCKCHIP_PCIE_MSG_ROUTING_MASK)
218#define ROCKCHIP_PCIE_MSG_CODE_MASK GENMASK(15, 8)
219#define ROCKCHIP_PCIE_MSG_CODE(code) \
220 (((code) << 8) & ROCKCHIP_PCIE_MSG_CODE_MASK)
221#define ROCKCHIP_PCIE_MSG_NO_DATA BIT(16)
222
223#define ROCKCHIP_PCIE_EP_CMD_STATUS 0x4
224#define ROCKCHIP_PCIE_EP_CMD_STATUS_IS BIT(19)
225#define ROCKCHIP_PCIE_EP_MSI_CTRL_REG 0x90
226#define ROCKCHIP_PCIE_EP_MSI_CTRL_MMC_OFFSET 17
227#define ROCKCHIP_PCIE_EP_MSI_CTRL_MMC_MASK GENMASK(19, 17)
228#define ROCKCHIP_PCIE_EP_MSI_CTRL_MME_OFFSET 20
229#define ROCKCHIP_PCIE_EP_MSI_CTRL_MME_MASK GENMASK(22, 20)
230#define ROCKCHIP_PCIE_EP_MSI_CTRL_ME BIT(16)
231#define ROCKCHIP_PCIE_EP_MSI_CTRL_MASK_MSI_CAP BIT(24)
232#define ROCKCHIP_PCIE_EP_DUMMY_IRQ_ADDR 0x1
233#define ROCKCHIP_PCIE_EP_PCI_LEGACY_IRQ_ADDR 0x3
234#define ROCKCHIP_PCIE_EP_FUNC_BASE(fn) (((fn) << 12) & GENMASK(19, 12))
235#define ROCKCHIP_PCIE_AT_IB_EP_FUNC_BAR_ADDR0(fn, bar) \
236 (PCIE_RC_RP_ATS_BASE + 0x0840 + (fn) * 0x0040 + (bar) * 0x0008)
237#define ROCKCHIP_PCIE_AT_IB_EP_FUNC_BAR_ADDR1(fn, bar) \
238 (PCIE_RC_RP_ATS_BASE + 0x0844 + (fn) * 0x0040 + (bar) * 0x0008)
239#define ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR0(r) \
240 (PCIE_RC_RP_ATS_BASE + 0x0000 + ((r) & 0x1f) * 0x0020)
241#define ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR0_DEVFN_MASK GENMASK(19, 12)
242#define ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR0_DEVFN(devfn) \
243 (((devfn) << 12) & \
244 ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR0_DEVFN_MASK)
245#define ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR0_BUS_MASK GENMASK(27, 20)
246#define ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR0_BUS(bus) \
247 (((bus) << 20) & ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR0_BUS_MASK)
248#define ROCKCHIP_PCIE_AT_OB_REGION_PCI_ADDR1(r) \
249 (PCIE_RC_RP_ATS_BASE + 0x0004 + ((r) & 0x1f) * 0x0020)
250#define ROCKCHIP_PCIE_AT_OB_REGION_DESC0_HARDCODED_RID BIT(23)
251#define ROCKCHIP_PCIE_AT_OB_REGION_DESC0_DEVFN_MASK GENMASK(31, 24)
252#define ROCKCHIP_PCIE_AT_OB_REGION_DESC0_DEVFN(devfn) \
253 (((devfn) << 24) & ROCKCHIP_PCIE_AT_OB_REGION_DESC0_DEVFN_MASK)
254#define ROCKCHIP_PCIE_AT_OB_REGION_DESC0(r) \
255 (PCIE_RC_RP_ATS_BASE + 0x0008 + ((r) & 0x1f) * 0x0020)
256#define ROCKCHIP_PCIE_AT_OB_REGION_DESC1(r) \
257 (PCIE_RC_RP_ATS_BASE + 0x000c + ((r) & 0x1f) * 0x0020)
258#define ROCKCHIP_PCIE_AT_OB_REGION_CPU_ADDR0(r) \
259 (PCIE_RC_RP_ATS_BASE + 0x0018 + ((r) & 0x1f) * 0x0020)
260#define ROCKCHIP_PCIE_AT_OB_REGION_CPU_ADDR1(r) \
261 (PCIE_RC_RP_ATS_BASE + 0x001c + ((r) & 0x1f) * 0x0020)
262
263#define ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG0(fn) \
264 (PCIE_CORE_CTRL_MGMT_BASE + 0x0240 + (fn) * 0x0008)
265#define ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG1(fn) \
266 (PCIE_CORE_CTRL_MGMT_BASE + 0x0244 + (fn) * 0x0008)
267#define ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG_BAR_APERTURE_MASK(b) \
268 (GENMASK(4, 0) << ((b) * 8))
269#define ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG_BAR_APERTURE(b, a) \
270 (((a) << ((b) * 8)) & \
271 ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG_BAR_APERTURE_MASK(b))
272#define ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG_BAR_CTRL_MASK(b) \
273 (GENMASK(7, 5) << ((b) * 8))
274#define ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG_BAR_CTRL(b, c) \
275 (((c) << ((b) * 8 + 5)) & \
276 ROCKCHIP_PCIE_CORE_EP_FUNC_BAR_CFG_BAR_CTRL_MASK(b))
277
278struct rockchip_pcie {
279 void __iomem *reg_base;
280 void __iomem *apb_base;
281 bool legacy_phy;
282 struct phy *phys[MAX_LANE_NUM];
283 struct reset_control *core_rst;
284 struct reset_control *mgmt_rst;
285 struct reset_control *mgmt_sticky_rst;
286 struct reset_control *pipe_rst;
287 struct reset_control *pm_rst;
288 struct reset_control *aclk_rst;
289 struct reset_control *pclk_rst;
290 struct clk *aclk_pcie;
291 struct clk *aclk_perf_pcie;
292 struct clk *hclk_pcie;
293 struct clk *clk_pcie_pm;
294 struct regulator *vpcie12v;
295 struct regulator *vpcie3v3;
296 struct regulator *vpcie1v8;
297 struct regulator *vpcie0v9;
298 struct gpio_desc *ep_gpio;
299 u32 lanes;
300 u8 lanes_map;
301 u8 root_bus_nr;
302 int link_gen;
303 struct device *dev;
304 struct irq_domain *irq_domain;
305 int offset;
306 struct pci_bus *root_bus;
307 struct resource *io;
308 phys_addr_t io_bus_addr;
309 u32 io_size;
310 void __iomem *msg_region;
311 u32 mem_size;
312 phys_addr_t msg_bus_addr;
313 phys_addr_t mem_bus_addr;
314 bool is_rc;
315 struct resource *mem_res;
316};
317
318static u32 rockchip_pcie_read(struct rockchip_pcie *rockchip, u32 reg)
319{
320 return readl(rockchip->apb_base + reg);
321}
322
323static void rockchip_pcie_write(struct rockchip_pcie *rockchip, u32 val,
324 u32 reg)
325{
326 writel(val, rockchip->apb_base + reg);
327}
328
329int rockchip_pcie_parse_dt(struct rockchip_pcie *rockchip);
330int rockchip_pcie_init_port(struct rockchip_pcie *rockchip);
331int rockchip_pcie_get_phys(struct rockchip_pcie *rockchip);
332void rockchip_pcie_deinit_phys(struct rockchip_pcie *rockchip);
333int rockchip_pcie_enable_clocks(struct rockchip_pcie *rockchip);
334void rockchip_pcie_disable_clocks(void *data);
335void rockchip_pcie_cfg_configuration_accesses(
336 struct rockchip_pcie *rockchip, u32 type);
337
338#endif
339