1
2
3
4
5
6
7
8
9
10
11#ifndef _PCIE_DESIGNWARE_H
12#define _PCIE_DESIGNWARE_H
13
14#include <linux/bitfield.h>
15#include <linux/dma-mapping.h>
16#include <linux/irq.h>
17#include <linux/msi.h>
18#include <linux/pci.h>
19
20#include <linux/pci-epc.h>
21#include <linux/pci-epf.h>
22
23
24#define LINK_WAIT_MAX_RETRIES 10
25#define LINK_WAIT_USLEEP_MIN 90000
26#define LINK_WAIT_USLEEP_MAX 100000
27
28
29#define LINK_WAIT_MAX_IATU_RETRIES 5
30#define LINK_WAIT_IATU 9
31
32
33#define PCIE_PORT_LINK_CONTROL 0x710
34#define PORT_LINK_MODE_MASK GENMASK(21, 16)
35#define PORT_LINK_MODE(n) FIELD_PREP(PORT_LINK_MODE_MASK, n)
36#define PORT_LINK_MODE_1_LANES PORT_LINK_MODE(0x1)
37#define PORT_LINK_MODE_2_LANES PORT_LINK_MODE(0x3)
38#define PORT_LINK_MODE_4_LANES PORT_LINK_MODE(0x7)
39#define PORT_LINK_MODE_8_LANES PORT_LINK_MODE(0xf)
40
41#define PCIE_PORT_DEBUG0 0x728
42#define PORT_LOGIC_LTSSM_STATE_MASK 0x1f
43#define PORT_LOGIC_LTSSM_STATE_L0 0x11
44
45#define PCIE_LINK_WIDTH_SPEED_CONTROL 0x80C
46#define PORT_LOGIC_SPEED_CHANGE BIT(17)
47#define PORT_LOGIC_LINK_WIDTH_MASK GENMASK(12, 8)
48#define PORT_LOGIC_LINK_WIDTH(n) FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n)
49#define PORT_LOGIC_LINK_WIDTH_1_LANES PORT_LOGIC_LINK_WIDTH(0x1)
50#define PORT_LOGIC_LINK_WIDTH_2_LANES PORT_LOGIC_LINK_WIDTH(0x2)
51#define PORT_LOGIC_LINK_WIDTH_4_LANES PORT_LOGIC_LINK_WIDTH(0x4)
52#define PORT_LOGIC_LINK_WIDTH_8_LANES PORT_LOGIC_LINK_WIDTH(0x8)
53
54#define PCIE_MSI_ADDR_LO 0x820
55#define PCIE_MSI_ADDR_HI 0x824
56#define PCIE_MSI_INTR0_ENABLE 0x828
57#define PCIE_MSI_INTR0_MASK 0x82C
58#define PCIE_MSI_INTR0_STATUS 0x830
59
60#define PCIE_ATU_VIEWPORT 0x900
61#define PCIE_ATU_REGION_INBOUND BIT(31)
62#define PCIE_ATU_REGION_OUTBOUND 0
63#define PCIE_ATU_REGION_INDEX2 0x2
64#define PCIE_ATU_REGION_INDEX1 0x1
65#define PCIE_ATU_REGION_INDEX0 0x0
66#define PCIE_ATU_CR1 0x904
67#define PCIE_ATU_TYPE_MEM 0x0
68#define PCIE_ATU_TYPE_IO 0x2
69#define PCIE_ATU_TYPE_CFG0 0x4
70#define PCIE_ATU_TYPE_CFG1 0x5
71#define PCIE_ATU_CR2 0x908
72#define PCIE_ATU_ENABLE BIT(31)
73#define PCIE_ATU_BAR_MODE_ENABLE BIT(30)
74#define PCIE_ATU_LOWER_BASE 0x90C
75#define PCIE_ATU_UPPER_BASE 0x910
76#define PCIE_ATU_LIMIT 0x914
77#define PCIE_ATU_LOWER_TARGET 0x918
78#define PCIE_ATU_BUS(x) FIELD_PREP(GENMASK(31, 24), x)
79#define PCIE_ATU_DEV(x) FIELD_PREP(GENMASK(23, 19), x)
80#define PCIE_ATU_FUNC(x) FIELD_PREP(GENMASK(18, 16), x)
81#define PCIE_ATU_UPPER_TARGET 0x91C
82
83#define PCIE_MISC_CONTROL_1_OFF 0x8BC
84#define PCIE_DBI_RO_WR_EN BIT(0)
85
86
87
88
89
90#define PCIE_ATU_UNR_REGION_CTRL1 0x00
91#define PCIE_ATU_UNR_REGION_CTRL2 0x04
92#define PCIE_ATU_UNR_LOWER_BASE 0x08
93#define PCIE_ATU_UNR_UPPER_BASE 0x0C
94#define PCIE_ATU_UNR_LIMIT 0x10
95#define PCIE_ATU_UNR_LOWER_TARGET 0x14
96#define PCIE_ATU_UNR_UPPER_TARGET 0x18
97
98
99
100
101
102
103
104#define DEFAULT_DBI_ATU_OFFSET (0x3 << 20)
105
106
107#define PCIE_GET_ATU_OUTB_UNR_REG_OFFSET(region) \
108 ((region) << 9)
109
110#define PCIE_GET_ATU_INB_UNR_REG_OFFSET(region) \
111 (((region) << 9) | BIT(8))
112
113#define MAX_MSI_IRQS 256
114#define MAX_MSI_IRQS_PER_CTRL 32
115#define MAX_MSI_CTRLS (MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
116#define MSI_REG_CTRL_BLOCK_SIZE 12
117#define MSI_DEF_NUM_VECTORS 32
118
119
120#define MAX_IATU_IN 256
121#define MAX_IATU_OUT 256
122
123struct pcie_port;
124struct dw_pcie;
125struct dw_pcie_ep;
126
127enum dw_pcie_region_type {
128 DW_PCIE_REGION_UNKNOWN,
129 DW_PCIE_REGION_INBOUND,
130 DW_PCIE_REGION_OUTBOUND,
131};
132
133enum dw_pcie_device_mode {
134 DW_PCIE_UNKNOWN_TYPE,
135 DW_PCIE_EP_TYPE,
136 DW_PCIE_LEG_EP_TYPE,
137 DW_PCIE_RC_TYPE,
138};
139
140struct dw_pcie_host_ops {
141 int (*rd_own_conf)(struct pcie_port *pp, int where, int size, u32 *val);
142 int (*wr_own_conf)(struct pcie_port *pp, int where, int size, u32 val);
143 int (*rd_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
144 unsigned int devfn, int where, int size, u32 *val);
145 int (*wr_other_conf)(struct pcie_port *pp, struct pci_bus *bus,
146 unsigned int devfn, int where, int size, u32 val);
147 int (*host_init)(struct pcie_port *pp);
148 void (*msi_set_irq)(struct pcie_port *pp, int irq);
149 void (*msi_clear_irq)(struct pcie_port *pp, int irq);
150 phys_addr_t (*get_msi_addr)(struct pcie_port *pp);
151 u32 (*get_msi_data)(struct pcie_port *pp, int pos);
152 void (*scan_bus)(struct pcie_port *pp);
153 void (*set_num_vectors)(struct pcie_port *pp);
154 int (*msi_host_init)(struct pcie_port *pp);
155 void (*msi_irq_ack)(int irq, struct pcie_port *pp);
156};
157
158struct pcie_port {
159 u8 root_bus_nr;
160 u64 cfg0_base;
161 void __iomem *va_cfg0_base;
162 u32 cfg0_size;
163 u64 cfg1_base;
164 void __iomem *va_cfg1_base;
165 u32 cfg1_size;
166 resource_size_t io_base;
167 phys_addr_t io_bus_addr;
168 u32 io_size;
169 u64 mem_base;
170 phys_addr_t mem_bus_addr;
171 u32 mem_size;
172 struct resource *cfg;
173 struct resource *io;
174 struct resource *mem;
175 struct resource *busn;
176 int irq;
177 const struct dw_pcie_host_ops *ops;
178 int msi_irq;
179 struct irq_domain *irq_domain;
180 struct irq_domain *msi_domain;
181 dma_addr_t msi_data;
182 u32 num_vectors;
183 u32 irq_mask[MAX_MSI_CTRLS];
184 raw_spinlock_t lock;
185 DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS);
186};
187
188enum dw_pcie_as_type {
189 DW_PCIE_AS_UNKNOWN,
190 DW_PCIE_AS_MEM,
191 DW_PCIE_AS_IO,
192};
193
194struct dw_pcie_ep_ops {
195 void (*ep_init)(struct dw_pcie_ep *ep);
196 int (*raise_irq)(struct dw_pcie_ep *ep, u8 func_no,
197 enum pci_epc_irq_type type, u16 interrupt_num);
198 const struct pci_epc_features* (*get_features)(struct dw_pcie_ep *ep);
199};
200
201struct dw_pcie_ep {
202 struct pci_epc *epc;
203 struct dw_pcie_ep_ops *ops;
204 phys_addr_t phys_base;
205 size_t addr_size;
206 size_t page_size;
207 u8 bar_to_atu[6];
208 phys_addr_t *outbound_addr;
209 unsigned long *ib_window_map;
210 unsigned long *ob_window_map;
211 u32 num_ib_windows;
212 u32 num_ob_windows;
213 void __iomem *msi_mem;
214 phys_addr_t msi_mem_phys;
215 u8 msi_cap;
216 u8 msix_cap;
217};
218
219struct dw_pcie_ops {
220 u64 (*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr);
221 u32 (*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
222 size_t size);
223 void (*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
224 size_t size, u32 val);
225 int (*link_up)(struct dw_pcie *pcie);
226 int (*start_link)(struct dw_pcie *pcie);
227 void (*stop_link)(struct dw_pcie *pcie);
228};
229
230struct dw_pcie {
231 struct device *dev;
232 void __iomem *dbi_base;
233 void __iomem *dbi_base2;
234
235 void __iomem *atu_base;
236 u32 num_viewport;
237 u8 iatu_unroll_enabled;
238 struct pcie_port pp;
239 struct dw_pcie_ep ep;
240 const struct dw_pcie_ops *ops;
241};
242
243#define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
244
245#define to_dw_pcie_from_ep(endpoint) \
246 container_of((endpoint), struct dw_pcie, ep)
247
248int dw_pcie_read(void __iomem *addr, int size, u32 *val);
249int dw_pcie_write(void __iomem *addr, int size, u32 val);
250
251u32 __dw_pcie_read_dbi(struct dw_pcie *pci, void __iomem *base, u32 reg,
252 size_t size);
253void __dw_pcie_write_dbi(struct dw_pcie *pci, void __iomem *base, u32 reg,
254 size_t size, u32 val);
255int dw_pcie_link_up(struct dw_pcie *pci);
256int dw_pcie_wait_for_link(struct dw_pcie *pci);
257void dw_pcie_prog_outbound_atu(struct dw_pcie *pci, int index,
258 int type, u64 cpu_addr, u64 pci_addr,
259 u32 size);
260int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int bar,
261 u64 cpu_addr, enum dw_pcie_as_type as_type);
262void dw_pcie_disable_atu(struct dw_pcie *pci, int index,
263 enum dw_pcie_region_type type);
264void dw_pcie_setup(struct dw_pcie *pci);
265
266static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val)
267{
268 __dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x4, val);
269}
270
271static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg)
272{
273 return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x4);
274}
275
276static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val)
277{
278 __dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x2, val);
279}
280
281static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg)
282{
283 return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x2);
284}
285
286static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val)
287{
288 __dw_pcie_write_dbi(pci, pci->dbi_base, reg, 0x1, val);
289}
290
291static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg)
292{
293 return __dw_pcie_read_dbi(pci, pci->dbi_base, reg, 0x1);
294}
295
296static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val)
297{
298 __dw_pcie_write_dbi(pci, pci->dbi_base2, reg, 0x4, val);
299}
300
301static inline u32 dw_pcie_readl_dbi2(struct dw_pcie *pci, u32 reg)
302{
303 return __dw_pcie_read_dbi(pci, pci->dbi_base2, reg, 0x4);
304}
305
306static inline void dw_pcie_writel_atu(struct dw_pcie *pci, u32 reg, u32 val)
307{
308 __dw_pcie_write_dbi(pci, pci->atu_base, reg, 0x4, val);
309}
310
311static inline u32 dw_pcie_readl_atu(struct dw_pcie *pci, u32 reg)
312{
313 return __dw_pcie_read_dbi(pci, pci->atu_base, reg, 0x4);
314}
315
316static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci)
317{
318 u32 reg;
319 u32 val;
320
321 reg = PCIE_MISC_CONTROL_1_OFF;
322 val = dw_pcie_readl_dbi(pci, reg);
323 val |= PCIE_DBI_RO_WR_EN;
324 dw_pcie_writel_dbi(pci, reg, val);
325}
326
327static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci)
328{
329 u32 reg;
330 u32 val;
331
332 reg = PCIE_MISC_CONTROL_1_OFF;
333 val = dw_pcie_readl_dbi(pci, reg);
334 val &= ~PCIE_DBI_RO_WR_EN;
335 dw_pcie_writel_dbi(pci, reg, val);
336}
337
338#ifdef CONFIG_PCIE_DW_HOST
339irqreturn_t dw_handle_msi_irq(struct pcie_port *pp);
340void dw_pcie_msi_init(struct pcie_port *pp);
341void dw_pcie_free_msi(struct pcie_port *pp);
342void dw_pcie_setup_rc(struct pcie_port *pp);
343int dw_pcie_host_init(struct pcie_port *pp);
344int dw_pcie_allocate_domains(struct pcie_port *pp);
345#else
346static inline irqreturn_t dw_handle_msi_irq(struct pcie_port *pp)
347{
348 return IRQ_NONE;
349}
350
351static inline void dw_pcie_msi_init(struct pcie_port *pp)
352{
353}
354
355static inline void dw_pcie_free_msi(struct pcie_port *pp)
356{
357}
358
359static inline void dw_pcie_setup_rc(struct pcie_port *pp)
360{
361}
362
363static inline int dw_pcie_host_init(struct pcie_port *pp)
364{
365 return 0;
366}
367
368static inline int dw_pcie_allocate_domains(struct pcie_port *pp)
369{
370 return 0;
371}
372#endif
373
374#ifdef CONFIG_PCIE_DW_EP
375void dw_pcie_ep_linkup(struct dw_pcie_ep *ep);
376int dw_pcie_ep_init(struct dw_pcie_ep *ep);
377void dw_pcie_ep_exit(struct dw_pcie_ep *ep);
378int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no);
379int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
380 u8 interrupt_num);
381int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
382 u16 interrupt_num);
383void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar);
384#else
385static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep)
386{
387}
388
389static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep)
390{
391 return 0;
392}
393
394static inline void dw_pcie_ep_exit(struct dw_pcie_ep *ep)
395{
396}
397
398static inline int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no)
399{
400 return 0;
401}
402
403static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
404 u8 interrupt_num)
405{
406 return 0;
407}
408
409static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
410 u16 interrupt_num)
411{
412 return 0;
413}
414
415static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)
416{
417}
418#endif
419#endif
420
