LXR linux/arch/powerpc/kernel/cpu_setup

   1// SPDX-License-Identifier: GPL-2.0-or-later
   2/*
   3 * Copyright 2020, Jordan Niethe, IBM Corporation.
   4 *
   5 * This file contains low level CPU setup functions.
   6 * Originally written in assembly by Benjamin Herrenschmidt & various other
   7 * authors.
   8 */
   9
  10#include <asm/reg.h>
  11#include <asm/synch.h>
  12#include <linux/bitops.h>
  13#include <asm/cputable.h>
  14#include <asm/cpu_setup_power.h>
  15
  16/* Disable CPU_FTR_HVMODE and return false if MSR:HV is not set */
  17static bool init_hvmode_206(struct cpu_spec *t)
  18{
  19        u64 msr;
  20
  21        msr = mfmsr();
  22        if (msr & MSR_HV)
  23                return true;
  24
  25        t->cpu_features &= ~(CPU_FTR_HVMODE | CPU_FTR_P9_TM_HV_ASSIST);
  26        return false;
  27}
  28
  29static void init_LPCR_ISA300(u64 lpcr, u64 lpes)
  30{
  31        /* POWER9 has no VRMASD */
  32        lpcr |= (lpes << LPCR_LPES_SH) & LPCR_LPES;
  33        lpcr |= LPCR_PECE0|LPCR_PECE1|LPCR_PECE2;
  34        lpcr |= (4ull << LPCR_DPFD_SH) & LPCR_DPFD;
  35        lpcr &= ~LPCR_HDICE;    /* clear HDICE */
  36        lpcr |= (4ull << LPCR_VC_SH);
  37        mtspr(SPRN_LPCR, lpcr);
  38        isync();
  39}
  40
  41/*
  42 * Setup a sane LPCR:
  43 *   Called with initial LPCR and desired LPES 2-bit value
  44 *
  45 *   LPES = 0b01 (HSRR0/1 used for 0x500)
  46 *   PECE = 0b111
  47 *   DPFD = 4
  48 *   HDICE = 0
  49 *   VC = 0b100 (VPM0=1, VPM1=0, ISL=0)
  50 *   VRMASD = 0b10000 (L=1, LP=00)
  51 *
  52 * Other bits untouched for now
  53 */
  54static void init_LPCR_ISA206(u64 lpcr, u64 lpes)
  55{
  56        lpcr |= (0x10ull << LPCR_VRMASD_SH) & LPCR_VRMASD;
  57        init_LPCR_ISA300(lpcr, lpes);
  58}
  59
  60static void init_FSCR(void)
  61{
  62        u64 fscr;
  63
  64        fscr = mfspr(SPRN_FSCR);
  65        fscr |= FSCR_TAR|FSCR_EBB;
  66        mtspr(SPRN_FSCR, fscr);
  67}
  68
  69static void init_FSCR_power9(void)
  70{
  71        u64 fscr;
  72
  73        fscr = mfspr(SPRN_FSCR);
  74        fscr |= FSCR_SCV;
  75        mtspr(SPRN_FSCR, fscr);
  76        init_FSCR();
  77}
  78
  79static void init_FSCR_power10(void)
  80{
  81        u64 fscr;
  82
  83        fscr = mfspr(SPRN_FSCR);
  84        fscr |= FSCR_PREFIX;
  85        mtspr(SPRN_FSCR, fscr);
  86        init_FSCR_power9();
  87}
  88
  89static void init_HFSCR(void)
  90{
  91        u64 hfscr;
  92
  93        hfscr = mfspr(SPRN_HFSCR);
  94        hfscr |= HFSCR_TAR|HFSCR_TM|HFSCR_BHRB|HFSCR_PM|HFSCR_DSCR|\
  95                 HFSCR_VECVSX|HFSCR_FP|HFSCR_EBB|HFSCR_MSGP;
  96        mtspr(SPRN_HFSCR, hfscr);
  97}
  98
  99static void init_PMU_HV(void)
 100{
 101        mtspr(SPRN_MMCRC, 0);
 102}
 103
 104static void init_PMU_HV_ISA207(void)
 105{
 106        mtspr(SPRN_MMCRH, 0);
 107}
 108
 109static void init_PMU(void)
 110{
 111        mtspr(SPRN_MMCRA, 0);
 112        mtspr(SPRN_MMCR0, 0);
 113        mtspr(SPRN_MMCR1, 0);
 114        mtspr(SPRN_MMCR2, 0);
 115}
 116
 117static void init_PMU_ISA207(void)
 118{
 119        mtspr(SPRN_MMCRS, 0);
 120}
 121
 122static void init_PMU_ISA31(void)
 123{
 124        mtspr(SPRN_MMCR3, 0);
 125        mtspr(SPRN_MMCRA, MMCRA_BHRB_DISABLE);
 126        mtspr(SPRN_MMCR0, MMCR0_PMCCEXT);
 127}
 128
 129/*
 130 * Note that we can be called twice of pseudo-PVRs.
 131 * The parameter offset is not used.
 132 */
 133
 134void __setup_cpu_power7(unsigned long offset, struct cpu_spec *t)
 135{
 136        if (!init_hvmode_206(t))
 137                return;
 138
 139        mtspr(SPRN_LPID, 0);
 140        mtspr(SPRN_PCR, PCR_MASK);
 141        init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
 142}
 143
 144void __restore_cpu_power7(void)
 145{
 146        u64 msr;
 147
 148        msr = mfmsr();
 149        if (!(msr & MSR_HV))
 150                return;
 151
 152        mtspr(SPRN_LPID, 0);
 153        mtspr(SPRN_PCR, PCR_MASK);
 154        init_LPCR_ISA206(mfspr(SPRN_LPCR), LPCR_LPES1 >> LPCR_LPES_SH);
 155}
 156
 157void __setup_cpu_power8(unsigned long offset, struct cpu_spec *t)
 158{
 159        init_FSCR();
 160        init_PMU();
 161        init_PMU_ISA207();
 162
 163        if (!init_hvmode_206(t))
 164                return;
 165
 166        mtspr(SPRN_LPID, 0);
 167        mtspr(SPRN_PCR, PCR_MASK);
 168        init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
 169        init_HFSCR();
 170        init_PMU_HV();
 171        init_PMU_HV_ISA207();
 172}
 173
 174void __restore_cpu_power8(void)
 175{
 176        u64 msr;
 177
 178        init_FSCR();
 179        init_PMU();
 180        init_PMU_ISA207();
 181
 182        msr = mfmsr();
 183        if (!(msr & MSR_HV))
 184                return;
 185
 186        mtspr(SPRN_LPID, 0);
 187        mtspr(SPRN_PCR, PCR_MASK);
 188        init_LPCR_ISA206(mfspr(SPRN_LPCR) | LPCR_PECEDH, 0); /* LPES = 0 */
 189        init_HFSCR();
 190        init_PMU_HV();
 191        init_PMU_HV_ISA207();
 192}
 193
 194void __setup_cpu_power9(unsigned long offset, struct cpu_spec *t)
 195{
 196        init_FSCR_power9();
 197        init_PMU();
 198
 199        if (!init_hvmode_206(t))
 200                return;
 201
 202        mtspr(SPRN_PSSCR, 0);
 203        mtspr(SPRN_LPID, 0);
 204        mtspr(SPRN_PID, 0);
 205        mtspr(SPRN_PCR, PCR_MASK);
 206        init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 207                         LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 208        init_HFSCR();
 209        init_PMU_HV();
 210}
 211
 212void __restore_cpu_power9(void)
 213{
 214        u64 msr;
 215
 216        init_FSCR_power9();
 217        init_PMU();
 218
 219        msr = mfmsr();
 220        if (!(msr & MSR_HV))
 221                return;
 222
 223        mtspr(SPRN_PSSCR, 0);
 224        mtspr(SPRN_LPID, 0);
 225        mtspr(SPRN_PID, 0);
 226        mtspr(SPRN_PCR, PCR_MASK);
 227        init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 228                         LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 229        init_HFSCR();
 230        init_PMU_HV();
 231}
 232
 233void __setup_cpu_power10(unsigned long offset, struct cpu_spec *t)
 234{
 235        init_FSCR_power10();
 236        init_PMU();
 237        init_PMU_ISA31();
 238
 239        if (!init_hvmode_206(t))
 240                return;
 241
 242        mtspr(SPRN_PSSCR, 0);
 243        mtspr(SPRN_LPID, 0);
 244        mtspr(SPRN_PID, 0);
 245        mtspr(SPRN_PCR, PCR_MASK);
 246        init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 247                         LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 248        init_HFSCR();
 249        init_PMU_HV();
 250}
 251
 252void __restore_cpu_power10(void)
 253{
 254        u64 msr;
 255
 256        init_FSCR_power10();
 257        init_PMU();
 258        init_PMU_ISA31();
 259
 260        msr = mfmsr();
 261        if (!(msr & MSR_HV))
 262                return;
 263
 264        mtspr(SPRN_PSSCR, 0);
 265        mtspr(SPRN_LPID, 0);
 266        mtspr(SPRN_PID, 0);
 267        mtspr(SPRN_PCR, PCR_MASK);
 268        init_LPCR_ISA300((mfspr(SPRN_LPCR) | LPCR_PECEDH | LPCR_PECE_HVEE |\
 269                         LPCR_HVICE | LPCR_HEIC) & ~(LPCR_UPRT | LPCR_HR), 0);
 270        init_HFSCR();
 271        init_PMU_HV();
 272}
 273