Am un HBA atașat într-un slot PCI de 8x, totuși, se afișează ca x4 (degradat). În plus, pare să fie dezactivat. Presupun că aceste lucruri nu sunt normale și motivul pentru care configurația mea nu funcționează. Încerc să depanez cauza și să fac cardul HBA să funcționeze cu carcasa mea JBOD. În prezent, cablurile SAS sunt de vină și presupun că HBA este de vină.
Fundal suplimentar
Notă: am 8 stick-uri de ram, câte 1 pentru fiecare canal al CPU_0. Altele 24
sloturile sunt goale. Observ că nu sunt sigur dacă acest lucru poate avea un efect.
Găsesc cardul meu HBA
Adaptor magistrală gazdă SAS 9305-16e
root@EPY00:~# lspci | grep -i larg
c1:00.0 Controler SCSI atașat în serie: Broadcom / LSI SAS3216 PCI-Express Fusion-MPT SAS-3 (rev 01)
Caut pe dmesg cardul meu HBA. Observând că cardul meu este limitat. Nu sunt sigur de ce.
root@EPY00:~# dmesg | grep c1:00.0
[ 2.337229] pci 0000:c1:00.0: [1000:00c9] tip 00 clasa 0x010700
[ 2.337241] pci 0000:c1:00.0: reg 0x10: [io 0xd000-0xd0ff]
[ 2.337252] pci 0000:c1:00.0: reg 0x14: [mem 0x9c100000-0x9c10ffff 64bit]
[ 2.337274] pci 0000:c1:00.0: reg 0x30: [mem 0x9c000000-0x9c0fffff pref]
[ 2.337361] pci 0000:c1:00.0: acceptă D1 D2
[ 2.337410] pci 0000:c1:00.0: 31.504 Gb/s lățime de bandă PCIe disponibilă, limitată de 8.0 GT/s PCIe x4 link la 0000:c0:01.1 (capabil de 63.008 Gb/s cu legături PCIe 8.0 GT/s)
[ 2.780056] pci 0000:c1:00.0: Adăugarea la grupul iommu 87
[ 4.159479] mpt3sas 0000:c1:00.0: dispozitiv de activare (0000 -> 0002)
Observând legătura. Văd că linkul este downgrade. Nu sunt sigur ce înseamnă asta. Bănuiți că aceasta poate fi problema principală?
root@EPY00:~# lspci -vv -s 0000:c0:01.1
c0:01.1 Punte PCI: Advanced Micro Devices, Inc. [AMD] Podul GPP Starship/Matisse (prog-if 00 [Decodare normală])
Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
Stare: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=rapid >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
Latență: 0, Dimensiunea liniei cache: 64 de octeți
Întreruperea: pin ? direcționat către IRQ 70
Nodul NUMA: 1
Grupul IOMMU: 87
Bus: primar=c0, secundar=c1, subordonat=c1, sec-latency=0
I/O în spatele podului: 0000d000-0000dfff [dimensiune=4K]
Memorie în spatele podului: 9c000000-9c1fffff [dimensiune=2M]
Memorie preîncărcabilă în spatele bridge-ului: [dezactivat]
Stare secundară: 66MHz- FastB2B- ParErr- DEVSEL=rapid >TAbort- <TAbort- <MAbort+ <SERR- <PERR-
BridgeCtl: Paritate- SERR+ NoISA- VGA- VGA16+ MAbort- >Reset- FastB2B-
PriDiscTmr- SecDiscTmr- DiscTmrStat- DiscTmrSERREn-
Capabilități: [50] Power Management versiunea 3
Indicatori: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
Stare: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-
Capabilități: [58] Express (v2) Port rădăcină (Slot+), MSI 00
DevCap: MaxPayload 512 octeți, PhantFunc 0
ExtTag+ RBE+
DevCtl: CorrErr+ NonFatalErr+ FatalErr+ UnsupReq-
RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+
MaxPayload 512 octeți, MaxReadReq 512 octeți
DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
LnkCap: Port #0, viteză 16GT/s, lățime x8, ASPM L1, latență de ieșire L1 <64us
ClockPM- Surprise- LLActRep+ BwNot+ ASPMOptComp+
LnkCtl: ASPM dezactivat; RCB 64 de octeți, Dezactivat- CommClk+
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: viteză 8GT/s (degradată), lățime x4 (degradată)
TrErr- Train- SlotClk+ DLActive+ BWMgmt+ ABWMgmt-
SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug- Surprise-
Slot #3, PowerLimit 75.000W; Interlock- NoCompl+
SltCtl: Activare: AttnBtn- PwrFlt- MRL- PresDet- CmdCplt- HPIrq- LinkChg-
Control: AttnInd Unknown, PwrInd Unknown, Power- Interlock-
SltSta: Stare: AttnBtn- PowerFlt- MRL- CmdCplt- PresDet+ Interlock-
Modificat: MRL- PresDet- LinkState-
RootCap: CRSVisible+
RootCtl: ErrCorrectable- ErrNon-Fatal- ErrFatal- PMEIntEna+ CRSVisible+
RootSta: PME ReqID 0000, PMEstatus- PMEPending-
DevCap2: Timeout de finalizare: interval ABCD, TimeoutDis+ NROPrPrP- LTR-
10BitTagComp- 10BitTagReq- OBFF neacceptat, ExtFmt+ EETLPPrefix+, MaxEETLPPrefixes 1
EmergencyPowerReduction nu este acceptat, EmergencyPowerReductionInit-
Sistemul FRS- LN CLS nu este acceptat, TPHComp- ExtTPHComp- ARIFwd+
AtomicOpsCap: rutare - 32 de biți + 64 de biți + 128 de biți CAS -
DevCtl2: Timeout de finalizare: 65ms până la 210ms, TimeoutDis- LTR- OBFF Disabled, ARIFwd+
AtomicOpsCtl: ReqEn- EgressBlck-
LnkCap2: Viteze de legătură acceptate: 2,5-16GT/s, Crosslink- Retimer+ 2Retimer+ DRS-
LnkCtl2: Viteza legăturii țintă: 16GT/s, EnterCompliance- SpeedDis-
Marja de transmitere: Interval de operare normal, EnterModifiedCompliance- ComplianceSOS-
Conformitate De-accent: -6dB
LnkSta2: Nivel curent de de-accentuare: -3,5 dB, EqualizationComplete+ EqualizationPhase1+
EqualizationPhase2+ EqualizationPhase3+ LinkEqualizationRequest-
Retimer- 2Retimers- CrosslinkRes: neacceptat
Capabilități: [a0] MSI: Enable+ Count=1/1 Maskable- 64bit+
Adresă: 00000000fee00000 Date: 0000
Capabilități: [c0] Subsistem: Gigabyte Technology Co., Ltd Starship/Matisse GPP Bridge
Capabilități: [c8] HyperTransport: MSI Mapping Enable+ Fixed+
Capabilități: [100 v1] Informații specifice furnizorului: ID=0001 Rev=1 Len=010 <?>
Capabilități: [270 v1] PCI Express secundar
LnkCtl3: LnkEquIntrruptEn- PerformEqu-
LaneErrStat: 0
Capabilități: [370 v1] L1 PM Substate
L1SubCap: PCI-PM_L1.2- PCI-PM_L1.1+ ASPM_L1.2- ASPM_L1.1+ L1_PM_Substates+
L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
L1SubCtl2:
Capabilități: [380 v1] Reținere a portului în aval
DpcCap: INT Msg #0, RPExt+ PoisonedTLP+ SwTrigger+ RP PIO Log 6, DL_ActiveErr+
DpcCtl: Trigger:0 Cmpl- INT- ErrCor- PoisonedTLP- SwTrigger- DL_ActiveErr-
DpcSta: Trigger- Reason:00 INT- RPBusy- TriggerExt:00 RP PIO ErrPtr:1f
Sursa: 0000
Capabilități: [400 v1] Funcția de legătură de date <?>
Capabilități: [410 v1] Strat fizic 16.0 GT/s <?>
Capabilități: [440 v1] Marginea benzii la receptor <?>
Driver kernel în uz: pcieport
Posibil fără legătură, dar a observat și următoarele.
root@EPY00:~# dmesg | grep -i pci | grep -i bar
[ 2.314469] pci 0000:63:00.0: VF(n) BAR0 spațiu: [mem 0x18090f60000-0x18090f7ffff 64bit pref] (conține BAR0 pentru 8 VF)
[ 2.314469] pci 0000:63:00.0: VF(n) BAR3 spațiu: [mem 0x18090f40000-0x18090f5ffff 64bit pref] (conține BAR3 pentru 8 VF)
[ 2.314648] pci 0000:63:00.1: VF(n) BAR0 spațiu: [mem 0x18090f20000-0x18090f3ffff 64bit pref] (conține BAR0 pentru 8 VF)
[ 2.314668] pci 0000:63:00.1: VF(n) BAR3 spațiu: [mem 0x18090f00000-0x18090f1ffff 64bit pref] (conține BAR3 pentru 8 VF)
[ 2.326651] pci 0000:66:00.0: BAR 0: atribuit efifb
[ 2.381614] pci 0000:00:01.1: BAR 14: atribuit [mem 0xf6000000-0xf61fffff]
[ 2.381616] pci 0000:00:01.1: BAR 15: atribuit [mem 0x300f1000000-0x300f11fffff 64bit pref]
[ 2.381617] pci 0000:00:01.2: BAR 14: atribuit [mem 0xf6200000-0xf63fffff]
[ 2.381619] pci 0000:00:01.2: BAR 15: atribuit [mem 0x300f1200000-0x300f13fffff 64bit pref]
[ 2.381622] pci 0000:00:01.1: BAR 13: atribuit [io 0x1000-0x1fff]
[ 2.381623] pci 0000:00:01.2: BAR 13: atribuit [io 0x2000-0x2fff]
[ 2.381826] pci 0000:60:03.1: BAR 15: atribuit [mem 0x10091000000-0x100911fffff 64bit pref]
[ 2.381828] pci 0000:60:03.2: BAR 15: atribuit [mem 0x10091200000-0x100913fffff 64bit pref]
[ 2.381829] pci 0000:60:03.1: BAR 13: nu există spațiu pentru [dimensiunea io 0x1000]
[ 2.381830] pci 0000:60:03.1: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
[ 2.381831] pci 0000:60:03.2: BAR 13: nu există spațiu pentru [dimensiunea io 0x1000]
[ 2.381832] pci 0000:60:03.2: BAR 13: nu s-a putut atribui [io dimensiune 0x1000]
[ 2.381833] pci 0000:60:03.2: BAR 13: nu există spațiu pentru [dimensiunea io 0x1000]
[ 2.381834] pci 0000:60:03.2: BAR 13: nu s-a alocat [dimensiunea io 0x1000]
[ 2.381835] pci 0000:60:03.1: BAR 13: nu există spațiu pentru [io dimensiune 0x1000]
[ 2.381835] pci 0000:60:03.1: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
[ 2.381947] pci 0000:80:01.1: BAR 14: atribuit [mem 0x90000000-0x901fffff]
[ 2.381949] pci 0000:80:01.1: BAR 15: atribuit [mem 0x581b1000000-0x581b11fffff 64bit pref]
[ 2.381949] pci 0000:80:01.2: BAR 14: atribuit [mem 0x90200000-0x903fffff]
[ 2.381951] pci 0000:80:01.2: BAR 15: atribuit [mem 0x581b1200000-0x581b13fffff 64bit pref]
[ 2.381952] pci 0000:80:01.1: BAR 13: atribuit [io 0x9000-0x9fff]
[ 2.381952] pci 0000:80:01.2: BAR 13: atribuit [io 0xa000-0xaff]
[ 2.382039] pci 0000:a0:03.1: BAR 15: atribuit [mem 0x501b1000000-0x501b11fffff 64bit pref]
[ 2.382040] pci 0000:a0:03.2: BAR 15: atribuit [mem 0x501b1200000-0x501b13fffff 64bit pref]
[ 2.382041] pci 0000:a0:03.3: BAR 14: atribuit [mem 0x96000000-0x961fffff]
[ 2.382042] pci 0000:a0:03.3: BAR 15: atribuit [mem 0x501b1400000-0x501b15fffff 64bit pref]
[ 2.382043] pci 0000:a0:03.4: BAR 14: atribuit [mem 0x96200000-0x963fffff]
[ 2.382044] pci 0000:a0:03.4: BAR 15: atribuit [mem 0x501b1600000-0x501b17fffff 64bit pref]
[ 2.382045] pci 0000:a0:03.1: BAR 13: atribuit [io 0xc000-0xcfff]
[ 2.382046] pci 0000:a0:03.2: BAR 13: nu există spațiu pentru [io dimensiune 0x1000]
[ 2.382046] pci 0000:a0:03.2: BAR 13: nu s-a atribuit [dimensiunea io 0x1000]
[ 2.382047] pci 0000:a0:03.3: BAR 13: nu există spațiu pentru [dimensiunea io 0x1000]
[ 2.382048] pci 0000:a0:03.3: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
[ 2.382049] pci 0000:a0:03.4: BAR 13: nu există spațiu pentru [io dimensiune 0x1000]
[ 2.382049] pci 0000:a0:03.4: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
[ 2.382051] pci 0000:a0:03.4: BAR 13: atribuit [io 0xc000-0xcfff]
[ 2.382052] pci 0000:a0:03.3: BAR 13: nu există spațiu pentru [dimensiunea io 0x1000]
[ 2.382053] pci 0000:a0:03.3: BAR 13: nu s-a atribuit [dimensiunea io 0x1000]
[ 2.382054] pci 0000:a0:03.2: BAR 13: nu există spațiu pentru [dimensiunea io 0x1000]
[ 2.382054] pci 0000:a0:03.2: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
[ 2.382055] pci 0000:a0:03.1: BAR 13: nu există spațiu pentru [dimensiunea io 0x1000]
[ 2.382056] pci 0000:a0:03.1: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
[ 2.382218] pci 0000:e0:03.1: BAR 14: atribuit [mem 0xa0000000-0xa01fffff]
[ 2.382219] pci 0000:e0:03.1: BAR 15: atribuit [mem 0x40151000000-0x401511fffff 64bit pref]
[ 2.382220] pci 0000:e0:03.2: BAR 14: atribuit [mem 0xa0200000-0xa03fffff]
[ 2.382222] pci 0000:e0:03.2: BAR 15: atribuit [mem 0x40151200000-0x401513fffff 64bit pref]
[ 2.382222] pci 0000:e0:03.1: BAR 13: atribuit [io 0xe000-0xefff]
[ 2.382223] pci 0000:e0:03.2: BAR 13: nu există spațiu pentru [io dimensiune 0x1000]
[ 2.382224] pci 0000:e0:03.2: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
[ 2.382225] pci 0000:e0:03.2: BAR 13: atribuit [io 0xe000-0xefff]
[ 2.382226] pci 0000:e0:03.1: BAR 13: nu există spațiu pentru [io dimensiune 0x1000]
[ 2.382227] pci 0000:e0:03.1: BAR 13: nu s-a putut atribui [dimensiunea io 0x1000]
Comandă bonus la șofer
root@EPY00:~# modinfo mpt3sas
nume de fișier: /lib/modules/5.10.0-9-amd64/kernel/drivers/scsi/mpt3sas/mpt3sas.ko
alias: mpt2sas
versiunea: 35.100.00.00
licență: GPL
descriere: Driver de dispozitiv LSI MPT Fusion SAS 3.0
autor: Avago Technologies <[email protected]>
Versiunea src: 2D6BBDB9CE0F1B2FA0B159D
alias: pci:v00001000d000000E7sv*sd*bc*sc*i*
alias: pci:v00001000d000000E4sv*sd*bc*sc*i*
alias: pci:v00001000d000000E6sv*sd*bc*sc*i*
alias: pci:v00001000d000000E5sv*sd*bc*sc*i*
alias: pci:v00001000d000000B2sv*sd*bc*sc*i*
alias: pci:v00001000d000000E3sv*sd*bc*sc*i*
alias: pci:v00001000d000000E0sv*sd*bc*sc*i*
alias: pci:v00001000d000000E2sv*sd*bc*sc*i*
alias: pci:v00001000d000000E1sv*sd*bc*sc*i*
alias: pci:v00001000d000000D1sv*sd*bc*sc*i*
alias: pci:v00001000d000000ACsv*sd*bc*sc*i*
alias: pci:v00001000d000000ABsv*sd*bc*sc*i*
alias: pci:v00001000d000000AAsv*sd*bc*sc*i*
alias: pci:v00001000d000000AFsv*sd*bc*sc*i*
alias: pci:v00001000d000000AEsv*sd*bc*sc*i*
alias: pci:v00001000d000000ADsv*sd*bc*sc*i*
alias: pci:v00001000d000000C3sv*sd*bc*sc*i*
alias: pci:v00001000d000000C2sv*sd*bc*sc*i*
alias: pci:v00001000d000000C1sv*sd*bc*sc*i*
alias: pci:v00001000d000000C0sv*sd*bc*sc*i*
alias: pci:v00001000d000000C8sv*sd*bc*sc*i*
alias: pci:v00001000d000000C7sv*sd*bc*sc*i*
alias: pci:v00001000d000000C6sv*sd*bc*sc*i*
alias: pci:v00001000d000000C5sv*sd*bc*sc*i*
alias: pci:v00001000d000000C4sv*sd*bc*sc*i*
alias: pci:v00001000d000000C9sv*sd*bc*sc*i*
alias: pci:v00001000d00000095sv*sd*bc*sc*i*
alias: pci:v00001000d00000094sv*sd*bc*sc*i*
alias: pci:v00001000d00000091sv*sd*bc*sc*i*
alias: pci:v00001000d00000090sv*sd*bc*sc*i*
alias: pci:v00001000d00000097sv*sd*bc*sc*i*
alias: pci:v00001000d00000096sv*sd*bc*sc*i*
alias: pci:v00001000d0000007Esv*sd*bc*sc*i*
alias: pci:v00001000d000002B1sv*sd*bc*sc*i*
alias: pci:v00001000d000002B0sv*sd*bc*sc*i*
alias: pci:v00001000d0000006Esv*sd*bc*sc*i*
alias: pci:v00001000d00000087sv*sd*bc*sc*i*
alias: pci:v00001000d00000086sv*sd*bc*sc*i*
alias: pci:v00001000d00000085sv*sd*bc*sc*i*
alias: pci:v00001000d00000084sv*sd*bc*sc*i*
alias: pci:v00001000d00000083sv*sd*bc*sc*i*
alias: pci:v00001000d00000082sv*sd*bc*sc*i*
alias: pci:v00001000d00000081sv*sd*bc*sc*i*
alias: pci:v00001000d00000080sv*sd*bc*sc*i*
alias: pci:v00001000d00000065sv*sd*bc*sc*i*
alias: pci:v00001000d00000064sv*sd*bc*sc*i*
alias: pci:v00001000d00000077sv*sd*bc*sc*i*
alias: pci:v00001000d00000076sv*sd*bc*sc*i*
alias: pci:v00001000d00000074sv*sd*bc*sc*i*
alias: pci:v00001000d00000072sv*sd*bc*sc*i*
alias: pci:v00001000d00000070sv*sd*bc*sc*i*
depinde de: scsi_mod,scsi_transport_sas,raid_class
retpolină: Y
intree: Y
nume: mpt3sas
vermagic: 5.10.0-9-amd64 SMP mod_unload modversions
sig_id: PKCS#7
semnatar: Debian Secure Boot CA
sig_key: 4B:6E:F5:AB:CA:66:98:25:17:8E:05:2C:84:66:7C:CB:C0:53:1F:8C
sig_hashalgo: sha256
semnătură: 96:D9:EB:25:37:10:96:E1:BD:55:F1:66:9C:87:2A:C1:E8:B1:9A:A1:
28:42:A8:DD:EF:25:B8:DF:BA:1D:B2:FC:E5:45:42:6D:DC:2B:77:02:
6A:55:29:F0:08:04:3E:A2:42:53:1E:F8:F0:EF:07:4F:D0:F4:74:93:
35:3E:E3:1E:AC:01:25:0F:87:4D:94:71:B1:6D:1C:4B:10:EF:C3:6E:
BA:B5:58:37:19:CC:35:99:CB:1C:00:35:60:4A:39:CA:8E:53:99:40:
3C:03:FE:4A:FE:44:2E:72:F6:F3:62:FC:89:CA:4A:88:C3:83:A6:D2:
66:56:47:FA:FC:47:1D:F7:E1:FB:2D:A9:DD:E2:E2:B8:BC:19:A7:64:
51:99:36:FD:53:6A:40:5B:75:A3:03:57:4E:6C:03:62:D1:BC:68:31:
E2:52:71:75:69:92:E4:72:BB:21:7E:F5:D3:E4:27:1C:95:25:36:00:
8E:63:02:CB:D3:4E:9B:03:D2:A7:A0:BD:43:93:3C:32:E0:F1:8D:E9:
EA:D0:6B:56:1B:C6:61:43:97:4B:EB:57:B7:1D:FB:EA:4B:5F:DA:1E:
A1:9F:9E:E3:C8:7A:6F:4A:A5:82:7C:51:05:78:4E:25:BF:74:4E:A6:
FC:86:1C:CD:52:37:D5:9E:83:41:C9:0F:1A:5D:1C:EB
parm: logging_level: biți pentru activarea informațiilor suplimentare de înregistrare (implicit=0)
parm: max_sectors:max sectors, interval de la 64 la 32767 implicit=32767 (ushort)
parm: missing_delay: dispozitiv lipsă întârziere, io lipsă întârziere (matrice de int)
parm: max_lun: max lun, default=16895 (ullong)
parm: hbas_to_enumerate: 0 - enumeră atât HBA-uri de generație SAS 2.0, cât și SAS 3.0
1 - enumerează numai HBA-uri de generație SAS 2.0
2 - enumerează numai HBA-uri de generație SAS 3.0 (implicit=0) (ushort)
parm: diag_buffer_enable: buffer-uri post diag (TRACE=1/SNAPSHOT=2/EXTENDED=4/default=0) (int)
parm: disable_discovery: dezactivare descoperire (int)
parm: prot_mask: masca capabilităților de protecție a gazdei, def=7 (int)
parm: enable_sdev_max_qd:Activați sdev max qd ca can_queue, def=disabled(0) (bool)
parm: max_queue_depth: adâncimea maximă a cozii controlerului (int)
parm: max_sgl_entries: max sg entries (int)
parm: msix_disable: dezactivați întreruperile direcționate msix (implicit=0) (int)
parm: smp_affinity_enable:Activare/dezactivare caracteristică de afinitate SMP Implicit: activare(1) (int)
parm: max_msix_vectors: max.msix vectori (int)
parm: irqpoll_weight:ponderea sondajului irq (implicit= o pătrime din adâncimea cozii HBA) (int)
parm: mpt3sas_fwfault_debug: activați detectarea defecțiunii firmware și opriți firmware-ul - (implicit=0)
parm: perf_mode:Mod de performanță (numai pentru Aero/Sea Generation), opțiuni:
0 - echilibrat: modul iops ridicat este activat și
coalescerea întreruperii este activată numai pe cozile de iops mari,
1 - iops: modul iops ridicat este dezactivat și
coalescerea întreruperii este activată pe toate cozile,
2 - latență: modul iops ridicat este dezactivat și
coalescerea întreruperii este activată pe toate cozile cu valoarea timeout 0xA,
implicit - perf_mode implicit este „echilibrat” (int)
