Nu se poate detecta dispozitivul CUDA după repornirea Google Cloud Notebook

Această problemă s-a întâmplat când am repornit serverul meu de notebook în cloud astăzi. Poate fi reprodus folosind pașii de mai jos:

1. Creați un server Google Cloud Notebook cu Tensorflow sau Pytorch și GPU

2. După pornirea serverului, deschideți consola Python:

>>> import lanternă
>>> torch.cuda.is_available()
Adevărat

Dispozitivul CUDA este disponibil până acum.

3. Reporniți serverul și deschideți din nou blocnotesul.

>>> import lanternă
>>> torch.cuda.is_available()
/opt/conda/lib/python3.7/site-packages/torch/cuda/__init__.py:52: UserWarning: Inițializare CUDA: eroare CUDA necunoscută - aceasta se poate datora unui mediu configurat incorect, de ex. modificarea variabilei de mediu CUDA_VISIBLE_DEVICES după pornirea programului. Setarea dispozitivelor disponibile la zero. (Declanșat intern la /opt/conda/conda-bld/pytorch_1614378098133/work/c10/cuda/CUDAFunctions.cpp:109.)
  return torch._C._cuda_getDeviceCount() > 0
Fals

nvidia-smi comanda merge bine.

+--------------------------------------------- ----------------------------+
| Versiunea driverului NVIDIA-SMI 450.80.02: 450.80.02 Versiune CUDA: 11.0 |
|-------------------------------+------------------ -----+----------------------+
| Persistența numelui GPU-M| Autobuz-Id Disp.A | Volatil Uncorr. ECC |
| Fan Temp Perf Pwr:Utilizare/Cap| Utilizarea memoriei | GPU-Util Compute M. |
| | | MIG M. |
|================================+================== =====+=======================|
| 0 Tesla T4 oprit | 00000000:00:04.0 Dezactivat | 0 |
| N/A 43C P0 16W / 70W | 0MiB / 15109MiB | 0% Implicit |
| | | N/A |
+-------------------------------+----------------- -----+----------------------+
                                                                               
+--------------------------------------------- ----------------------------+
| Procese: |
| GPU GI CI Tip PID Nume proces Memorie GPU |
| ID ID Utilizare |
|=================================================== =============================|
| Nu s-au găsit procese care rulează |
+--------------------------------------------- ----------------------------+

nvcc: driver de compilator NVIDIA (R) Cuda
Drepturi de autor (c) 2005-2020 NVIDIA Corporation
Construit pe Thu_Jun_11_22:26:38_PDT_2020
Instrumente de compilare Cuda, versiunea 11.0, V11.0.194
Build cuda_11.0_bu.TC445_37.28540450_0

Această problemă poate fi reprodusă și prin utilizarea TensorFlow. Cum să remediați acest tip de caz?

Opțiunea 1:
Actualizați mediul unei instanțe Notebooks. Consultați legătură pentru a actualiza.
Instanțele de notebook-uri care pot fi actualizate sunt cu două discuri, cu un disc de pornire și un disc de date. Procesul de actualizare actualizează discul de pornire la o nouă imagine, păstrând în același timp datele pe discul de date.

Opțiunea 2:
Conectați-vă la VM pentru notebook prin SSH și executați comenzile legătură.
După executarea comenzilor, versiunea cuda se va actualiza la 11.3, iar versiunea driverului nvidia la 465.19.01.
Reporniți VM-ul notebook-ului.

Notă: Problema a fost rezolvată în imaginile GPU. Noi notebook-uri vor fi create cu versiunea imagine M74. Despre noua versiune a imaginii nu este încă actualizată în google-public-issue-tracker dar puteți găsi noua versiune de imagine M74 în consolă.