Dat $p,q$ a formei 4k $+3$, putem defini numere complexe mod $p$ sau mod $q$. Formularul garantează că $-1$ nu are rădăcină pătrată acolo, așa că lucrăm cu o extensie pătratică a $GF(p)$ și $GF(q)$, adică
$$GF(p^2) \simeq GF(p)[i]/(i^2+1)$$
și
$$GF(q^2) \simeq GF(q)[i]/(i^2+1).$$
Combinându-le, putem defini RSA peste $(\mathbb{Z}/n\mathbb{Z})[i]/(i^2+1)$, $n=pq$, adică numere complexe în care părțile reale și imaginare sunt definite mod $n$. Aritmetica (înmulțirea, adunarea etc.) se face similar numerelor complexe. De exemplu.
$$(a+bi)(c+di)\equiv (ac-bd) + (ad+bc)i \pmod{n}$$
(valorile stocate ca perechi $(a,b)$ și $(c,d)$).
Ordinea grupului multiplicativ este $\mathrm{lcm}(p^2-1, q^2-1)$, deci avem nevoie
$$e\cdot d \equiv 1 \pmod{\mathrm{lcm}(p^2-1, q^2-1)}.$$
Desigur, factoring $n$ încalcă schema, deci nu crește securitatea.
O altă problemă posibilă este că numerele complexe au norma (pătratului), care este multiplicativă și ușor de calculat fără a ști. $p$ și $q$:
$$N(a+bi) \equiv a^2+b^2 \pmod{n},$$
$$N(c) \equiv N(m^e) \equiv N(m)^e \pmod{n}.$$
Din moment ce norma trăiește în $GF(p)\ori GF(q)$, reducem la mod de bază RSA $n$. Dacă un atacator poate sparge cumva RSA mod $n$, atacatorul recuperează apoi norma mesajului.
Rezumat:
Este posibil să se definească RSA peste numere complexe modulo prime, totuși avantajele acestui lucru nu sunt clare, deoarece securitatea nu crește în comparație cu RSA de bază, iar eficiența scade puțin.
Nu văd alte atacuri semnificative asupra acestei scheme, m-aș bucura să știu dacă există.
Actualizare:
În loc de $\sqrt{-1}$ putem folosi oricare altul $\sqrt{d}$ care nu se află în câmpul de bază, adică să lucrezi cu $\mathbb{Z}[\sqrt{d}]/n\mathbb{Z}$. Aceasta s-a făcut într-o variantă de Semnături OSS. (OSS a fost rupt, dar numai pentru că este slab în sine, RSA definit peste numere întregi pătratice ar trebui să fie ok.)