înregistrare Logare
Puncte:0
Noob with 0 knowledge avatar Server

Stocare pentru milioane de fișiere audio cu accesibilitate la căutare (dacă este posibil)

drapel us
Noob with 0 knowledge

Căutam o soluție pentru această problemă pe care o am cu stocarea fișierelor în valoare de 7 tb, toate sunt fișiere audio, aceste fișiere sunt înregistrări ale serverului freepbx bazat pe asterisc.

La început, ceea ce am făcut a fost instalat proxmox pe server cu ssd pentru acces mai rapid, apoi nextcloud pentru acces la fișiere prin web (acest server servește doar la rețeaua locală, așa că securitatea nu este problema aici), deoarece continui să încarc fișierele, mi-am dat seama că acest lucru este rău. idee deoarece este nevoie de mult timp pentru a căuta un anumit fișier și am doar 2 tb de utilizare, m-am jucat cu următorul cloud de ceva timp și știu că pot căuta prin ssh sau webdav, dar durează și mult timp deoarece aceste fișiere trebuie accesate în mod regulat cu mai mulți utilizatori.

deci caut o soluție pentru această problemă, deoarece încă mai am 5 tb de date și caut fie acces la web, fie orice altă modalitate de a găsi și prelua cu ușurință date din stocare sau un server de sistem de operare/web complet nou care poate ajuta la stocarea și accesarea fișierelor.

ce am este ssd pentru boot și unități de 4x4tb pentru stocare pe raid5 cu card lan 2x gigabit pe acel server pentru acces cu proxmox instalat și rulează niște mașini virtuale, datele sunt structurate ca an>lună>data>1000 de fișiere cu numărul de telefon activat acolo nume pentru identificare.

Mulțumesc Toate cele bune,

54
0 + 0
drapel vn
ceejayoz
Probabil că ați dori ceva de genul https://opensearch.org/ sau https://www.elastic.co/ pentru asta. Sau chiar o soluție găzduită precum https://www.algolia.com/.
0
Răspunde
Noob with 0 knowledge avatar
drapel us
Noob with 0 knowledge
Bună ziua, m-am uitat în opensearch și elastic, dar acestea sunt pentru analiza datelor și sunt utilizate în principal pentru jurnale și nu am găsit nicio referință la stocarea datelor. S-ar putea să mă înșel, deoarece cele 2 sunt un teritoriu neexplorat pentru mine și ar putea exista un plugin care poate ajuta cu asta, dar încă sunt pierdut în acest sens, aș aprecia foarte mult dacă mă puteți ghida în modul corect.
0
Răspunde
drapel vn
ceejayoz
Le menționez pentru că majoritatea întrebărilor tale par să fie legate de căutare; „aceasta este o idee proastă, deoarece este nevoie de mult timp pentru a căuta un anumit fișier” etc. Stocarea și căutarea fișierelor sunt probleme în mare măsură separate.
1
Răspunde
anx avatar
drapel fr
anx
Câțiva Terabytes de fișiere audio ar trebui să echivaleze cu o dimensiune totală a numelui de fișier care se potrivește cu memoria RAM obișnuită în zilele noastre. Este posibil să așteptați ca aplicația (*Nextcloud*) să construiască un index de fișiere la cerere și dacă toate fișierele ar fi stocate în cache în baza sa de date, ar fi destul de rapid?
0
Răspunde
Noob with 0 knowledge avatar
drapel us
Noob with 0 knowledge
În prezent, folosesc nextcloud și este bine până când trebuie să accesez înregistrări, de exemplu, am nevoie de înregistrarea unui anumit număr în căutare, pe care nu îl puteți descărca, trebuie să deschideți fiecare folder specific pentru a descărca totul, ar fi foarte grozav dacă aș putea doar descărca toate deodată, iar nextcloud face o bază de date pentru acces rapid, dar descărcarea este dureroasă.
0
Răspunde
Puncte:2
1F987 avatar Server
drapel in
1F987

Lucrez și cu tone de fișiere audio.

Cel mai bun mod pe care l-am găsit pentru a gestiona asta este:

  • Utilizați discuri SSD și oglindă RAID1 / ZFS pentru a accelera accesul.
  • Nu vă ocupați de fișiere, ci lucrați la numele fișierului și metadate: creați un index simplu și ușor de căutat. O bază de date, ElasticSearch funcționează bine, dar consumă RAM, PostgreSQL cu coloane de câmpuri indexate poate face și ele treaba.
  • Utilizați doar un link către calea fișierului când accesul este declanșat.

Fluxul meu de lucru este:

  1. Răsfoiți arborele și numele fișierelor bazate pe text dintr-o pagină web simplă (de casă)
  2. Faceți clic pentru a accesa fișierul
  3. Pagina web preia fișierul pe baza căii și îl servește utilizatorului (pe LAN sau prin Internet).

Btw, cu acest tip de volum, va fi interesant să aruncăm o privire în instrumentele folosite de acumulatorii de date, cum ar fi

0 + 0
drapel romania
SEF 777
întrebarea această in alte limbi:

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.