Optimitzar la base de dades de l'akkoma

Hola,

Potser estaria bé tenir una norma que controli una mica el creixement de la BBDD.

Pel que llegeixo al fòrum oficial del projecte, el mantenidor comenta:

The only task I personally run regularly is MIX_ENV=prod mix pleroma.database prune_objects --keep-threads --prune-orphaned-activities (the last option is also part of the PR I linked, so not yet merged). This removed old posts and activities without local interaction and without breaking threads. I helps keeps the database smaller by removing posts I consider less relevant. Some people prefer to keep all posts, though, so whether this is worth running is really a personal preference.

Així que jo proposo implementar-ho. Què us sembla?

Salut!

1 'M'agrada'

Crec que és una bona manera de minimitzar el creixement de la base de dades sense perdre cap dels continguts “rellevants” per la instància.

Però no feu molt cas de la meva opinió que no hi tinc compte al node :stuck_out_tongue:

Edit:
La comanda també elimina de la bases de dades els posts remots que tinguin més de 90 dies (si algú els vol veure es tornen a anar a buscar a la font). Aquest nombre es pot configurar en el fitxer de configuració amb config :pleroma, :instance, remote_post_retention_days: <dies> si es vol ampliar.
Jo acabo de fer això en el meu pleroma (he afegit l’opció --vacuum que no se si havia fet mai prune des de la instal·lació :sweat_smile:) i la base de dades ha passat de 6GB a 3GB. Així que sembla que mereix la pena.
Com que jo estic a pleroma sembla que no tinc les opcions --keep-threads ni --prune-orphaned-activities així que no se si canviarien gaire el resultat.

2 'M'agrada'

Pel que havia llegit a la documentació, en principi postgres per defecte ja fa el “vacuum” regularment. No recomanen fer-ho sempre (posar-ho a un cron, p.e.) perquè és bastant exigent a nivell de recursos, tot i que sí que ho mencionen si fa temps que no has reiniciat la màquina.

Tota la raó, el vacuum no s’ha de fer regularment, jo ho he fet que fa vora 3 anys que va el node en el servidor en el que és ara i no se quant fa de l’últim reinici :sweat_smile: . Però com que estava posant com ha canviat la base de dades he preferit posar-ho que segurament l’opció aquesta ha estat bona part de la reducció.

1 'M'agrada'

Crec que l’espai no s’allibera fins que no es fa el vacuum. És com que llavors es reclama al Postgres l’espai que ja no es fa servir. O això he entès jo de la docu…

1 'M'agrada'

Hola,
Ho llegeixo una mica tard…
Per mi té sentit activar-ho. Al final, crec que ha d’haver-hi un equilibri entre el consum de recursos i la disponibilitat o emmagatzematge de dades. No oblidem que no és gratis (a nivell de diners, de recursos materials i energètics). Que això podria fer perdre continguts, pot ser (no ho sembla, pel que dius: sempre es pot anar a la font de nou, no? només que deixa de guardar-se en local). Si ho provoqués, tampoc em sembla malament.

Gràcies!

1 'M'agrada'

Genial! Quan pugui ho implemento. Si algú vol acompanyar-me, que m’avisi i ho retransmeto :slight_smile:

En principi no es perd res local, és només contingut remot amb el que no hem interaccionat de forma activa. Publicacions de gent que seguim però que no hem clicat a m’agrada ni amplificat, etc…

M’agradaria venir. Quan tens previst fer-ho?

1 'M'agrada'

No ho tinc previst, esperava veure si algú volia assistir-hi per a coordinar-ho :slight_smile: . La veritat és que tinc uns dies carregats i noto que les forces em comencen a fallar. Potser un dimarts dels de novembre seria un bon dia. Tens restriccions d’horari o algun que no et vagi bé en particular?

El 7 i el 28 puc.

Aprofito per fer espam, jeje: el 14 presento el llibre d’Esperanto a Saragossa (ja donaré més info, que ho vam quadrar ahir). I el 21 tenim el segon #RepensarElKomun.

2 'M'agrada'

ah! això faria que les publicacions antigues que vam repetir del logout (des de barcelona.social cap a bcn.fedi.cat) es perdessin :thinking:

Però les imatges ja es van perdre igualment perquè no es van duplicar (fa com li agrada més a @titi , que enllaça la font original) i crec que en el cas general té sentit.

Si no volem fer d’arxiu del fedivers, i si un servidor desapareix, doncs també la publicació que haguem repetit, per mi també té sentit fer aquesta neteja.

Ei! Si ho he entès bé, només elimina les publicacions remotes sense interaccions. Si la vàreu amplificar des del nou compte de bcn.fedi.cat no s’hauria de borrar!

2 'M'agrada'

Ho acabo de veure ara :man_facepalming: , si encara no està fet puc mirar si em puc apuntar.

Amb la @titi deiem el dimarts 7 o el 28. Et van bé els 2? Rita, encara pots aquestes dates?

En principi si :slight_smile:

1 'M'agrada'

Iep, a mi també m’agradaria participar. Suposo que l’horari per a aquests dimarts seria per la tarda? No podria, perquè treballo fins molt tard :sweat: Però bé, feu, i si la cosa pot quedar documentada en algun lloc, súper :pray: :blush:

1 'M'agrada'

Sip (i alguns caràcters més).

1 'M'agrada'

Doncs si voleu quedem dimarts que ve, 7 de Novembre, a les 19:30?

@Eudaimon, ho sento però sí, haurà de ser a la tarda. Bàsicament serà:

  1. Fer una còpia de seguretat de la bbdd.
  2. Accedir a la base de dades.
  3. Comprovar la mida de la base de dades.
  4. Tirar la comanda que deiem abans.
  5. Tornar a comprovar la mida.
  6. Programar un cron per a que s’executi periòdicament.
3 'M'agrada'

El Discourse em renya perquè ja t’he respost tres cops al mateix fil.

“Vols dir que no val més enviar-li un missatge personal?”. Però no li puc contestar que, en aquest cas potser millor que no, perquè vinc amb l’enllaç a la sala i això ho ha de veure tothom que participa a la conversa com a mínim.

En fi, sala: https://meet.exo.cat/fedicat

Fins dimarts les que pugueu!

2 'M'agrada'

Hola!

No sé si havíem especificat hora! Jo hi seré a les 19:30.

2 'M'agrada'