feat: stockage des médias en PostgreSQL (alternative au S3) by chaibax · Pull Request #458 · numerique-gouv/sites-conformes

chaibax · 2026-03-17T16:15:41Z

Contexte

Sur les plateformes PaaS (Scalingo, Heroku, Clever Cloud) ou les déploiements Docker, le système de fichiers est souvent éphémère : chaque redéploiement efface les fichiers uploadés. Cette PR ajoute une alternative au S3 : stocker les médias directement dans PostgreSQL.

Changements

Nouvelle app db_storage : modèle StoredFile (BinaryField), backend Django Storage complet, vue de service des fichiers avec cache headers
Commande migrate_s3_to_db : transfert des fichiers S3 vers la DB + mise à jour des URLs S3 dans les révisions Wagtail et les champs RichText
Commande migrate_files_to_db : migration du filesystem local vers la DB
Documentation : guide complet dans docs/db-storage.md
17 tests unitaires couvrant le storage, les vues et la migration S3

Activation

SF_USE_DB_STORAGE=1

Priorité des backends

Priorité	Backend	Variable
1	S3	`S3_HOST`
2	PostgreSQL	`SF_USE_DB_STORAGE=1`
3	FileSystem	(défaut)

Test réel effectué

Connexion au bucket S3 OVH sf-no-code (187 fichiers, 5.4 MB)
Création d'une page Wagtail avec image servie depuis S3
Exécution de migrate_s3_to_db → 189 fichiers transférés
Bascule vers DB storage → image affichée depuis /db-storage/serve/

Limitations documentées

Adapté aux sites avec volume modéré de médias (< 500 Mo)
Pas de CDN (cache navigateur via Cache-Control: max-age=3600)
Augmente la taille des backups PostgreSQL

Test plan

python manage.py test db_storage — 17/17 tests passent
Test réel avec bucket S3 OVH → migration → vérification affichage
Test de non-régression global
Upload d'image via l'admin Wagtail en mode DB storage
Vérification des renditions d'images (redimensionnement)

🤖 Generated with Claude Code

Add a new `db_storage` app that provides a custom Django Storage backend storing files directly in PostgreSQL. This offers a persistent storage alternative for PaaS deployments (Scalingo, Heroku, etc.) where the filesystem is ephemeral and S3 is not available. Activated via SF_USE_DB_STORAGE=1. Priority: S3 > DB Storage > FileSystem. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Adds `migrate_s3_to_db` management command that: - Downloads all files from S3 bucket and stores them as StoredFile entries - Updates hardcoded S3 URLs in Wagtail Revision content_json - Scans URLField/CharField and RichTextField on all models for S3 URLs - Supports --dry-run, --skip-files, and --skip-urls options Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Add comprehensive documentation for the PostgreSQL media storage feature including activation guide, S3 migration steps, and architecture overview. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Fix line length violations (>119 chars) in test_migrate_s3.py by extracting S3 env dict to module constant. Remove unused imports and fix black formatting in migrate_s3_to_db.py. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Luzzzi · 2026-03-18T08:52:43Z

    "forms",
    "wagtail_honeypot",
    "dashboard",
+    "db_storage",


Ce serait mieux je pense d'ajouter l'app uniquement si SF_USE_DB_STORAGE est à True

Corrigé dans 5afda59 : l'app est maintenant ajoutée conditionnellement via if SF_USE_DB_STORAGE: INSTALLED_APPS.insert(-1, "db_storage"), comme c'est fait pour SF_USE_WHITENOISE.

Luzzzi · 2026-03-18T08:54:31Z

    path("sitemap.xml", sitemap, name="xml_sitemap"),
    path(settings.WAGTAILADMIN_PATH, include(wagtailadmin_urls)),
    path("documents/", include(wagtaildocs_urls)),
+    path("db-storage/", include("db_storage.urls")),


Pareil ici, que l'ajout de l'URL soit dépendant de la variable d'environnement

Corrigé dans le même commit : la route est conditionnée par if settings.SF_USE_DB_STORAGE, comme PROCONNECT_ACTIVATED pour les URLs oidc.

L'app db_storage et sa route /db-storage/ ne sont ajoutées que si SF_USE_DB_STORAGE=True, suivant le même pattern que SF_USE_WHITENOISE et PROCONNECT_ACTIVATED. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Luzzzi · 2026-03-18T10:30:07Z

        TemplateView.as_view(template_name="robots.txt", content_type="text/plain"),
    ),
-] + static(settings.MEDIA_URL, document_root=settings.MEDIA_ROOT)
+] + static(settings.MEDIA_URL, document_root=getattr(settings, "MEDIA_ROOT", ""))


A priori, pas besoin de changer ici car MEDIA_ROOT n'est utile que dans le cas d'utilisation d'un file system storage et il est déjà défini dans la conditionnelle à son utilisation dans config/settings.py

Merci, j'ai enlevé

- Add noqa: F405 for INSTALLED_APPS references from star import - Revert getattr(settings, "MEDIA_ROOT", "") to settings.MEDIA_ROOT since Django provides a default empty string in global_settings Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

- Add warning that DB storage is not recommended beyond 1 GB of media in settings.py, .env.example, and docs/db-storage.md - Add migrate_db_to_s3 management command to transfer stored files from PostgreSQL back to an S3 bucket (with --dry-run support and skip-if-exists logic) - Add 5 tests for the new command Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

Ash-Crow · 2026-03-19T11:04:48Z

+# Allow storing media files in PostgreSQL instead of the filesystem (disabled by default)
+# Useful for PaaS deployments with ephemeral filesystems (Scalingo, Heroku, etc.)
+# /!\ Not recommended beyond 1 GB of media — prefer S3 for larger volumes.
+# Priority: S3 > DB Storage > FileSystem


J'aurais dit le contraire.

Suggested change

# Priority: S3 > DB Storage > FileSystem

# Priority: FileSystem > S3 > DB Storage

Je suis d'accord, je n'avais pas vu

Remplacé "Priority" par "Selection order: S3_HOST wins if set, then SF_USE_DB_STORAGE, then filesystem (default)" — distingue la précédence dans le code de la recommandation d'usage. Corrigé dans dddfba2.

Ash-Crow · 2026-03-19T11:10:17Z

+|----------|---------|----------------------|-------------|
+| 1 | **S3** (Object Storage) | `S3_HOST` | Production avec stockage S3 compatible |
+| 2 | **PostgreSQL** (DB Storage) | `SF_USE_DB_STORAGE=1` | PaaS sans S3, Docker, Plesk |
+| 3 | **Système de fichiers** | _(par défaut)_ | Développement local |


Idem ci-dessus.

Dans les cas d'usage je rajouterais Hébergement sur VPS.

Tableau inversé (filesystem en premier) et ajout de VPS + hébergement dédié dans les cas d'usage. Corrigé dans dddfba2.

Replace misleading "Priority" wording with "Selection order" to distinguish code precedence from recommendation. Add VPS to filesystem use cases in documentation table. Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

fabienheureux · 2026-03-23T11:24:03Z

+if "db_storage" not in INSTALLED_APPS:  # noqa: F405
+    INSTALLED_APPS.insert(-1, "db_storage")  # noqa: F405


pourquoi ajouter des noqa ?

fabienheureux · 2026-03-23T11:25:55Z


+if settings.SF_USE_DB_STORAGE:
+    urlpatterns += [
+        path("db-storage/", include("db_storage.urls")),


c'est généralement un anti pattern de servir les médias depuis une vue django, c'est assez bien expliqué dans la doc de whitenoise https://whitenoise.readthedocs.io/en/stable/django.html#serving-media-files

Ici ca va rendre compliqué de scaler car chaque chargement d'image va être géré par django et occuper le worker prévu pour servir des pages

fabienheureux · 2026-03-23T11:27:17Z

@@ -0,0 +1,43 @@
+# Generated by Django 6.0.3 on 2026-03-05 11:15


ca me semble overkill de créer une app django dédiée à ca, ca pourrait vivre dans config je pense pour ne pas gener les réutilisations (actuelles ou futures) de sites conformes sous forme d'app django

fabienheureux · 2026-03-23T11:30:39Z

+        name = request.GET.get("name")
+        if not name:
+            return HttpResponseNotFound("File not found.")


ici je pense qu'on aurait intérêt à mieux utiliser le routeur django avec une valeur accessible directement en argument de la fonction : https://docs.djangoproject.com/fr/6.0/topics/http/urls/#example

fabienheureux

Je me suis permis une review car j'ai vu le sujet discuté sur Mattermost, ca me semble assez cavalier comme approche vu que des sites avec plusieurs centaines de pages risquent d'avoir de nombreuses images stockées, l'approche serait intéressante niveau simplicité d'hébergement pour quelques landing pages mais pas tellement pour des sites pouvant stocker plusieurs milliers d'images, car elle risque de présenter rapidement des problèmes de scalabilité

chaibax · 2026-03-30T09:15:30Z

Merci pour ta review @fabienheureux . Je suis d'accord avec toi sur la scalabilité.

C'est bien pour quelques landing pages que nous faisons ça. 30 petits sites (images/trafics etc) qui doivent migrer rapidement, et pour qui prendre un S3 est très compliqué administrativement .

Wagtail 3+ renamed Revision.content_json (TextField) to Revision.content (JSONField). The migration script now serializes the JSON content to string for URL search/replace, then parses back. Adds test covering revision URL updates. Fixes numerique-gouv#482 (FieldError on Scalingo deployment) Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

chaibax and others added 5 commits March 5, 2026 12:20

docs: add DB storage documentation and update README

d7b6345

Add comprehensive documentation for the PostgreSQL media storage feature including activation guide, S3 migration steps, and architecture overview. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

fix: resolve ruff E501 and black formatting issues

1621a30

Fix line length violations (>119 chars) in test_migrate_s3.py by extracting S3 env dict to module constant. Remove unused imports and fix black formatting in migrate_s3_to_db.py. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

fix: remove unused BytesIO import in storage.py

a4f6081

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Luzzzi reviewed Mar 18, 2026

View reviewed changes

refactor: conditionner db_storage app et URL à SF_USE_DB_STORAGE

5afda59

L'app db_storage et sa route /db-storage/ ne sont ajoutées que si SF_USE_DB_STORAGE=True, suivant le même pattern que SF_USE_WHITENOISE et PROCONNECT_ACTIVATED. Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>

Luzzzi reviewed Mar 18, 2026

View reviewed changes

chaibax and others added 3 commits March 18, 2026 13:39

fix: apply black formatting to migrate_db_to_s3 files

ef82346

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>

Ash-Crow reviewed Mar 19, 2026

View reviewed changes

fabienheureux reviewed Mar 23, 2026

View reviewed changes

Luzzzi added v3.1 scheduled for v.3.1 labels Apr 10, 2026

Ash-Crow mentioned this pull request Apr 16, 2026

feat: stockage des médias en PostgreSQL (alternative au S3) #482

Open

5 tasks

	# Priority: S3 > DB Storage > FileSystem
	# Priority: FileSystem > S3 > DB Storage

		if "db_storage" not in INSTALLED_APPS: # noqa: F405
		INSTALLED_APPS.insert(-1, "db_storage") # noqa: F405

		@@ -0,0 +1,43 @@
		# Generated by Django 6.0.3 on 2026-03-05 11:15

Conversation

chaibax commented Mar 17, 2026

Contexte

Changements

Activation

Priorité des backends

Test réel effectué

Limitations documentées

Test plan

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Ash-Crow Mar 19, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

fabienheureux left a comment

Choose a reason for hiding this comment

Uh oh!

chaibax commented Mar 30, 2026

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

Ash-Crow Mar 19, 2026 •

edited

Loading