Merge pull request #1043 from gplanchat/feat/magento-dashboard-waiting-for-worker

feat(magento): say when a run is waiting for a worker (#818)

Author: gplanchat

documentation/user/dashboard/_index.fr.md

@@ -71,9 +71,10 @@ Les backends SQL savent le dire (DBAL sous Symfony, Illuminate sous Laravel), su
 colonne `picked_up_at`, ainsi que le backend en mémoire dans son propre processus. Sous Laravel,
 le [panneau Filament](filament/) est la liste des exécutions. Temporal ne le peut pas
 depuis la liste des exécutions : ni la mention ni le nombre n'y apparaissent, et Temporal UI montre les
-tâches en attente. La grille Magento le peut sur le backend de base de données (`resource/durable`),
-dont le catalogue des exécutions enregistre la prise en charge ; elle ne le peut pas sur ses deux
-autres backends, celui en mémoire, vide depuis l'admin, et Temporal. Voir [la procédure de mise à jour](https://github.com/gplanchat/durable-dev/blob/main/UPGRADE.md)
+tâches en attente. L'administration Magento montre les deux (la grille, la page de l'exécution et
+les compteurs) sur le backend de base de données (`resource/durable`), dont le catalogue des
+exécutions enregistre la prise en charge ; elle ne le peut pas sur ses deux autres backends, celui
+en mémoire, vide depuis l'admin, et Temporal. Voir [la procédure de mise à jour](https://github.com/gplanchat/durable-dev/blob/main/UPGRADE.md)
 pour ajouter la colonne à une table créée avant elle.
 
 Après la première prise en charge, les backends à journal enregistrent chaque attente d'un worker

documentation/user/dashboard/_index.md

@@ -67,9 +67,10 @@ same page.
 The SQL backends can tell (DBAL on Symfony, Illuminate on Laravel), on a runs table that has the
 `picked_up_at` column, and so can the in-memory backend within its process. On Laravel, the
 [Filament panel](filament/) is the run list. Temporal cannot from the run list, so neither the
-line nor the count appears there; Temporal UI shows pending tasks. The Magento grid can on the
-database backend (`resource/durable`), whose run catalog records the pickup; it cannot on its two
-other backends, the in-memory one, empty from the admin, and Temporal. See
+line nor the count appears there; Temporal UI shows pending tasks. The Magento admin shows both
+(the grid, the run page and the counters) on the database backend (`resource/durable`), whose run
+catalog records the pickup; it cannot on its two other backends, the in-memory one, empty from the
+admin, and Temporal. See
 [Upgrading](https://github.com/gplanchat/durable-dev/blob/main/UPGRADE.md) to add the column to a
 table created before it existed.
 

documentation/user/dashboard/magento.fr.md

@@ -33,7 +33,9 @@ processes > Process history** dans les ressources du rôle.
 - **L'état du backend**, daté, avec une ligne par rôle de worker (journal et activité) quand
   Temporal tient le [journal](../../glossary/) (les étapes enregistrées d'une exécution et leurs résultats).
 - **Des compteurs** par issue, sur les 200 exécutions les plus récentes, quels que soient les
-  filtres de la grille.
+  filtres de la grille. Sur le backend base de données, un nombre **En attente d'un worker** s'y
+  ajoute. La grille et la page d'exécution affichent `waiting for a worker · 42 s` pour une
+  exécution que personne n'a prise en charge.
 - **La grille standard de l'administration** : pagination (20 par défaut), contrôle des colonnes,
   et filtres sur l'issue, le nom du workflow, l'identifiant d'exécution et l'identifiant d'exécution
   côté backend. Les filtres texte suivent la règle des autres surfaces, parmi les exécutions de la fenêtre : le nom entier du workflow, le début de l'identifiant d'exécution et de l'identifiant de run côté backend, le tout tel que saisi. Un avis indique la fenêtre quand elle est pleine.
@@ -43,7 +45,7 @@ processes > Process history** dans les ressources du rôle.
 
 ## Ce qu'elle ne montre pas
 
-La grille n'affiche pas `waiting for a worker`, ni en ligne ni en nombre. La fenêtre couvre 200
+Sur le backend Temporal, la grille n'affiche pas `waiting for a worker` : la liste des exécutions n'enregistre aucune heure de prise en charge. La fenêtre couvre 200
 exécutions : une exécution plus ancienne n'apparaît pas, et les compteurs ne la comptent pas non
 plus. Voir [Parité](../parity/).
 

documentation/user/dashboard/magento.md

@@ -30,7 +30,9 @@ processes > Process history** on the role's resources.
 
 - **The backend state**, dated, and one line per worker role (journal and activity) when Temporal
   holds the [journal](../../glossary/) (the recorded steps of an execution and their results).
-- **Counters** per outcome, over the 200 most recent runs, whatever the grid filters say.
+- **Counters** per outcome, over the 200 most recent runs, whatever the grid filters say. On the database backend, a **Waiting for a worker** count joins
+  them. The grid and the run page show `waiting for a worker · 42 s` for a run nobody has picked
+  up.
 - **The standard admin grid**: paging (20 by default), column controls, and filters on outcome,
   workflow name, execution id and backend run id. The text filters follow the rule of the other surfaces, among the runs of the window: the whole workflow name, the start of the execution id and of the backend run id, all as typed. A notice states the window when it is full.
 - **A run page**, opened from a row: the execution, its backend run, outcome, start and end dates,
@@ -39,7 +41,7 @@ processes > Process history** on the role's resources.
 
 ## What it does not show
 
-The grid does not say `waiting for a worker`, neither as a line nor as a count. The window is 200
+On the Temporal backend, the grid does not say `waiting for a worker`: the run list records no pickup time. The window is 200
 runs: an older run does not appear, and the counters do not reach it either. See
 [Parity](../parity/).
 

documentation/user/dashboard/parity.fr.md

@@ -19,7 +19,7 @@ surfaces diffèrent encore. Elle change quand un écart se referme.
 | Filtre par issue | Oui | Oui | Oui | Non |
 | Filtre par nom de workflow | Nom entier, là où le backend sait l'appliquer | Nom entier, dans la fenêtre | Nom entier, là où le backend sait l'appliquer | Non |
 | Filtre par identifiant d'exécution | Préfixe, là où le backend sait l'appliquer | Préfixe, dans la fenêtre | Préfixe, là où le backend sait l'appliquer | Non |
-| `waiting for a worker` | Ligne et compteur | Non | Ligne et compteur | Non |
+| `waiting for a worker` | Ligne et compteur | Ligne et compteur, sur le backend base de données | Ligne et compteur | Non |
 | `waiting on` | Liste et page de l'exécution | Liste et page de l'exécution | Liste et page de l'exécution | Section de l'exécution |
 | Une ligne par action | Oui | Oui, plus une table du journal | Oui | Oui |
 | Temps de file hachuré | Oui | Oui | Sur la frise | Oui |

documentation/user/dashboard/parity.md

@@ -19,7 +19,7 @@ when a gap closes.
 | Outcome filter | Yes | Yes | Yes | No |
 | Workflow name filter | Whole name, where the backend can | Whole name, within the window | Whole name, where the backend can | No |
 | Execution id filter | Prefix, where the backend can | Prefix, within the window | Prefix, where the backend can | No |
-| `waiting for a worker` | Line and counter | No | Line and counter | No |
+| `waiting for a worker` | Line and counter | Line and counter, on the database backend | Line and counter | No |
 | `waiting on` | List and run page | List and run page | List and run page | Run section |
 | One line per action | Yes | Yes, plus a journal table | Yes | Yes |
 | Hatched queue time | Yes | Yes | On the timeline | Yes |

src/Durable/Observation/RunDashboard.php

@@ -247,9 +247,7 @@ private function describe(WorkflowRunDescription $run): array
             // Dispatched, and no worker has taken it yet (#447). The wording is decided here, once,
             // for every surface (DUR049).
             $described['waitingForWorkerSince'] = $run->waitingForWorkerSince;
-            $elapsed = self::elapsed($run->waitingForWorkerSince, ($this->clock ?? new SystemClock())->now());
-            $described['waitingForWorker'] = 'waiting for a worker · ' . $elapsed;
-            $described['localizedWaitingForWorker'] = new Message('run.waiting_for_worker', ['elapsed' => $elapsed]);
+            $described += self::waitingForWorker($run->waitingForWorkerSince, ($this->clock ?? new SystemClock())->now());
         }
         if (null !== $run->waitingOn) {
             // What the run last suspended on (#324), worded once for every surface, as above.
@@ -262,6 +260,22 @@ private function describe(WorkflowRunDescription $run): array
         return $described;
     }
 
+    /**
+     * The wording of a run nobody picked up, in English and as a key with its parameter, for a host
+     * that lists runs by its own means (Magento's grid pages by offset) and still words it once.
+     *
+     * @return array{waitingForWorker: string, localizedWaitingForWorker: Message}
+     */
+    public static function waitingForWorker(\DateTimeImmutable $since, \DateTimeImmutable $now): array
+    {
+        $elapsed = self::elapsed($since, $now);
+
+        return [
+            'waitingForWorker' => 'waiting for a worker · ' . $elapsed,
+            'localizedWaitingForWorker' => new Message('run.waiting_for_worker', ['elapsed' => $elapsed]),
+        ];
+    }
+
     /**
      * The largest whole unit: 42 s, 5 min, 2 h, 3 d.
      */

src/DurableModule/Block/Adminhtml/ProcessDetail.php

@@ -11,6 +11,7 @@
 use Gplanchat\Durable\Observation\WorkflowRunDescription;
 use Gplanchat\Durable\Port\NexusOperationCatalogInterface;
 use Gplanchat\DurableModule\Runtime\RuntimeFactory;
+use Gplanchat\DurableModule\Ui\WaitingForWorker;
 use Magento\Backend\Block\Template;
 use Magento\Backend\Block\Template\Context;
 
@@ -121,6 +122,17 @@ public function scale(float $seconds): string
         return number_format($span > 0.0 ? $seconds / $span * 100.0 : 0.0, 3, '.', '');
     }
 
+    /**
+     * The line of a run no worker has picked up (#818), or `null` when it was, or when the backend
+     * cannot tell.
+     */
+    public function getWaitingForWorker(): ?string
+    {
+        $run = $this->getRun();
+
+        return $run === null ? null : WaitingForWorker::of($run);
+    }
+
     public function formatMoment(?\DateTimeImmutable $moment): string
     {
         return $moment === null ? '—' : $moment->format('Y-m-d H:i:s');

src/DurableModule/Block/Adminhtml/ProcessHistory.php

@@ -7,6 +7,8 @@
 use Gplanchat\Bridge\Temporal\Store\TaskQueuePollers;
 use Gplanchat\Durable\Observation\BackendHealth;
 use Gplanchat\Durable\Observation\RunDashboard;
+use Gplanchat\Durable\Observation\WorkflowRunDescription;
+use Gplanchat\Durable\Observation\WorkflowRunPage;
 use Gplanchat\DurableModule\Runtime\RuntimeFactory;
 use Magento\Backend\Block\Template;
 use Magento\Backend\Block\Template\Context;
@@ -42,6 +44,8 @@ class ProcessHistory extends Template
     /** @var array<string, int>|null */
     private ?array $counters = null;
 
+    private ?WorkflowRunPage $page = null;
+
     public function __construct(
         Context $context,
         private readonly RuntimeFactory $runtimeFactory,
@@ -96,13 +100,25 @@ public function isReachable(): bool
      */
     public function getCounters(): array
     {
-        if ($this->counters === null) {
-            $this->counters = RunDashboard::outcomeCounters(
-                $this->runtimeFactory->catalog()->listRuns(limit: RuntimeFactory::OBSERVATION_WINDOW)->runs,
-            );
-        }
+        return $this->counters ??= RunDashboard::outcomeCounters($this->page()->runs);
+    }
 
-        return $this->counters;
+    /**
+     * How many of the window's runs no worker has picked up (#818): a subset of the running ones,
+     * `null` when the backend cannot tell, since zero would claim that none waits.
+     */
+    public function getWaitingForWorker(): ?int
+    {
+        $page = $this->page();
+
+        return $page->tellsWaitingForWorker
+            ? \count(array_filter($page->runs, static fn(WorkflowRunDescription $run): bool => null !== $run->waitingForWorkerSince))
+            : null;
+    }
+
+    private function page(): WorkflowRunPage
+    {
+        return $this->page ??= $this->runtimeFactory->catalog()->listRuns(limit: RuntimeFactory::OBSERVATION_WINDOW);
     }
 
     public function getWindow(): int

src/DurableModule/Ui/DataProvider/ProcessListing.php

@@ -6,6 +6,7 @@
 
 use Gplanchat\Durable\Observation\WorkflowRunDescription;
 use Gplanchat\DurableModule\Runtime\RuntimeFactory;
+use Gplanchat\DurableModule\Ui\WaitingForWorker;
 use Magento\Framework\Api\Filter;
 use Magento\Ui\DataProvider\AbstractDataProvider;
 
@@ -84,9 +85,12 @@ public function getData(): array
                 'ended_at' => $run->endedAt?->format('Y-m-d H:i:s') ?? self::ABSENT,
                 // What a suspended run last waited on (#324), as the catalogue recorded it.
                 'waiting_on' => $run->waitingOn ?? self::ABSENT,
-                // Since when a running run waits for a worker to pick it up (#816, #818): no column
-                // yet, the field is on the row for the one that paints it.
+                // Since when a running run waits for a worker to pick it up (#816), and the line the
+                // grid paints from it (#818).
                 'waiting_for_worker_since' => $run->waitingForWorkerSince?->format('Y-m-d H:i:s') ?? self::ABSENT,
+                // Empty when nothing waits or the backend cannot tell, as Sylius and Filament print
+                // nothing: a dash on every row reads as "none waits".
+                'waiting_for_worker' => WaitingForWorker::of($run) ?? '',
             ], $window),
         ];
     }