{
  "example": "masked-readout-one-step-v1",
  "boundary": "Authored frozen hidden rows; one readout SGD step, not transformer training or a generalization estimate.",
  "fixture": {
    "sequences": [
      [
        {
          "kind": "class",
          "id": 2,
          "role": "prompt"
        },
        {
          "kind": "class",
          "id": 2,
          "role": "prompt"
        },
        {
          "kind": "class",
          "id": 0,
          "role": "completion"
        },
        {
          "kind": "class",
          "id": 0,
          "role": "completion"
        }
      ],
      [
        {
          "kind": "class",
          "id": 2,
          "role": "prompt"
        },
        {
          "kind": "class",
          "id": 1,
          "role": "completion"
        },
        {
          "kind": "pad"
        },
        {
          "kind": "pad"
        }
      ]
    ],
    "H": [
      [
        [
          0,
          1
        ],
        [
          1,
          0
        ],
        [
          1,
          0
        ],
        [
          0,
          0
        ]
      ],
      [
        [
          1,
          0
        ],
        [
          0,
          0
        ],
        [
          0,
          0
        ],
        [
          0,
          0
        ]
      ]
    ],
    "W0": [
      [
        0,
        0
      ],
      [
        0,
        0
      ],
      [
        0,
        0
      ]
    ],
    "b0": [
      0,
      0,
      0
    ],
    "eta": 0.3
  },
  "traces": [
    {
      "policy": "completion",
      "grouping": "one-batch",
      "rows": [
        [
          {
            "sequence": 0,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "target": 2,
            "status": "target",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 0,
            "position": 2,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 3,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ],
        [
          {
            "sequence": 1,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "target": 1,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 1,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 2,
            "reads": {
              "kind": "pad"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 3,
            "reads": {
              "kind": "pad"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ]
      ],
      "objective": {
        "status": "supervised",
        "reduction": "token-mean",
        "microbatches": [
          {
            "sequences": [
              0,
              1
            ],
            "count": 3,
            "numerator": 3.2958368660043287,
            "mean": 1.0986122886681096
          }
        ],
        "count": 3,
        "numerator": 3.2958368660043287,
        "loss": 1.0986122886681096,
        "gradW": [
          [
            -0.3333333333333334,
            0
          ],
          [
            -3.700743415417188e-17,
            0
          ],
          [
            0.3333333333333333,
            0
          ]
        ],
        "gradb": [
          -0.3333333333333334,
          -3.700743415417188e-17,
          0.3333333333333333
        ],
        "rows": [
          {
            "sequence": 0,
            "position": 1,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.3333333333333333,
            "weighted": 0.36620409622270317,
            "delta": [
              -0.22222222222222224,
              0.1111111111111111,
              0.1111111111111111
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 2,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.3333333333333333,
            "weighted": 0.36620409622270317,
            "delta": [
              -0.22222222222222224,
              0.1111111111111111,
              0.1111111111111111
            ],
            "microbatch": 0
          },
          {
            "sequence": 1,
            "position": 0,
            "h": [
              1,
              0
            ],
            "target": 1,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              -0.6666666666666667,
              0.3333333333333333
            ],
            "weight": 0.3333333333333333,
            "weighted": 0.36620409622270317,
            "delta": [
              0.1111111111111111,
              -0.22222222222222224,
              0.1111111111111111
            ],
            "microbatch": 0
          }
        ]
      },
      "step": {
        "W": [
          [
            0.10000000000000002,
            0
          ],
          [
            1.1102230246251564e-17,
            0
          ],
          [
            -0.09999999999999999,
            0
          ]
        ],
        "b": [
          0.10000000000000002,
          1.1102230246251564e-17,
          -0.09999999999999999
        ]
      },
      "declared": {
        "before": 1.0986122886681096,
        "after": 0.9785680992908672,
        "numeratorBefore": 3.2958368660043287,
        "numeratorAfter": 2.9357042978726016,
        "count": 3
      },
      "rowLossAfter": [
        0.9119014326242004,
        0.9119014326242004,
        1.1119014326242005
      ],
      "heldOut": {
        "before": 1.0986122886681096,
        "after": 1.1119014326242005,
        "probabilitiesAfter": [
          0.4017595785333554,
          0.3289329222889067,
          0.2693074991777379
        ]
      }
    },
    {
      "policy": "completion",
      "grouping": "split-token-mean",
      "rows": [
        [
          {
            "sequence": 0,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "target": 2,
            "status": "target",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 0,
            "position": 2,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 3,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ],
        [
          {
            "sequence": 1,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "target": 1,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 1,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 2,
            "reads": {
              "kind": "pad"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 3,
            "reads": {
              "kind": "pad"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ]
      ],
      "objective": {
        "status": "supervised",
        "reduction": "token-mean",
        "microbatches": [
          {
            "sequences": [
              0
            ],
            "count": 2,
            "numerator": 2.197224577336219,
            "mean": 1.0986122886681096
          },
          {
            "sequences": [
              1
            ],
            "count": 1,
            "numerator": 1.0986122886681096,
            "mean": 1.0986122886681096
          }
        ],
        "count": 3,
        "numerator": 3.2958368660043287,
        "loss": 1.0986122886681096,
        "gradW": [
          [
            -0.3333333333333334,
            0
          ],
          [
            -3.700743415417188e-17,
            0
          ],
          [
            0.3333333333333333,
            0
          ]
        ],
        "gradb": [
          -0.3333333333333334,
          -3.700743415417188e-17,
          0.3333333333333333
        ],
        "rows": [
          {
            "sequence": 0,
            "position": 1,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.3333333333333333,
            "weighted": 0.36620409622270317,
            "delta": [
              -0.22222222222222224,
              0.1111111111111111,
              0.1111111111111111
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 2,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.3333333333333333,
            "weighted": 0.36620409622270317,
            "delta": [
              -0.22222222222222224,
              0.1111111111111111,
              0.1111111111111111
            ],
            "microbatch": 0
          },
          {
            "sequence": 1,
            "position": 0,
            "h": [
              1,
              0
            ],
            "target": 1,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              -0.6666666666666667,
              0.3333333333333333
            ],
            "weight": 0.3333333333333333,
            "weighted": 0.36620409622270317,
            "delta": [
              0.1111111111111111,
              -0.22222222222222224,
              0.1111111111111111
            ],
            "microbatch": 1
          }
        ]
      },
      "step": {
        "W": [
          [
            0.10000000000000002,
            0
          ],
          [
            1.1102230246251564e-17,
            0
          ],
          [
            -0.09999999999999999,
            0
          ]
        ],
        "b": [
          0.10000000000000002,
          1.1102230246251564e-17,
          -0.09999999999999999
        ]
      },
      "declared": {
        "before": 1.0986122886681096,
        "after": 0.9785680992908672,
        "numeratorBefore": 3.2958368660043287,
        "numeratorAfter": 2.9357042978726016,
        "count": 3
      },
      "rowLossAfter": [
        0.9119014326242004,
        0.9119014326242004,
        1.1119014326242005
      ],
      "heldOut": {
        "before": 1.0986122886681096,
        "after": 1.1119014326242005,
        "probabilitiesAfter": [
          0.4017595785333554,
          0.3289329222889067,
          0.2693074991777379
        ]
      }
    },
    {
      "policy": "completion",
      "grouping": "split-mean-of-means",
      "rows": [
        [
          {
            "sequence": 0,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "target": 2,
            "status": "target",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 0,
            "position": 2,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 3,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ],
        [
          {
            "sequence": 1,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "target": 1,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 1,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 2,
            "reads": {
              "kind": "pad"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 3,
            "reads": {
              "kind": "pad"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ]
      ],
      "objective": {
        "status": "supervised",
        "reduction": "mean-of-means",
        "microbatches": [
          {
            "sequences": [
              0
            ],
            "count": 2,
            "numerator": 2.197224577336219,
            "mean": 1.0986122886681096
          },
          {
            "sequences": [
              1
            ],
            "count": 1,
            "numerator": 1.0986122886681096,
            "mean": 1.0986122886681096
          }
        ],
        "count": 3,
        "numerator": 3.2958368660043287,
        "loss": 1.0986122886681096,
        "gradW": [
          [
            -0.1666666666666667,
            0
          ],
          [
            -0.1666666666666667,
            0
          ],
          [
            0.3333333333333333,
            0
          ]
        ],
        "gradb": [
          -0.1666666666666667,
          -0.1666666666666667,
          0.3333333333333333
        ],
        "rows": [
          {
            "sequence": 0,
            "position": 1,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              -0.16666666666666669,
              0.08333333333333333,
              0.08333333333333333
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 2,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              -0.16666666666666669,
              0.08333333333333333,
              0.08333333333333333
            ],
            "microbatch": 0
          },
          {
            "sequence": 1,
            "position": 0,
            "h": [
              1,
              0
            ],
            "target": 1,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              -0.6666666666666667,
              0.3333333333333333
            ],
            "weight": 0.5,
            "weighted": 0.5493061443340548,
            "delta": [
              0.16666666666666666,
              -0.33333333333333337,
              0.16666666666666666
            ],
            "microbatch": 1
          }
        ]
      },
      "step": {
        "W": [
          [
            0.05000000000000001,
            0
          ],
          [
            0.05000000000000001,
            0
          ],
          [
            -0.09999999999999999,
            0
          ]
        ],
        "b": [
          0.05000000000000001,
          0.05000000000000001,
          -0.09999999999999999
        ]
      },
      "declared": {
        "before": 1.0986122886681096,
        "after": 1.0082564965084544,
        "numeratorBefore": 3.2958368660043287,
        "numeratorAfter": 3.0247694895253634,
        "count": 3
      },
      "rowLossAfter": [
        1.0082564965084544,
        1.0082564965084544,
        1.0082564965084544
      ],
      "heldOut": {
        "before": 1.0986122886681096,
        "after": 1.0082564965084544,
        "probabilitiesAfter": [
          0.36485455053318794,
          0.36485455053318794,
          0.2702908989336242
        ]
      }
    },
    {
      "policy": "all",
      "grouping": "one-batch",
      "rows": [
        [
          {
            "sequence": 0,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "target": 2,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 0,
            "position": 2,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 3,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ],
        [
          {
            "sequence": 1,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "target": 1,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 1,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 2,
            "reads": {
              "kind": "pad"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 3,
            "reads": {
              "kind": "pad"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ]
      ],
      "objective": {
        "status": "supervised",
        "reduction": "token-mean",
        "microbatches": [
          {
            "sequences": [
              0,
              1
            ],
            "count": 4,
            "numerator": 4.394449154672438,
            "mean": 1.0986122886681096
          }
        ],
        "count": 4,
        "numerator": 4.394449154672438,
        "loss": 1.0986122886681096,
        "gradW": [
          [
            -0.25000000000000006,
            0.08333333333333333
          ],
          [
            -2.7755575615628914e-17,
            0.08333333333333333
          ],
          [
            0.25,
            -0.16666666666666669
          ]
        ],
        "gradb": [
          -0.16666666666666674,
          0.08333333333333331,
          0.0833333333333333
        ],
        "rows": [
          {
            "sequence": 0,
            "position": 0,
            "h": [
              0,
              1
            ],
            "target": 2,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              0.3333333333333333,
              -0.6666666666666667
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              0.08333333333333333,
              0.08333333333333333,
              -0.16666666666666669
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 1,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              -0.16666666666666669,
              0.08333333333333333,
              0.08333333333333333
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 2,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              -0.16666666666666669,
              0.08333333333333333,
              0.08333333333333333
            ],
            "microbatch": 0
          },
          {
            "sequence": 1,
            "position": 0,
            "h": [
              1,
              0
            ],
            "target": 1,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              -0.6666666666666667,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              0.08333333333333333,
              -0.16666666666666669,
              0.08333333333333333
            ],
            "microbatch": 0
          }
        ]
      },
      "step": {
        "W": [
          [
            0.07500000000000001,
            -0.024999999999999998
          ],
          [
            8.326672684688674e-18,
            -0.024999999999999998
          ],
          [
            -0.075,
            0.05
          ]
        ],
        "b": [
          0.050000000000000024,
          -0.024999999999999994,
          -0.02499999999999999
        ]
      },
      "declared": {
        "before": 1.0986122886681096,
        "after": 1.0395838145143073,
        "numeratorBefore": 4.394449154672438,
        "numeratorAfter": 4.158335258057229,
        "count": 4
      },
      "rowLossAfter": [
        1.0742319851331101,
        0.9780344243080397,
        0.9780344243080397,
        1.1280344243080398
      ],
      "heldOut": {
        "before": 1.0986122886681096,
        "after": 1.1280344243080398,
        "probabilitiesAfter": [
          0.3760495267044016,
          0.32366882716534623,
          0.30028164613025216
        ]
      }
    },
    {
      "policy": "all",
      "grouping": "split-token-mean",
      "rows": [
        [
          {
            "sequence": 0,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "target": 2,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 0,
            "position": 2,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 3,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ],
        [
          {
            "sequence": 1,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "target": 1,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 1,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 2,
            "reads": {
              "kind": "pad"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 3,
            "reads": {
              "kind": "pad"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ]
      ],
      "objective": {
        "status": "supervised",
        "reduction": "token-mean",
        "microbatches": [
          {
            "sequences": [
              0
            ],
            "count": 3,
            "numerator": 3.2958368660043287,
            "mean": 1.0986122886681096
          },
          {
            "sequences": [
              1
            ],
            "count": 1,
            "numerator": 1.0986122886681096,
            "mean": 1.0986122886681096
          }
        ],
        "count": 4,
        "numerator": 4.394449154672438,
        "loss": 1.0986122886681096,
        "gradW": [
          [
            -0.25000000000000006,
            0.08333333333333333
          ],
          [
            -2.7755575615628914e-17,
            0.08333333333333333
          ],
          [
            0.25,
            -0.16666666666666669
          ]
        ],
        "gradb": [
          -0.16666666666666674,
          0.08333333333333331,
          0.0833333333333333
        ],
        "rows": [
          {
            "sequence": 0,
            "position": 0,
            "h": [
              0,
              1
            ],
            "target": 2,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              0.3333333333333333,
              -0.6666666666666667
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              0.08333333333333333,
              0.08333333333333333,
              -0.16666666666666669
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 1,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              -0.16666666666666669,
              0.08333333333333333,
              0.08333333333333333
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 2,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              -0.16666666666666669,
              0.08333333333333333,
              0.08333333333333333
            ],
            "microbatch": 0
          },
          {
            "sequence": 1,
            "position": 0,
            "h": [
              1,
              0
            ],
            "target": 1,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              -0.6666666666666667,
              0.3333333333333333
            ],
            "weight": 0.25,
            "weighted": 0.2746530721670274,
            "delta": [
              0.08333333333333333,
              -0.16666666666666669,
              0.08333333333333333
            ],
            "microbatch": 1
          }
        ]
      },
      "step": {
        "W": [
          [
            0.07500000000000001,
            -0.024999999999999998
          ],
          [
            8.326672684688674e-18,
            -0.024999999999999998
          ],
          [
            -0.075,
            0.05
          ]
        ],
        "b": [
          0.050000000000000024,
          -0.024999999999999994,
          -0.02499999999999999
        ]
      },
      "declared": {
        "before": 1.0986122886681096,
        "after": 1.0395838145143073,
        "numeratorBefore": 4.394449154672438,
        "numeratorAfter": 4.158335258057229,
        "count": 4
      },
      "rowLossAfter": [
        1.0742319851331101,
        0.9780344243080397,
        0.9780344243080397,
        1.1280344243080398
      ],
      "heldOut": {
        "before": 1.0986122886681096,
        "after": 1.1280344243080398,
        "probabilitiesAfter": [
          0.3760495267044016,
          0.32366882716534623,
          0.30028164613025216
        ]
      }
    },
    {
      "policy": "all",
      "grouping": "split-mean-of-means",
      "rows": [
        [
          {
            "sequence": 0,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "target": 2,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 0,
            "position": 2,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "target": 0,
            "status": "target",
            "eligible": true,
            "firstCompletion": false
          },
          {
            "sequence": 0,
            "position": 3,
            "reads": {
              "kind": "class",
              "id": 0,
              "role": "completion"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ],
        [
          {
            "sequence": 1,
            "position": 0,
            "reads": {
              "kind": "class",
              "id": 2,
              "role": "prompt"
            },
            "next": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "target": 1,
            "status": "target",
            "eligible": true,
            "firstCompletion": true
          },
          {
            "sequence": 1,
            "position": 1,
            "reads": {
              "kind": "class",
              "id": 1,
              "role": "completion"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 2,
            "reads": {
              "kind": "pad"
            },
            "next": {
              "kind": "pad"
            },
            "target": null,
            "status": "padding",
            "eligible": false,
            "firstCompletion": false
          },
          {
            "sequence": 1,
            "position": 3,
            "reads": {
              "kind": "pad"
            },
            "next": null,
            "target": null,
            "status": "no-successor",
            "eligible": false,
            "firstCompletion": false
          }
        ]
      ],
      "objective": {
        "status": "supervised",
        "reduction": "mean-of-means",
        "microbatches": [
          {
            "sequences": [
              0
            ],
            "count": 3,
            "numerator": 3.2958368660043287,
            "mean": 1.0986122886681096
          },
          {
            "sequences": [
              1
            ],
            "count": 1,
            "numerator": 1.0986122886681096,
            "mean": 1.0986122886681096
          }
        ],
        "count": 4,
        "numerator": 4.394449154672438,
        "loss": 1.0986122886681096,
        "gradW": [
          [
            -0.05555555555555558,
            0.05555555555555555
          ],
          [
            -0.22222222222222227,
            0.05555555555555555
          ],
          [
            0.2777777777777778,
            -0.11111111111111112
          ]
        ],
        "gradb": [
          -5.551115123125783e-17,
          -0.1666666666666667,
          0.16666666666666663
        ],
        "rows": [
          {
            "sequence": 0,
            "position": 0,
            "h": [
              0,
              1
            ],
            "target": 2,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              0.3333333333333333,
              -0.6666666666666667
            ],
            "weight": 0.16666666666666666,
            "weighted": 0.18310204811135158,
            "delta": [
              0.05555555555555555,
              0.05555555555555555,
              -0.11111111111111112
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 1,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.16666666666666666,
            "weighted": 0.18310204811135158,
            "delta": [
              -0.11111111111111112,
              0.05555555555555555,
              0.05555555555555555
            ],
            "microbatch": 0
          },
          {
            "sequence": 0,
            "position": 2,
            "h": [
              1,
              0
            ],
            "target": 0,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              -0.6666666666666667,
              0.3333333333333333,
              0.3333333333333333
            ],
            "weight": 0.16666666666666666,
            "weighted": 0.18310204811135158,
            "delta": [
              -0.11111111111111112,
              0.05555555555555555,
              0.05555555555555555
            ],
            "microbatch": 0
          },
          {
            "sequence": 1,
            "position": 0,
            "h": [
              1,
              0
            ],
            "target": 1,
            "logits": [
              0,
              0,
              0
            ],
            "probabilities": [
              0.3333333333333333,
              0.3333333333333333,
              0.3333333333333333
            ],
            "loss": 1.0986122886681096,
            "residual": [
              0.3333333333333333,
              -0.6666666666666667,
              0.3333333333333333
            ],
            "weight": 0.5,
            "weighted": 0.5493061443340548,
            "delta": [
              0.16666666666666666,
              -0.33333333333333337,
              0.16666666666666666
            ],
            "microbatch": 1
          }
        ]
      },
      "step": {
        "W": [
          [
            0.016666666666666673,
            -0.016666666666666666
          ],
          [
            0.06666666666666668,
            -0.016666666666666666
          ],
          [
            -0.08333333333333333,
            0.03333333333333333
          ]
        ],
        "b": [
          1.6653345369377347e-17,
          0.05000000000000001,
          -0.04999999999999999
        ]
      },
      "declared": {
        "before": 1.0986122886681096,
        "after": 1.0692696228991385,
        "numeratorBefore": 4.394449154672438,
        "numeratorAfter": 4.277078491596554,
        "count": 4
      },
      "rowLossAfter": [
        1.115558256712118,
        1.0871734116281455,
        1.0871734116281455,
        0.9871734116281454
      ],
      "heldOut": {
        "before": 1.0986122886681096,
        "after": 0.9871734116281454,
        "probabilitiesAfter": [
          0.3371681837226015,
          0.3726284711506061,
          0.29020334512679247
        ]
      }
    }
  ],
  "numericalSourceSha256": "f38d736728e972c9d2575ee2763fd0f5d3b31398db7fa328f09b65bc7bca7ad8",
  "pythonWitnessSha256": "78acc579b3c11f386daada0b1c2b56377875559dedfdf6c56a2dd19c309da987"
}