Excel report produced by the torch exporter#

Every call to to_onnx with a filename argument saves two artifacts next to the .onnx file:

  • the ONNX model itself, and

  • a companion .xlsx workbook that contains up to six sheets covering different aspects of the export process.

This example exports a small model, reads the workbook back, and visualises the content of every sheet so you can see what each page looks like.

The six sheets are:

stats

One row per optimisation rule application — pattern name, number of nodes added/removed, and time spent.

stats_agg

The same data aggregated by rule name and sorted by nodes removed (descending).

extra

Scalar key/value pairs recorded during the export: timing entries, counters, export-option flags, etc.

build_stats

Timing and counter entries collected by the low-level BuildStats object embedded in the model container (written only for large_model exports).

node_stats

Per-op-type breakdown: how many nodes of each type are in the exported model and the estimated FLOPs for each type.

symbolic_flops

Per-node symbolic FLOPs expressions computed by BasicShapeBuilder with InferenceMode.COST. When the model’s input shapes contain symbolic dimensions the values are symbolic arithmetic strings; for fully static shapes they are integers.

Imports#

import os

import matplotlib.pyplot as plt
import pandas as pd
import torch

from yobx.torch.interpreter import to_onnx

1. Define and export a model#

We use a small two-layer MLP so that the export produces a non-trivial set of ONNX nodes and a visible optimisation report.

class SmallMLP(torch.nn.Module):
    """Two-layer MLP: Linear → ReLU → Linear."""

    def __init__(self, in_features: int = 16, hidden: int = 32, out_features: int = 8):
        super().__init__()
        self.fc1 = torch.nn.Linear(in_features, hidden)
        self.fc2 = torch.nn.Linear(hidden, out_features)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.fc2(torch.relu(self.fc1(x)))


model = SmallMLP()
x = torch.randn(4, 16)

onnx_path = "plot_export_report.onnx"
xlsx_path = os.path.splitext(onnx_path)[0] + ".xlsx"

# ``filename`` triggers both the ONNX save and the Excel report.
artifact = to_onnx(model, (x,), filename=onnx_path)

print(f"ONNX saved  : {onnx_path}")
print(f"Report saved: {xlsx_path}")
print(f"Nodes in graph: {len(artifact.graph.node)}")
print(f"Report repr  : {artifact.report!r}")
ONNX saved  : plot_export_report.onnx
Report saved: plot_export_report.xlsx
Nodes in graph: 3
Report repr  : ExportReport(n_stats=633, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3)

2. Read every sheet from the workbook#

pandas.read_excel() with sheet_name=None returns an {sheet_name: DataFrame} mapping so we can inspect every page.

sheets: dict[str, pd.DataFrame] = pd.read_excel(xlsx_path, sheet_name=None)
print(f"\nSheets in workbook: {list(sheets)}")
for name, df in sheets.items():
    print(f"\n--- {name} ({df.shape[0]} rows × {df.shape[1]} cols) ---")
    print(df.to_string(index=False))
Sheets in workbook: ['stats', 'stats_agg', 'extra', 'node_stats', 'symbolic_flops']

--- stats (633 rows × 13 cols) ---
                                     pattern  removed  added      time_in  value  iteration  instances  match_index  n_nodes exit_point  changed  scale  algo
                    dynamic_dimension_naming        0      0 2.149500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            check_A-dynamic_dimension_naming        0      0 1.921500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             check_A-opt-sub        0      0 1.893600e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        2      1 6.393100e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     check_remove_identity-0        0      0 1.787599e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 4.079500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-1        0      0 1.731800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            constant_folding        2      0 3.069210e-04    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            apply_constant_folding_new_inits        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
           apply_constant_folding__Transpose        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_constant_folding-2        0      0 1.835800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.329699e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-3        0      0 1.376301e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                    patterns        0      0 9.505298e-03    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            check_pattern_00        0      0 2.014701e-05    NaN       -1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 1.045800e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 5.462003e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 5.947004e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 5.631999e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 5.299997e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 7.561990e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 5.925001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 5.747002e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 5.349008e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 5.072987e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.028712e-03    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 3.510620e-04    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.685560e-04    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 7.080002e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 5.548995e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.581998e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 5.143011e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.960006e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 5.102993e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 5.403010e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 5.968002e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 1.078899e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 5.498005e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.189501e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 1.035300e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.315754e-03    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 1.525700e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 5.302005e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 5.241003e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 5.914000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 4.633999e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 4.303001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 5.128997e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 5.077993e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 4.938993e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 4.989008e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 4.155008e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.647998e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 4.542002e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 4.054993e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 6.100003e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 6.338989e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 2.074300e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.720000e-06    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.233100e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 4.196599e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.298400e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.365900e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.182999e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.585100e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_0        0      0 4.160931e-03    NaN        0.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.734990e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.754998e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 6.050002e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 4.282003e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 2.152601e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.171001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.510899e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 5.397000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 5.059992e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.267000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.877991e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.792993e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 4.860995e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 4.247995e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 4.012007e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 4.293994e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.934998e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 4.917005e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 4.554997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 4.078000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 4.186993e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 9.812997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 9.654301e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 7.975003e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 6.589995e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 1.341199e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 6.536997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 6.579998e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 5.398993e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 6.686998e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 4.465997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 5.487993e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.965012e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 5.048001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 4.838002e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 1.037100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 1.679601e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 1.259199e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 5.227994e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 1.851900e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.146301e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.124995e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 3.961002e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 4.967005e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.429006e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.558009e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.498300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.230401e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 4.732996e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.126299e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.191800e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.695001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.524001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 6.742004e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.369009e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 4.172005e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.004399e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 8.895004e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 5.271009e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 4.671005e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.393994e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.467001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 9.300988e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 4.721005e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 8.631003e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 4.059999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 4.108995e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 4.097994e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 4.271002e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.425012e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 4.185000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 4.358997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 4.469999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 3.580994e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 1.151000e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 9.048003e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 4.528993e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.761001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.484000e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 1.056801e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 3.541005e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 3.412992e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 4.383997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 3.937996e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 4.055997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.988011e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 4.902002e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 6.547009e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.759000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 4.917994e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.713991e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 7.317998e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.574002e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 5.025999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 4.315996e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 4.497997e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.721601e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.128989e-06    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.221300e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.447200e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.133700e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 5.661500e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.441700e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.138100e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_1        0      0 1.026206e-03    NaN        1.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.553004e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.570000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 1.220900e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 4.042013e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 1.801101e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.045010e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.236699e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.576010e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 1.349401e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.974005e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 5.156995e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.589994e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 4.090005e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 4.104993e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 4.057001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.611000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.812005e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.969995e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.706999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.456007e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 3.583991e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.185200e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 6.185700e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 4.843998e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 3.889989e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.157011e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 3.952009e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 4.639995e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.972993e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.698005e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 3.895009e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.729998e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.938993e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 3.615991e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 4.193003e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 9.794996e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 1.374100e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 1.078199e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 4.119996e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 1.625200e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.102200e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 4.971007e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 4.014000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 4.522008e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.210990e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.026995e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.291600e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.068400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 3.927998e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.061801e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.045600e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 3.905006e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.057001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 6.357004e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 3.829002e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.736990e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 9.620999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 8.503994e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 4.501999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 3.982001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.065994e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.588001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 9.500000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 3.669003e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 8.157993e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 4.079004e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 4.036992e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 3.725014e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 3.667010e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.662004e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.434994e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 3.689987e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 3.843001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 3.592999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 9.765005e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 7.299997e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 3.942012e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.488996e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.301800e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 9.173003e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 3.819994e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 3.523994e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 4.047004e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 3.819005e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 4.112997e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.576002e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 4.255999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 6.571005e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.810994e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 5.034002e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 3.982990e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 7.201001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 3.913010e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 4.169997e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 3.739988e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.291992e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 4.171990e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.480601e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.045999e-06    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 9.955998e-06    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.265400e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.001400e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.869300e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 9.732990e-06    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.094801e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_2        0      0 8.677230e-04    NaN        2.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 5.468988e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.175003e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.402013e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 3.552996e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 4.435399e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 7.276991e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.382400e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.774003e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 4.086993e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.214002e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.740010e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.799003e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.949986e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.749999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 3.501002e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.328998e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.761990e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.560999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.522000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.752997e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 3.420995e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.038201e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 5.351701e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 4.203001e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 3.690002e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.279000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 4.001995e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 4.007990e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.830995e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.630004e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 3.454988e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.610003e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.519999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 3.727007e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 4.123998e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 9.037991e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 1.402700e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 9.577998e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 3.535300e-05    NaN        3.0        2.0          2.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 4.315007e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 1.617400e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.110500e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 4.745001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 3.580994e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 4.197995e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.055008e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.330999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.223701e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.067700e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 3.790003e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.053099e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.016799e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.483009e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.073998e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 5.988011e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.061993e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.932000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 9.011012e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 7.746989e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 3.809007e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 3.512992e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 3.430992e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.114001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 9.630996e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 3.759997e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 7.191004e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 3.770998e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 3.982001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 3.879992e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 3.490000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.337002e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.320005e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 3.289009e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 3.965004e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 3.677007e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 9.101990e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 7.202005e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 4.054004e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.699999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.308099e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 8.867995e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 3.499008e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 3.476001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 3.951995e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.367001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 3.699999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.694004e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 3.515990e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 6.071001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.567992e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 4.632006e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.063011e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 6.952003e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.225003e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 3.934998e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 3.912995e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.587993e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 3.698995e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 5.828899e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                      apply_MatMulAddPattern        2      1 1.240260e-04    NaN        3.0        1.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 9.299984e-07    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 3.826901e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                      apply_MatMulAddPattern        2      1 8.033200e-05    NaN        3.0        1.0          1.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 5.449983e-07    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.197800e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.045010e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 8.417002e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 4.571999e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.572099e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.197699e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 9.415002e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 1.719600e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_3        0      0 1.120462e-03    NaN        3.0        NaN          NaN      3.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.684000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 3.792011e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 3.547000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 2.999004e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 3.936002e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 2.750006e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 3.734996e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 2.667002e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 3.268011e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 2.935005e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 3.733992e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 3.883004e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 2.669010e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.150009e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 2.863992e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 2.974004e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 1.451001e-05    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 2.581000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 2.678993e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 2.507993e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 2.444009e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 7.396011e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 4.518995e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 2.891989e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 2.390007e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 6.625996e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 3.203997e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 3.569992e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.056004e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 2.594999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 2.888002e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 3.265013e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.129004e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 2.938992e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 3.741996e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 3.000998e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 3.433001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 2.979999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 1.905400e-05    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 2.639199e-05    NaN        4.0        2.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 4.043002e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 3.100999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 3.139998e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 3.110006e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 3.433001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 3.527995e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 2.995002e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 3.358000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 2.623987e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 2.611996e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 5.029699e-05    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 3.310008e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 3.480003e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 2.875997e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 2.806992e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 2.976012e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 2.638000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 7.755007e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 6.470989e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 3.684996e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 3.112000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 2.651010e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 3.089008e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 6.863003e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 2.893998e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 2.746005e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 2.885005e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 2.471003e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 3.491994e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 2.747998e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 2.397996e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 2.265006e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 2.458997e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 2.900997e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 2.467001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 2.784989e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 7.940005e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 2.492001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 2.614994e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.308700e-05    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 2.770990e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 2.446992e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 2.714005e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 2.662011e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 3.156005e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 2.742992e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 2.594999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 2.979010e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 2.986009e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 3.381007e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 3.821013e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 3.118999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 2.639994e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 2.722998e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 3.327994e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 2.681001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 2.553003e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 3.456007e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 8.853100e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                  apply_GemmTransposePattern        1      2 1.998520e-04    NaN        4.0        1.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 7.499912e-07    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 6.647200e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                  apply_GemmTransposePattern        1      2 1.343790e-04    NaN        4.0        1.0          1.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 6.310001e-07    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.516100e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.190005e-06    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.099599e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.447100e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.090100e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.140401e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.044299e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.636900e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_4        0      0 1.044861e-03    NaN        4.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.713002e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.695990e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.828995e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 4.154994e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 4.046989e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.425994e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 5.413996e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 3.831999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 4.648013e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 3.831999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.460002e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 5.024005e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.599998e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.891997e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 3.933994e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.844994e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.719993e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.531008e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.433990e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.612004e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 4.211004e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.217400e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 1.776899e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 3.733003e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 3.287001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.359996e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 3.472989e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 4.169007e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.723006e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.343011e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 4.123009e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.600006e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.600995e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 3.581008e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 4.121001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 3.649999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 4.426998e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 4.006986e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 1.613899e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 2.656900e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 5.403999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 4.102010e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 4.613001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 4.137997e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 4.125002e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.232003e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 7.230003e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 5.038994e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 5.202004e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 4.966991e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 5.649010e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 4.910995e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 5.797003e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 5.169990e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 4.764006e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 9.094001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 5.089998e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.299300e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 1.412099e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 5.621987e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 5.075999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.824004e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 5.141992e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.391199e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 5.301001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 5.173002e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 4.926987e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 5.139009e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 5.248003e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 3.803600e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 1.330201e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 6.671005e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 5.412003e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 2.250700e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 1.178001e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 5.764989e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 1.020799e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 2.678399e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 4.828995e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 4.555799e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 5.762005e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 9.972995e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 9.023992e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 5.382011e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 5.840993e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 5.283000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 5.360009e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 4.826012e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 5.130001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 6.137008e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 7.023991e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 5.930007e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 5.066002e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 5.223992e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 4.909001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 4.884001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 4.778005e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 4.874004e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 2.697000e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.758999e-06    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.769500e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 4.512799e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.492799e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 5.314800e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.551099e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 6.308001e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            check_patterns-4        0      0 2.389100e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.972399e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-5        0      0 1.719801e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        0      0 3.494300e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     check_remove_identity-6        0      0 1.628700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            constant_folding        2      0 3.970570e-04    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            apply_constant_folding_new_inits        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
           apply_constant_folding__Transpose        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_constant_folding-7        0      0 1.851800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.425800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-8        0      0 1.430100e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
               remove_duplicated_initializer        0      0 6.529008e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
       check_remove_duplicated_initializer-9        0      0 1.134801e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        0      0 2.733199e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_remove_identity-10        0      0 1.072099e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.462699e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                      check_remove_unused-11        0      0 1.011101e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                       order        0      0 6.891700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                check_orderA        0      0 1.415001e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                check_orderL        0      0 1.149300e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 shape_order        0      0 4.825499e-05    NaN        NaN        NaN          NaN      NaN        NaN      0.0    0.0   NaN
                                       order        0      0          NaN    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   2.0
                              check_order-12        0      0 1.176700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                optimization        5      0 1.091450e-02    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN

--- stats_agg (143 rows × 4 cols) ---
                                     pattern  added  removed  time_in
                                optimization      0        5 0.010915
                            constant_folding      0        4 0.000704
                      apply_MatMulAddPattern      2        4 0.000204
                  apply_GemmTransposePattern      4        2 0.000334
                             remove_identity      1        2 0.000126
            apply_constant_folding_new_inits      0        0 0.000000
           apply_constant_folding__Transpose      0        0 0.000000
                    check_constant_folding-2      0        0 0.000018
                    check_constant_folding-7      0        0 0.000019
                              check_order-12      0        0 0.000012
                                check_orderA      0        0 0.000014
                                check_orderL      0        0 0.000011
                     build_graph_for_pattern      0        0 0.000175
            check_A-dynamic_dimension_naming      0        0 0.000019
                             check_A-opt-sub      0        0 0.000019
                           check_pattern_A20      0        0 0.000107
                           check_pattern_A10      0        0 0.000003
                            check_pattern_00      0        0 0.000020
                           check_pattern_BD0      0        0 0.000072
       check_remove_duplicated_initializer-9      0        0 0.000011
                     check_remove_identity-0      0        0 0.000018
                          check_pattern_BUS0      0        0 0.000071
                           check_pattern_BI0      0        0 0.000076
                     check_remove_identity-6      0        0 0.000016
                       check_remove_unused-1      0        0 0.000017
                       check_remove_unused-3      0        0 0.000014
                      check_remove_unused-11      0        0 0.000010
                       check_remove_unused-5      0        0 0.000017
                       check_remove_unused-8      0        0 0.000014
                    check_remove_identity-10      0        0 0.000011
                            check_patterns-4      0        0 0.000024
                                 iteration_0      0        0 0.004161
                                 iteration_1      0        0 0.001026
                                 iteration_2      0        0 0.000868
                                 iteration_3      0        0 0.001120
                                 iteration_4      0        0 0.001045
                   match_AttentionGQAPattern      0        0 0.000016
             match_BatchNormalizationPattern      0        0 0.000043
     match_BatchNormalizationTrainingPattern      0        0 0.000027
                 match_CastCastBinaryPattern      0        0 0.000092
                       match_CastCastPattern      0        0 0.000028
     match_CastLayerNormalizationCastPattern      0        0 0.000031
                     match_CastOpCastPattern      0        0 0.000050
                           match_CastPattern      0        0 0.000025
                       match_ClipClipPattern      0        0 0.000021
                    dynamic_dimension_naming      0        0 0.000021
                     insert_and_remove_nodes      0        0 0.000252
                  match_ConcatReshapePattern      0        0 0.000031
               match_ConcatTwiceUnaryPattern      0        0 0.000023
          match_ConstantToInitializerPattern      0        0 0.000019
                   match_ConvBiasNullPattern      0        0 0.000025
                        match_DropoutPattern      0        0 0.000018
                match_ExpandBroadcastPattern      0        0 0.000019
                         match_ExpandPattern      0        0 0.000035
                     match_ExpandSwapPattern      0        0 0.000018
          match_ExpandUnsqueezeExpandPattern      0        0 0.000022
           match_FunctionAttentionGQAPattern      0        0 0.000032
              match_FunctionAttentionPattern      0        0 0.000030
       match_FunctionCausalMaskMulAddPattern      0        0 0.000029
             match_FunctionCausalMaskPattern      0        0 0.000022
            match_FunctionCosSinCachePattern      0        0 0.000021
    match_FunctionHalfRotaryEmbeddingPattern      0        0 0.000021
                   match_GathersSplitPattern      0        0 0.000018
                           match_GeluPattern      0        0 0.001080
                  match_GemmTransposePattern      0        0 0.000067
                       match_IdentityPattern      0        0 0.000585
             match_LayerNormalizationPattern      0        0 0.000024
        match_LayerNormalizationScalePattern      0        0 0.000020
                      match_LeakyReluPattern      0        0 0.001016
                      match_MatMulAddPattern      0        0 0.000071
              match_MatMulReshape2Of3Pattern      0        0 0.000060
                        match_MaxReluPattern      0        0 0.000021
                   match_MulMulMatMulPattern      0        0 0.000041
                match_MulMulMulScalarPattern      0        0 0.000023
          match_MulUnsqueezeUnsqueezePattern      0        0 0.000027
                         match_NotNotPattern      0        0 0.000020
                       match_NotWherePattern      0        0 0.000019
                    match_ConcatEmptyPattern      0        0 0.000031
                   match_ConcatGatherPattern      0        0 0.000026
            match_RMSNormalizationMulPattern      0        0 0.000019
                        match_PadConvPattern      0        0 0.000024
               match_RMSNormalizationPattern      0        0 0.000020
                  match_ReduceArgTopKPattern      0        0 0.000023
                    match_Reshape2Of3Pattern      0        0 0.000052
           match_ReshapeMatMulReshapePattern      0        0 0.000036
                  match_ReduceReshapePattern      0        0 0.000023
             match_ReduceSumNormalizePattern      0        0 0.000019
                 match_ReshapeReshapePattern      0        0 0.000030
               match_RotaryConcatPartPattern      0        0 0.000027
                match_RotaryEmbeddingPattern      0        0 0.000020
          match_SameChildrenFromInputPattern      0        0 0.000056
                   match_SameChildrenPattern      0        0 0.000061
            match_SequenceConstructAtPattern      0        0 0.000023
                        match_ReshapePattern      0        0 0.000027
           match_ReshapeReshapeBinaryPattern      0        0 0.000040
match_ShapeBasedExpandBroadcastMatMulPattern      0        0 0.000041
      match_ShapeBasedExpandBroadcastPattern      0        0 0.000049
  match_ShapeBasedExpandCastWhereSwapPattern      0        0 0.000020
           match_ShapeBasedExpandSwapPattern      0        0 0.000088
             match_ShapeBasedIdentityPattern      0        0 0.000028
          match_ShapeBasedMatMulToMulPattern      0        0 0.000041
     match_ShapeBasedReshapeIsSqueezePattern      0        0 0.000028
         match_ShapeBasedSameChildrenPattern      0        0 0.000027
        match_ShapeBasedShapeShapeAddPattern      0        0 0.000037
         match_ShapeBasedStaticExpandPattern      0        0 0.000024
             match_ShapedBasedReshapePattern      0        0 0.000028
                     match_SliceSlicePattern      0        0 0.000019
                    match_SlicesSplitPattern      0        0 0.000021
    match_SoftmaxCrossEntropyLossCastPattern      0        0 0.001365
         match_ShapeBasedConcatExpandPattern      0        0 0.000021
  match_ShapeBasedEditDistanceReshapePattern      0        0 0.000025
      match_SplitToSequenceSequenceAtPattern      0        0 0.000020
                    match_SplitConcatPattern      0        0 0.000020
                     match_SqueezeAddPattern      0        0 0.000047
         match_SqueezeBinaryUnsqueezePattern      0        0 0.000025
                        match_Sub1MulPattern      0        0 0.000052
              match_SwapExpandReshapePattern      0        0 0.000031
               match_SqueezeUnsqueezePattern      0        0 0.000025
            match_StaticConcatReshapePattern      0        0 0.000026
                      match_SwapUnaryPattern      0        0 0.000043
         match_SwapUnsqueezeTransposePattern      0        0 0.000030
              match_SwitchOrderBinaryPattern      0        0 0.000039
        match_SwitchReshapeActivationPattern      0        0 0.000042
          match_TransposeEqualReshapePattern      0        0 0.000042
                match_TransposeGatherPattern      0        0 0.000023
            match_SwapExpandUnsqueezePattern      0        0 0.000024
             match_SwapRangeAddScalarPattern      0        0 0.000019
         match_TransposeReshapeMatMulPattern      0        0 0.000037
                match_TransposeMatMulPattern      0        0 0.000100
                 match_UnsqueezeEqualPattern      0        0 0.000020
      match_TransposeReshapeTransposePattern      0        0 0.000028
      match_UnsqueezeOrSqueezeReshapePattern      0        0 0.000026
               match_UnsqueezeReshapePattern      0        0 0.000024
             match_UnsqueezeUnsqueezePattern      0        0 0.000023
             match_TransposeTransposePattern      0        0 0.000026
                       match_WhereAddPattern      0        0 0.000020
                                       order      0        0 0.000069
               remove_duplicated_initializer      0        0 0.000007
                                    patterns      0        0 0.009505
                     remove_duplicated_shape      0        0 0.000014
                       remove_identity_nodes      0        0 0.000234
                               remove_unused      0        0 0.000408
                                 shape_order      0        0 0.000048

--- extra (8 rows × 2 cols) ---
                                    key                                                                                                                                                                                                                                                                                                                                   value
                                builder                                                                                                                                                                                                                  {'aten': {<OpOverload(op='aten.linear', overload='default')>: 2, <OpOverload(op='aten.relu', overload='default')>: 1}}
               time_export_graph_module                                                                                                                                                                                                                                                                                                                                0.053227
   stat_time_export_and_post_processing                                                                                                                                                                                                                                                                                                                                0.038334
stat_time_post_process_exported_program                                                                                                                                                                                                                                                                                                                                0.000799
stat_time_torch_export_export_oblivious                                                                                                                                                                                                                                                                                                                                0.037392
            time_export_builder_process                                                                                                                                                                                                                                                                                                                                0.004555
                           optimization ExportReport(n_stats=633, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3)
                    time_export_to_onnx                                                                                                                                                                                                                                                                                                                                0.012572

--- node_stats (2 rows × 3 cols) ---
op_type  count  flops
   Gemm      2   6304
   Relu      1    128

--- symbolic_flops (3 rows × 3 cols) ---
op_type                                       node_name  symbolic_flops
   Gemm  GemmTransposePattern--MatMulAddPattern--Opset2            4224
   Relu                                            relu             128
   Gemm GemmTransposePattern--MatMulAddPattern--Opset32            2080

3. Plot the sheet content#

We render each sheet as a matplotlib table so sphinx-gallery captures the output. Sheets that are absent (e.g. build_stats for a standard-size model) are silently skipped.

ordered_sheets = ["extra", "stats", "stats_agg", "node_stats", "symbolic_flops", "build_stats"]
present = [s for s in ordered_sheets if s in sheets]
n = len(present)

fig, axes = plt.subplots(n, 1, figsize=(10, 3 * n))
if n == 1:
    axes = [axes]

for ax, sheet_name in zip(axes, present):
    df = sheets[sheet_name]
    ax.axis("off")
    ax.set_title(sheet_name, fontsize=11, fontweight="bold", pad=6)
    if df.empty:
        ax.text(0.5, 0.5, "(empty)", ha="center", va="center", transform=ax.transAxes)
        continue
    # Truncate to at most 10 rows for readability
    display_df = df.head(10)
    tbl = ax.table(
        cellText=display_df.values.tolist(),
        colLabels=list(display_df.columns),
        cellLoc="center",
        loc="center",
    )
    tbl.auto_set_font_size(False)
    tbl.set_fontsize(7)
    tbl.auto_set_column_width(col=list(range(len(display_df.columns))))
    if len(df) > 10:
        ax.text(
            0.5,
            0.01,
            f"… {len(df) - 10} more rows not shown",
            ha="center",
            va="bottom",
            fontsize=7,
            transform=ax.transAxes,
        )

fig.suptitle("Excel report sheets produced by to_onnx()", fontsize=12)
plt.tight_layout()
plt.show()
Excel report sheets produced by to_onnx(), extra, stats, stats_agg, node_stats, symbolic_flops
~/github/yet-another-onnx-builder/docs/examples/torch/plot_export_report.py:147: UserWarning: Tight layout not applied. The left and right margins cannot be made large enough to accommodate all Axes decorations.
  plt.tight_layout()

Total running time of the script: (0 minutes 1.302 seconds)

Related examples

InputObserver: recording inputs for ONNX export

InputObserver: recording inputs for ONNX export

Applying patches to a model and displaying the diff

Applying patches to a model and displaying the diff

Registering a custom class as a pytree node

Registering a custom class as a pytree node

Gallery generated by Sphinx-Gallery