Excel report produced by the torch exporter#

Every call to to_onnx with a filename argument saves two artifacts next to the .onnx file:

  • the ONNX model itself, and

  • a companion .xlsx workbook that contains up to six sheets covering different aspects of the export process.

This example exports a small model, reads the workbook back, and visualises the content of every sheet so you can see what each page looks like.

The six sheets are:

stats

One row per optimisation rule application — pattern name, number of nodes added/removed, and time spent.

stats_agg

The same data aggregated by rule name and sorted by nodes removed (descending).

extra

Scalar key/value pairs recorded during the export: timing entries, counters, export-option flags, etc.

build_stats

Timing and counter entries collected by the low-level BuildStats object embedded in the model container (written only for large_model exports).

node_stats

Per-op-type breakdown: how many nodes of each type are in the exported model and the estimated FLOPs for each type.

symbolic_flops

Per-node symbolic FLOPs expressions computed by BasicShapeBuilder with InferenceMode.COST. When the model’s input shapes contain symbolic dimensions the values are symbolic arithmetic strings; for fully static shapes they are integers.

Imports#

import os

import matplotlib.pyplot as plt
import pandas as pd
import torch

from yobx.torch.interpreter import to_onnx

1. Define and export a model#

We use a small two-layer MLP so that the export produces a non-trivial set of ONNX nodes and a visible optimisation report.

class SmallMLP(torch.nn.Module):
    """Two-layer MLP: Linear → ReLU → Linear."""

    def __init__(self, in_features: int = 16, hidden: int = 32, out_features: int = 8):
        super().__init__()
        self.fc1 = torch.nn.Linear(in_features, hidden)
        self.fc2 = torch.nn.Linear(hidden, out_features)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.fc2(torch.relu(self.fc1(x)))


model = SmallMLP()
x = torch.randn(4, 16)

onnx_path = "plot_export_report.onnx"
xlsx_path = os.path.splitext(onnx_path)[0] + ".xlsx"

# ``filename`` triggers both the ONNX save and the Excel report.
artifact = to_onnx(model, (x,), filename=onnx_path)

print(f"ONNX saved  : {onnx_path}")
print(f"Report saved: {xlsx_path}")
print(f"Nodes in graph: {len(artifact.graph.node)}")
print(f"Report repr  : {artifact.report!r}")
ONNX saved  : plot_export_report.onnx
Report saved: plot_export_report.xlsx
Nodes in graph: 3
Report repr  : ExportReport(n_stats=669, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3, n_discrepancies=0)

2. Read every sheet from the workbook#

pandas.read_excel() with sheet_name=None returns an {sheet_name: DataFrame} mapping so we can inspect every page.

sheets: dict[str, pd.DataFrame] = pd.read_excel(xlsx_path, sheet_name=None)
print(f"\nSheets in workbook: {list(sheets)}")
for name, df in sheets.items():
    print(f"\n--- {name} ({df.shape[0]} rows × {df.shape[1]} cols) ---")
    print(df.to_string(index=False))
Sheets in workbook: ['stats', 'stats_agg', 'extra', 'node_stats', 'symbolic_flops']

--- stats (669 rows × 13 cols) ---
                                     pattern  removed  added      time_in  value  iteration  instances  match_index  n_nodes exit_point  changed  scale  algo
                    dynamic_dimension_naming        0      0 2.665700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            check_A-dynamic_dimension_naming        0      0 2.594800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             check_A-opt-sub        0      0 2.479200e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        4      2 8.288700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     check_remove_identity-0        0      0 2.341300e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 5.092400e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-1        0      0 2.080200e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            constant_folding        2      0 3.555900e-04    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            apply_constant_folding_new_inits        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
           apply_constant_folding__Transpose        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_constant_folding-2        0      0 2.164700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.812700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-3        0      0 1.582200e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                    patterns        1      0 9.859492e-03    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            check_pattern_00        0      0 2.056700e-05    NaN       -1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 1.251000e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 7.007000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 6.018000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 6.692000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 6.462000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 7.056000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 6.065000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 5.776000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 6.132999e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 5.593000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 5.605000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 5.221000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 5.708000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.305701e-03    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 3.686410e-04    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 8.455680e-04    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 8.313000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 7.213000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 6.472000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 6.826000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 5.563000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 5.712001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 5.912000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 5.211000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 6.560001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 1.119100e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 5.262001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 5.039000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 5.540000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.330100e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 1.056600e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.449352e-03    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 1.585100e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 6.551000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 5.882000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 6.437001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 5.426000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 5.256000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 5.846000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 5.388000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 5.594000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 5.436000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 5.506000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 5.850000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 5.122000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 5.583001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 6.408000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 6.400000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 2.126400e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 3.207000e-06    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.456700e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        2      1 5.903200e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.221900e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.323500e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.182000e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.428200e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_0        0      0 4.562677e-03    NaN        0.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.294000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.298000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 5.942000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 3.914000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 2.249100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 5.209999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.486400e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.926999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 5.165000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.170000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 5.151001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 5.778000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 5.169000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 4.017999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 4.121000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 5.658000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 4.650000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 5.032000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 4.481000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 4.145000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 4.920000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 4.255000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 4.435000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 4.050999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.026900e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 9.961100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 8.187000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 6.960000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 1.425300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 6.335999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 7.133000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 6.128000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 6.740000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 5.841000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 7.275000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 6.933999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 6.702000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 6.884000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 1.521900e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 2.125100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 1.135100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 5.437000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 4.691000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 1.888700e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.129400e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.037000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 5.428001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 5.164999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.966000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.933000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.423000e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.267400e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 4.688000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.675690e-04    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.338300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.930001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.583000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 7.386000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 4.214000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 4.399000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.661000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 4.423000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.113400e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 8.821000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 5.208000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 4.431000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.576000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.717000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.121700e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 4.417000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 9.569000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 4.351000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 4.665000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 4.230000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 4.273000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 4.240000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.884001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 5.321000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 4.431000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 3.764000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 1.173300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 9.466999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 5.184999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.994001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.563400e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 1.192100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 4.035000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 3.759000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 4.709000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.091999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 3.851000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.962999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 4.813000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 7.359000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.865999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 4.636000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.862000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 8.707000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 5.064000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 4.740000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 4.279000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.770000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.842200e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.386000e-06    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.113300e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.635800e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.141500e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.269300e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.169900e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.305700e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_1        0      0 1.235255e-03    NaN        1.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.061000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.584000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.600000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 4.095000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 1.833100e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.310999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.289300e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.259000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 3.979000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.336999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.500999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.496001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.704000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.937999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 3.960999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.623000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 4.068001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.938000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.675999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.640001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 4.301000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 3.770000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 3.964001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 4.173000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.056000e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 6.879900e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 4.449999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 3.883000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.449000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 3.966999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 4.287000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.914000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.993000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 3.795000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.721001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 2.728000e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 6.443000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 5.492000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 1.053400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 1.561500e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 1.018600e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 5.013000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 4.095000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 1.700300e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.065500e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.252999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 4.345000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 4.409000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.564000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.208000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.311400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.121800e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 3.801000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.070800e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.073300e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.157000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.322001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 6.444000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 3.665000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 4.396000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.469000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.840000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 9.238001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 8.824000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 4.611000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 4.162999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.086000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.159000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.061500e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 3.959000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 8.536001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 3.810000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 4.152000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 4.080001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 3.823000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.697000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.824000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 3.868000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 4.101000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 3.286000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 1.027800e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 7.902000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 3.701000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.761001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.401900e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 1.031400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 3.867000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 3.651000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 3.731000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.112000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 3.773001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.876000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 3.605001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 6.468000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.449000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 4.417000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.033999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 7.230000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.062001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 3.925000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 3.824000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.540999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 4.125000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.807800e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.146000e-06    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.220300e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.398000e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.106900e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.014500e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.035800e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.344900e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_2        0      0 9.358760e-04    NaN        2.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 5.862000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.314000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.652999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 3.746000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 1.781900e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.073000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.285900e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.303000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 4.095000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.405000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.381001e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.256000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.749999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.425000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 3.734000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.842000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 4.042000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.661000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.491000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.735000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 4.131000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 3.609000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 3.601001e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 3.569000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 9.571000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 6.089500e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 4.342000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 3.900999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.542000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 4.122000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 4.432000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.874000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.930000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 3.743000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.662000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.390999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 3.965000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 3.956000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 9.111000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 1.410200e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 9.842000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 4.758000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 3.762800e-05    NaN        3.0        2.0          2.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 5.128000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 1.797700e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.031600e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.094000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 4.201000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 4.329000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.284000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.160001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.266100e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.139300e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 4.278000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.146100e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.055300e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.228999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.182000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 6.239000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 3.738000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 3.368999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.239000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.597000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 9.223000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 7.785000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 4.183000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 3.644000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.139000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 3.929001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.064900e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 3.929999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 7.677000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 3.757000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 3.949000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 3.882000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 4.005999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.635000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.585999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 3.657000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 3.844000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 3.599000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 9.709001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 7.225000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 3.757000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.839001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.343400e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 9.785000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 3.726001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 3.550001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 3.642000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 3.860000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 4.108000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.769001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 3.757000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 5.990000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.447000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 4.324000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 3.714999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 7.013999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.113000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 3.525000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 3.587000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.558001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 3.724001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 8.153800e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                      apply_MatMulAddPattern        2      1 1.452380e-04    NaN        3.0        1.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 7.079998e-07    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 4.072300e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                      apply_MatMulAddPattern        2      1 8.580300e-05    NaN        3.0        1.0          1.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 6.299997e-07    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.152700e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 1.832001e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 7.959999e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 2.683300e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 8.156000e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.361100e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 7.619000e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 1.717600e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_3        0      0 1.113484e-03    NaN        3.0        NaN          NaN      3.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 4.935000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 3.645000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 3.928000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 2.930000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 3.222000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 2.755000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 3.940000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 3.130000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 2.751000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 2.948999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 3.194001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 2.971999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 2.617000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 2.590999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 2.505000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 2.578000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 2.700000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 2.750000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 2.697000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 2.665000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 3.182000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 2.543000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 2.752000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 2.773000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 7.658000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 3.489999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 2.769000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 2.782000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 6.330000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 2.787000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 2.985000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 2.699000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 2.529000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 2.695000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 3.340000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 3.091000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 2.637000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 2.919000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 2.739001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 3.075000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 2.851000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 3.120001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 1.609600e-05    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 2.531100e-05    NaN        4.0        2.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 3.630000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 3.104000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 2.911999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 2.952001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 2.996000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 2.876001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 2.983001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 2.856000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 2.698000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 2.815000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 2.977999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 3.370000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 3.194000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 2.892000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 2.500000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 2.512000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 2.577000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 2.799000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 2.564000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 7.313000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 6.059000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 3.254000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 2.643000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 2.986000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 2.957000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 6.721000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 2.527000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 2.865000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 2.581000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 2.862000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 2.509000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 2.492000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 2.416999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 2.628000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 2.568000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 2.644000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 2.456000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 3.145000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 1.257800e-05    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 3.858000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 2.730000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.391300e-05    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 3.253999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 2.805000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 2.625000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 2.793000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 3.254000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 3.001000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 2.356999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 2.487000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 2.650000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 3.190000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 3.096000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 2.814000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 2.543000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 2.833999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 2.375000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 2.425000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 2.606001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 2.438001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 8.103500e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                  apply_GemmTransposePattern        1      2 1.791080e-04    NaN        4.0        1.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 8.010002e-07    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 6.431600e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                  apply_GemmTransposePattern        1      2 1.310960e-04    NaN        4.0        1.0          1.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 6.539995e-07    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.565700e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.281000e-06    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.102500e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.250900e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.076400e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.134400e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.042300e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.560700e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_4        0      0 9.654170e-04    NaN        4.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.243999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.255000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.550000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 4.045000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 4.476000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 3.717000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 4.968000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 3.746000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 3.766000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 3.730001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.022000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.143000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.532000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.362000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 3.643000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.731000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.692000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.728000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.549000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 4.409000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 3.960000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 3.693000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 3.732000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 3.401999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.004800e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 1.655500e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 3.950000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 3.982001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.836000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 3.487999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 3.997000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.690000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.636001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 3.574000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.377000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.308000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 3.909000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 3.763999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 3.681000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 4.108000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 3.871000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 4.205001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 1.626200e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 1.882300e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 4.666001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 3.868000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 4.209000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 3.953000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 3.831000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 3.862000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 6.671999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 3.915000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 3.728000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 3.653000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 4.060999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 3.743000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 3.744000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.512000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 3.738000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 3.677000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 4.140999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 3.937999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.626000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 9.259999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 9.048001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 4.242000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 3.421999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 3.724999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.093999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 8.935000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 3.730000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 3.966000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 3.634000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 4.002000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 4.604300e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 5.628001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 4.594000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.934000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 3.870000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 1.528200e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 8.459000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 4.177000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 6.926000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 1.976500e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.573000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 3.497000e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 4.264000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 7.625001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 7.347000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 3.636001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.152000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 3.658000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.560000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 3.499999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 3.594000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.238001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 4.423000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 3.979000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 3.574000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.156001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 3.466000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 3.490000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.350000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 3.689001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.654500e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.113000e-06    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.130800e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.392500e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.124700e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.146300e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.082000e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.620600e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            check_patterns-4        0      0 1.635200e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.776400e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-5        0      0 1.292500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        0      0 2.507300e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     check_remove_identity-6        0      0 1.268100e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            constant_folding        2      0 2.500180e-04    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            apply_constant_folding_new_inits        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
           apply_constant_folding__Transpose        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_constant_folding-7        0      0 1.307800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.351500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-8        0      0 9.074000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
               remove_duplicated_initializer        0      0 5.394000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
       check_remove_duplicated_initializer-9        0      0 7.828000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        0      0 2.061900e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_remove_identity-10        0      0 7.823000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 1.848800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                      check_remove_unused-11        0      0 7.639000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                       order        0      0 4.258700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                check_orderA        0      0 8.932000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                check_orderL        0      0 7.884000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 shape_order        0      0 2.741300e-05    NaN        NaN        NaN          NaN      NaN        NaN      0.0    0.0   NaN
                                       order        0      0          NaN    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   2.0
                              check_order-12        0      0 8.684000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                optimization        7      0 1.112274e-02    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN

--- stats_agg (149 rows × 4 cols) ---
                                     pattern  added  removed  time_in
                                optimization      0        7 0.011123
                            constant_folding      0        4 0.000606
                             remove_identity      2        4 0.000129
                      apply_MatMulAddPattern      2        4 0.000231
                  apply_GemmTransposePattern      4        2 0.000310
                       remove_identity_nodes      1        2 0.000223
                                    patterns      0        1 0.009859
                    check_constant_folding-2      0        0 0.000022
                             check_A-opt-sub      0        0 0.000025
            check_A-dynamic_dimension_naming      0        0 0.000026
                                check_orderA      0        0 0.000009
                                check_orderL      0        0 0.000008
                            check_pattern_00      0        0 0.000021
                           check_pattern_A10      0        0 0.000003
                           check_pattern_A20      0        0 0.000101
                           check_pattern_BD0      0        0 0.000068
                    check_constant_folding-7      0        0 0.000013
                              check_order-12      0        0 0.000009
           apply_constant_folding__Transpose      0        0 0.000000
            apply_constant_folding_new_inits      0        0 0.000000
                     build_graph_for_pattern      0        0 0.000140
                     check_remove_identity-0      0        0 0.000023
       check_remove_duplicated_initializer-9      0        0 0.000008
                            check_patterns-4      0        0 0.000016
                          check_pattern_BUS0      0        0 0.000063
                           check_pattern_BI0      0        0 0.000065
                    check_remove_identity-10      0        0 0.000008
                       check_remove_unused-1      0        0 0.000021
                     check_remove_identity-6      0        0 0.000013
                    dynamic_dimension_naming      0        0 0.000027
                     insert_and_remove_nodes      0        0 0.000268
                                 iteration_0      0        0 0.004563
                                 iteration_1      0        0 0.001235
                      check_remove_unused-11      0        0 0.000008
                       check_remove_unused-3      0        0 0.000016
                       check_remove_unused-5      0        0 0.000013
                       check_remove_unused-8      0        0 0.000009
             match_BatchNormalizationPattern      0        0 0.000042
     match_BatchNormalizationTrainingPattern      0        0 0.000028
                 match_CastCastBinaryPattern      0        0 0.000066
                       match_CastCastPattern      0        0 0.000027
     match_CastLayerNormalizationCastPattern      0        0 0.000024
                     match_CastOpCastPattern      0        0 0.000050
                           match_CastPattern      0        0 0.000025
                       match_ClipClipPattern      0        0 0.000020
                    match_ConcatEmptyPattern      0        0 0.000020
                   match_ConcatGatherPattern      0        0 0.000026
                  match_ConcatReshapePattern      0        0 0.000028
               match_ConcatTwiceUnaryPattern      0        0 0.000022
                                 iteration_2      0        0 0.000936
                                 iteration_3      0        0 0.001113
                                 iteration_4      0        0 0.000965
                   match_AttentionGQAPattern      0        0 0.000014
                         match_ExpandPattern      0        0 0.000025
                     match_ExpandSwapPattern      0        0 0.000018
          match_ExpandUnsqueezeExpandPattern      0        0 0.000024
           match_FunctionAttentionGQAPattern      0        0 0.000027
              match_FunctionAttentionPattern      0        0 0.000028
       match_FunctionCausalMaskMulAddPattern      0        0 0.000029
             match_FunctionCausalMaskPattern      0        0 0.000019
            match_FunctionCosSinCachePattern      0        0 0.000020
    match_FunctionHalfRotaryEmbeddingPattern      0        0 0.000018
                   match_GatherConcatPattern      0        0 0.000026
                   match_GatherGatherPattern      0        0 0.000023
                    match_GatherShapePattern      0        0 0.000024
                   match_GathersSplitPattern      0        0 0.000018
                           match_GeluPattern      0        0 0.001354
                  match_GemmTransposePattern      0        0 0.000058
                       match_IdentityPattern      0        0 0.000618
             match_LayerNormalizationPattern      0        0 0.000024
        match_LayerNormalizationScalePattern      0        0 0.000022
                      match_LeakyReluPattern      0        0 0.000895
                      match_MatMulAddPattern      0        0 0.000070
              match_MatMulReshape2Of3Pattern      0        0 0.000062
                        match_MaxReluPattern      0        0 0.000021
                   match_MulMulMatMulPattern      0        0 0.000039
                match_MulMulMulScalarPattern      0        0 0.000023
          match_MulUnsqueezeUnsqueezePattern      0        0 0.000029
                         match_NotNotPattern      0        0 0.000021
                       match_NotWherePattern      0        0 0.000020
                        match_PadConvPattern      0        0 0.000024
          match_ConstantToInitializerPattern      0        0 0.000019
                   match_ConvBiasNullPattern      0        0 0.000023
                        match_DropoutPattern      0        0 0.000019
                match_ExpandBroadcastPattern      0        0 0.000019
                  match_ReduceReshapePattern      0        0 0.000046
                  match_ReduceArgTopKPattern      0        0 0.000024
               match_RMSNormalizationPattern      0        0 0.000018
            match_RMSNormalizationMulPattern      0        0 0.000017
             match_ReduceSumNormalizePattern      0        0 0.000024
                    match_Reshape2Of3Pattern      0        0 0.000058
           match_ReshapeMatMulReshapePattern      0        0 0.000041
                        match_ReshapePattern      0        0 0.000030
                match_RotaryEmbeddingPattern      0        0 0.000018
          match_SameChildrenFromInputPattern      0        0 0.000051
                   match_SameChildrenPattern      0        0 0.000059
            match_SequenceConstructAtPattern      0        0 0.000021
           match_ReshapeReshapeBinaryPattern      0        0 0.000038
                 match_ReshapeReshapePattern      0        0 0.000026
                 match_ReshapeSqueezePattern      0        0 0.000029
               match_RotaryConcatPartPattern      0        0 0.000026
  match_ShapeBasedExpandCastWhereSwapPattern      0        0 0.000019
           match_ShapeBasedExpandSwapPattern      0        0 0.000197
             match_ShapeBasedIdentityPattern      0        0 0.000029
          match_ShapeBasedMatMulToMulPattern      0        0 0.000042
     match_ShapeBasedReshapeIsSqueezePattern      0        0 0.000029
         match_ShapeBasedSameChildrenPattern      0        0 0.000027
        match_ShapeBasedShapeShapeAddPattern      0        0 0.000037
         match_ShapeBasedStaticExpandPattern      0        0 0.000026
                 match_ShapeTransposePattern      0        0 0.000023
             match_ShapedBasedReshapePattern      0        0 0.000025
                     match_SliceSlicePattern      0        0 0.000020
                    match_SlicesSplitPattern      0        0 0.000020
         match_ShapeBasedConcatExpandPattern      0        0 0.000021
  match_ShapeBasedEditDistanceReshapePattern      0        0 0.000026
match_ShapeBasedExpandBroadcastMatMulPattern      0        0 0.000042
      match_ShapeBasedExpandBroadcastPattern      0        0 0.000047
                     match_SqueezeAddPattern      0        0 0.000048
      match_SplitToSequenceSequenceAtPattern      0        0 0.000018
                    match_SplitConcatPattern      0        0 0.000019
    match_SoftmaxCrossEntropyLossCastPattern      0        0 0.001497
         match_SqueezeBinaryUnsqueezePattern      0        0 0.000025
               match_SqueezeUnsqueezePattern      0        0 0.000026
            match_StaticConcatReshapePattern      0        0 0.000067
                        match_Sub1MulPattern      0        0 0.000020
         match_SwapUnsqueezeTransposePattern      0        0 0.000027
              match_SwitchOrderBinaryPattern      0        0 0.000039
        match_SwitchReshapeActivationPattern      0        0 0.000044
          match_TransposeEqualReshapePattern      0        0 0.000036
              match_SwapExpandReshapePattern      0        0 0.000024
            match_SwapExpandUnsqueezePattern      0        0 0.000023
             match_SwapRangeAddScalarPattern      0        0 0.000019
                      match_SwapUnaryPattern      0        0 0.000036
      match_TransposeReshapeTransposePattern      0        0 0.000027
         match_TransposeReshapeMatMulPattern      0        0 0.000040
                match_TransposeMatMulPattern      0        0 0.000092
                match_TransposeGatherPattern      0        0 0.000023
               match_UnsqueezeReshapePattern      0        0 0.000024
             match_TransposeTransposePattern      0        0 0.000026
      match_UnsqueezeOrSqueezeReshapePattern      0        0 0.000025
                 match_UnsqueezeEqualPattern      0        0 0.000019
                       match_WhereAddPattern      0        0 0.000018
             match_UnsqueezeUnsqueezePattern      0        0 0.000023
                 match_UnsqueezeShapePattern      0        0 0.000024
                                       order      0        0 0.000043
                     remove_duplicated_shape      0        0 0.000014
               remove_duplicated_initializer      0        0 0.000005
                               remove_unused      0        0 0.000341
                                 shape_order      0        0 0.000027

--- extra (8 rows × 2 cols) ---
                                    key                                                                                                                                                                                                                                                                                                                                                      value
                                builder                                                                                                                                                                                                                                     {'aten': {<OpOverload(op='aten.linear', overload='default')>: 2, <OpOverload(op='aten.relu', overload='default')>: 1}}
               time_export_graph_module                                                                                                                                                                                                                                                                                                                                                   0.280141
   stat_time_export_and_post_processing                                                                                                                                                                                                                                                                                                                                                   0.035837
stat_time_post_process_exported_program                                                                                                                                                                                                                                                                                                                                                   0.000192
stat_time_torch_export_export_oblivious                                                                                                                                                                                                                                                                                                                                                   0.035575
            time_export_builder_process                                                                                                                                                                                                                                                                                                                                                   0.004578
                           optimization ExportReport(n_stats=669, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3, n_discrepancies=0)
                    time_export_to_onnx                                                                                                                                                                                                                                                                                                                                                    0.01266

--- node_stats (2 rows × 3 cols) ---
op_type  count  flops
   Gemm      2   6304
   Relu      1    128

--- symbolic_flops (3 rows × 3 cols) ---
op_type                                        node_name  symbolic_flops
   Gemm GemmTransposePattern--MatMulAddPattern--linear22            4224
   Relu                                             relu             128
   Gemm GemmTransposePattern--MatMulAddPattern--linear62            2080

3. Plot the sheet content#

We render each sheet as a matplotlib table so sphinx-gallery captures the output. Sheets that are absent (e.g. build_stats for a standard-size model) are silently skipped.

ordered_sheets = ["extra", "stats", "stats_agg", "node_stats", "symbolic_flops", "build_stats"]
present = [s for s in ordered_sheets if s in sheets]
n = len(present)

fig, axes = plt.subplots(n, 1, figsize=(10, 3 * n))
if n == 1:
    axes = [axes]

for ax, sheet_name in zip(axes, present):
    df = sheets[sheet_name]
    ax.axis("off")
    ax.set_title(sheet_name, fontsize=11, fontweight="bold", pad=6)
    if df.empty:
        ax.text(0.5, 0.5, "(empty)", ha="center", va="center", transform=ax.transAxes)
        continue
    # Truncate to at most 10 rows for readability
    display_df = df.head(10)
    tbl = ax.table(
        cellText=display_df.values.tolist(),
        colLabels=list(display_df.columns),
        cellLoc="center",
        loc="center",
    )
    tbl.auto_set_font_size(False)
    tbl.set_fontsize(7)
    tbl.auto_set_column_width(col=list(range(len(display_df.columns))))
    if len(df) > 10:
        ax.text(
            0.5,
            0.01,
            f"… {len(df) - 10} more rows not shown",
            ha="center",
            va="bottom",
            fontsize=7,
            transform=ax.transAxes,
        )

fig.suptitle("Excel report sheets produced by to_onnx()", fontsize=12)
plt.tight_layout()
plt.show()
Excel report sheets produced by to_onnx(), extra, stats, stats_agg, node_stats, symbolic_flops
~/github/yet-another-onnx-builder/docs/examples/torch/plot_export_report.py:147: UserWarning: Tight layout not applied. The left and right margins cannot be made large enough to accommodate all Axes decorations.
  plt.tight_layout()

Total running time of the script: (0 minutes 1.445 seconds)

Related examples

InputObserver: recording inputs for ONNX export

InputObserver: recording inputs for ONNX export

Applying patches to a model and displaying the diff

Applying patches to a model and displaying the diff

Registering a custom class as a pytree node

Registering a custom class as a pytree node

Gallery generated by Sphinx-Gallery