Excel report produced by the torch exporter#

Every call to to_onnx with a filename argument saves two artifacts next to the .onnx file:

  • the ONNX model itself, and

  • a companion .xlsx workbook that contains up to six sheets covering different aspects of the export process.

This example exports a small model, reads the workbook back, and visualises the content of every sheet so you can see what each page looks like.

The six sheets are:

stats

One row per optimisation rule application — pattern name, number of nodes added/removed, and time spent.

stats_agg

The same data aggregated by rule name and sorted by nodes removed (descending).

extra

Scalar key/value pairs recorded during the export: timing entries, counters, export-option flags, etc.

build_stats

Timing and counter entries collected by the low-level BuildStats object embedded in the model container (written only for large_model exports).

node_stats

Per-op-type breakdown: how many nodes of each type are in the exported model and the estimated FLOPs for each type.

symbolic_flops

Per-node symbolic FLOPs expressions computed by BasicShapeBuilder with InferenceMode.COST. When the model’s input shapes contain symbolic dimensions the values are symbolic arithmetic strings; for fully static shapes they are integers.

Imports#

import os

import matplotlib.pyplot as plt
import pandas as pd
import torch

from yobx.torch.interpreter import to_onnx

1. Define and export a model#

We use a small two-layer MLP so that the export produces a non-trivial set of ONNX nodes and a visible optimisation report.

class SmallMLP(torch.nn.Module):
    """Two-layer MLP: Linear → ReLU → Linear."""

    def __init__(self, in_features: int = 16, hidden: int = 32, out_features: int = 8):
        super().__init__()
        self.fc1 = torch.nn.Linear(in_features, hidden)
        self.fc2 = torch.nn.Linear(hidden, out_features)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        return self.fc2(torch.relu(self.fc1(x)))


model = SmallMLP()
x = torch.randn(4, 16)

onnx_path = "plot_export_report.onnx"
xlsx_path = os.path.splitext(onnx_path)[0] + ".xlsx"

# ``filename`` triggers both the ONNX save and the Excel report.
artifact = to_onnx(model, (x,), filename=onnx_path)

print(f"ONNX saved  : {onnx_path}")
print(f"Report saved: {xlsx_path}")
print(f"Nodes in graph: {len(artifact.graph.node)}")
print(f"Report repr  : {artifact.report!r}")
ONNX saved  : plot_export_report.onnx
Report saved: plot_export_report.xlsx
Nodes in graph: 3
Report repr  : ExportReport(n_stats=669, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3, n_discrepancies=0)

2. Read every sheet from the workbook#

pandas.read_excel() with sheet_name=None returns an {sheet_name: DataFrame} mapping so we can inspect every page.

sheets: dict[str, pd.DataFrame] = pd.read_excel(xlsx_path, sheet_name=None)
print(f"\nSheets in workbook: {list(sheets)}")
for name, df in sheets.items():
    print(f"\n--- {name} ({df.shape[0]} rows × {df.shape[1]} cols) ---")
    print(df.to_string(index=False))
Sheets in workbook: ['stats', 'stats_agg', 'extra', 'node_stats', 'symbolic_flops']

--- stats (669 rows × 13 cols) ---
                                     pattern  removed  added      time_in  value  iteration  instances  match_index  n_nodes exit_point  changed  scale  algo
                    dynamic_dimension_naming        0      0 2.667500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            check_A-dynamic_dimension_naming        0      0 2.360200e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             check_A-opt-sub        0      0 2.323500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        4      2 8.515600e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     check_remove_identity-0        0      0 2.126800e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 5.634200e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-1        0      0 2.041400e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            constant_folding        2      0 2.883300e-04    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            apply_constant_folding_new_inits        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
           apply_constant_folding__Transpose        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_constant_folding-2        0      0 1.954700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.768300e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-3        0      0 1.508600e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                    patterns        1      0 1.070391e-02    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            check_pattern_00        0      0 2.416500e-05    NaN       -1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 1.359300e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 9.318001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 6.610000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 5.763000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 6.762000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 7.766000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 5.373000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 5.612001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 5.276001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 5.616000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 5.819000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 4.850000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 5.679000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.164548e-03    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 3.972740e-04    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.733830e-04    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 9.679000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 6.890999e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 7.304000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 7.353000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 1.759200e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 6.528000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 6.513001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 3.008300e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 9.972000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 1.730700e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 8.103000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 6.033000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 7.099000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.865900e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 1.289300e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.441349e-03    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 2.032900e-05    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 6.532000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 5.823000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 6.783001e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 5.182999e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 5.333000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 6.110000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 5.167000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 5.811000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 4.896000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 5.029000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 5.186000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 5.244000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 5.254999e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 6.115000e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 7.363999e-06    NaN        0.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 2.425900e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 3.863000e-06    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.462900e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        2      1 5.631500e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.485500e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.394400e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.430300e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.350500e-05    NaN        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_0        0      0 4.643064e-03    NaN        0.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.693999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.906001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 5.942001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 4.651000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 2.743100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.640000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.762400e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 5.760000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 5.168000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 5.020001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 5.194001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 5.612000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 4.758000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.917000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 4.084000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 4.081000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.711000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 5.463000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 4.688000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.879000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 4.294000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 3.881000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 4.931000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 4.243000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.048300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 9.894100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 7.508999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 7.060000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 1.405000e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 6.659000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 7.064000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 6.204000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 6.344000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 5.787000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 8.539000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 7.148999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 4.715999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 4.616000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 1.415200e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 1.839500e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 1.292200e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 5.228000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 5.235001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 2.115900e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.196200e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.177000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 4.349000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 5.275000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.566999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.575000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.539400e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.335300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 4.608000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.291500e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.356000e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.905000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.656999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 7.129000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 4.290000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 3.827000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 5.121001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 4.903000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 2.770200e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 1.384300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 6.749000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 4.328000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.299000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.483000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.067100e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 4.205001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 9.098000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 3.628999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 4.432000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 4.734000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 4.963001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 4.007000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.984999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 4.817000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 4.419000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 3.631000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 1.314800e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 1.026300e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 4.910000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 4.028000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.784800e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 1.238000e-05    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 4.482999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 4.404999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 4.615999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.342000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 4.063000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.944000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 4.193000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 7.899001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 4.863000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 4.980000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.957999e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 8.349000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.631001e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 4.053000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 4.983000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 4.582000e-06    NaN        1.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.760200e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 3.325999e-06    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.146700e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.878700e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.185000e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.300700e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.127800e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.350400e-05    NaN        1.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_1        0      0 1.117500e-03    NaN        1.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 5.606001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.265000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.708000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 3.809000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 1.834700e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.247000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.306300e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.283000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 4.263000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 3.977000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.317000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.885000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.819000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.745000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 3.713000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.790000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.750000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 4.029999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.818001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.515001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 4.173000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 3.495999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 3.726999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 3.676000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 9.949999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 6.280300e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 4.618000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 4.040000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 1.012200e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 3.804001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 4.265999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.860000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.718000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 3.691000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.763000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.670001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 3.730000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 4.119001e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 9.445000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 4.869300e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 1.415800e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 5.829000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 4.263999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 1.854800e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.141100e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.292000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 1.352280e-04    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 7.466000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 5.799000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 5.363000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.686400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.221700e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 4.027000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.114400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.191600e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.902000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.668000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 7.832999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 5.032000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 3.993000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.619000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.869000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.130700e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 9.316000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 5.199000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 4.136999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.191000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.201999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.523000e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 4.218000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 8.845000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 3.927999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 4.221000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 4.103000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 4.089000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.598000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.646000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 4.034000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 3.978000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 4.068999e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 1.013200e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 9.932000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 3.823000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 3.737000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.465400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 4.911500e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 5.041400e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 9.198000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 5.132000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 5.840000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 5.004000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 4.369000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 4.068000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 1.006800e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 5.762000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 5.781000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.587000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 1.247100e-05    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.106000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 4.049000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 4.184000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.604000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 6.194000e-06    NaN        2.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 2.501200e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.889000e-06    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.456800e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 4.434700e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.339500e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.695900e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.264900e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.615700e-05    NaN        2.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_2        0      0 1.275487e-03    NaN        2.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.758000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.850001e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 5.206000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 3.960999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 2.323800e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 4.270000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 1.449900e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.433999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 4.809000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.040000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 5.042000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.368000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.905000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.933000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 4.640000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.896999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.973000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.981000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 3.922000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.755000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 4.383000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 3.808999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 4.035999e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 3.920000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.404300e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 1.038300e-04    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 6.588000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 5.949000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 1.481200e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 5.939000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 6.464000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 5.687000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 5.946000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 5.193000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 6.839000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 6.624000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 5.088000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 6.467000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 1.633600e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 2.135800e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 1.113900e-05    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 5.006000e-06    NaN        3.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 4.773100e-05    NaN        3.0        2.0          2.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 4.992999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 2.004000e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 1.204700e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 5.053000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 4.551000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 4.718000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 4.598000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 4.722000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 1.457000e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 1.298100e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 3.778000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 1.141200e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 1.088600e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.717000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 4.552000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 6.956000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 4.127000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 3.988000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.797000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.785000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.137800e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 9.773000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 4.478000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 4.035999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 4.793000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 4.588000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 1.169000e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 4.570000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 9.660001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 4.251000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 5.475000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 4.753000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 4.410000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.934000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 4.148000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 5.047001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 4.648000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 4.254000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 1.126500e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 8.743000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 4.177000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 4.415000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.510700e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 1.064300e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 3.858000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 4.021000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 4.862000e-05    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.360000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 3.921001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.835000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 3.698000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 6.688000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 5.067000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 5.084999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.155000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 7.498000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 4.417000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 4.101000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 3.980999e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 3.503001e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 3.821000e-06    NaN        3.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 6.260900e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                      apply_MatMulAddPattern        2      1 1.871720e-04    NaN        3.0        1.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 9.650003e-07    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 4.787400e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                      apply_MatMulAddPattern        2      1 9.907000e-05    NaN        3.0        1.0          1.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 7.670005e-07    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.400800e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.080999e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 8.684000e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.074000e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 8.602001e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.599400e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 9.130000e-06    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 1.892800e-05    NaN        3.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_3        0      0 1.494551e-03    NaN        3.0        NaN          NaN      3.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 8.350000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 3.868000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.211000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 2.869000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 2.881000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 2.653999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 3.604000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 2.753000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 3.186999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 2.945000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 3.490000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 3.000000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 2.676000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 2.780000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 2.616001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 2.485001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 2.848000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 2.538000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 2.672999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 2.389000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 2.732000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 2.596000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 2.716000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 2.827000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 8.170000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 3.427001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 2.656000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 2.606000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 6.307000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 2.641999e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 3.109000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 2.774000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 2.521000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 2.648000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 2.976000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 3.463000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 2.591000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 2.834000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 2.721000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 2.949000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 2.586001e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 3.266000e-06    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 1.765700e-05    NaN        4.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 3.307700e-05    NaN        4.0        2.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 3.926000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 2.944999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 3.229000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 2.670999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 3.224000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 3.173000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 3.010000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 3.079001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 2.500000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 2.629000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 2.672000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 2.609000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 2.872001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 2.935000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 2.510000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 2.547000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 2.350000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 2.720000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 2.731000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 7.307000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 6.997000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 2.838000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 2.702001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 2.756000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 3.034999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 6.814000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 2.683000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 2.839000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 2.860001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 2.768000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 2.700001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 2.901001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 2.495000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 2.707000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 3.085001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 2.584000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 2.608999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 2.733000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 6.375000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 2.596999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 2.665000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 1.255000e-05    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 2.669000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 2.583000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 2.768999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 2.682000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 2.711000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 2.812000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 2.437000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 2.342001e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 2.587000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 3.208999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 3.266000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 2.470000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 2.512999e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 2.584000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 2.422000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 2.691000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 2.537000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 2.534000e-06    NaN        4.0        0.0          2.0      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 8.281300e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                  apply_GemmTransposePattern        1      2 1.806090e-04    NaN        4.0        1.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 1.014000e-06    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     insert_and_remove_nodes        0      0 6.880700e-05    NaN        NaN        NaN          NaN      NaN  insert_at      NaN    NaN   NaN
                  apply_GemmTransposePattern        1      2 1.562370e-04    NaN        4.0        1.0          1.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A10        0      0 7.189992e-07    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 1.792200e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.483000e-06    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.279200e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 3.700900e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.191500e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.487200e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.160600e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.826700e-05    NaN        4.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 iteration_4        0      0 1.005598e-03    NaN        4.0        NaN          NaN      5.0        NaN      NaN    NaN   NaN
             match_BatchNormalizationPattern        0      0 6.939000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_BatchNormalizationTrainingPattern        0      0 4.553000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_CastLayerNormalizationCastPattern        0      0 4.730000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_CastPattern        0      0 4.309000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_CastCastBinaryPattern        0      0 3.897000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_CastCastPattern        0      0 3.521000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_CastOpCastPattern        0      0 5.108000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_ClipClipPattern        0      0 4.068001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_ConcatEmptyPattern        0      0 4.568000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConcatGatherPattern        0      0 4.405000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ConcatReshapePattern        0      0 4.739000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_ConcatTwiceUnaryPattern        0      0 4.420000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ConstantToInitializerPattern        0      0 3.702000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_ConvBiasNullPattern        0      0 3.710000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_PadConvPattern        0      0 3.970999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_DropoutPattern        0      0 3.529000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_ExpandPattern        0      0 3.632999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_ExpandBroadcastPattern        0      0 3.619000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_ExpandSwapPattern        0      0 4.131000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ExpandUnsqueezeExpandPattern        0      0 3.646000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherConcatPattern        0      0 4.388000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GatherGatherPattern        0      0 3.480000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_GathersSplitPattern        0      0 3.635000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_GatherShapePattern        0      0 3.556000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           match_GeluPattern        0      0 1.013800e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_IdentityPattern        0      0 2.002800e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_LayerNormalizationPattern        0      0 3.921000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_LayerNormalizationScalePattern        0      0 3.767000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_LeakyReluPattern        0      0 9.943000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_MaxReluPattern        0      0 3.626999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_MulMulMulScalarPattern        0      0 4.174000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_MulUnsqueezeUnsqueezePattern        0      0 3.818000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                         match_NotNotPattern        0      0 3.517001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_NotWherePattern        0      0 3.556001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceArgTopKPattern        0      0 4.217000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_ReduceReshapePattern        0      0 4.294000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ReduceSumNormalizePattern        0      0 3.549000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_ReshapePattern        0      0 4.080000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeMatMulReshapePattern        0      0 3.738000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_Reshape2Of3Pattern        0      0 4.112000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ReshapeReshapeBinaryPattern        0      0 3.618000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeSqueezePattern        0      0 4.632000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_MatMulAddPattern        0      0 1.758500e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                  match_GemmTransposePattern        0      0 2.039400e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_MatMulReshape2Of3Pattern        0      0 4.890000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_MulMulMatMulPattern        0      0 4.144000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
     match_ShapeBasedReshapeIsSqueezePattern        0      0 4.447000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedStaticExpandPattern        0      0 3.697000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedConcatExpandPattern        0      0 3.957000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedEditDistanceReshapePattern        0      0 3.859000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapeBasedIdentityPattern        0      0 7.130000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_ShapeBasedExpandBroadcastPattern        0      0 4.361000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
match_ShapeBasedExpandBroadcastMatMulPattern        0      0 3.714000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
  match_ShapeBasedExpandCastWhereSwapPattern        0      0 3.802001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_ShapeBasedExpandSwapPattern        0      0 4.025001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_ShapeBasedMatMulToMulPattern        0      0 3.725000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_ShapedBasedReshapePattern        0      0 4.049000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_ShapeBasedSameChildrenPattern        0      0 3.944000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_ShapeBasedShapeShapeAddPattern        0      0 3.543000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ShapeTransposePattern        0      0 3.659000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeShapePattern        0      0 3.647000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_ReshapeReshapePattern        0      0 4.029999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_RotaryEmbeddingPattern        0      0 3.566000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_SameChildrenPattern        0      0 1.031900e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_SameChildrenFromInputPattern        0      0 1.052200e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SequenceConstructAtPattern        0      0 3.883000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_SplitToSequenceSequenceAtPattern        0      0 3.569000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SliceSlicePattern        0      0 3.592000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SlicesSplitPattern        0      0 3.948000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_SoftmaxCrossEntropyLossCastPattern        0      0 9.445999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                    match_SplitConcatPattern        0      0 3.602000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                     match_SqueezeAddPattern        0      0 4.166000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SqueezeBinaryUnsqueezePattern        0      0 3.926000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_SqueezeUnsqueezePattern        0      0 3.798000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_StaticConcatReshapePattern        0      0 3.934000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                        match_Sub1MulPattern        0      0 5.585000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwapExpandReshapePattern        0      0 3.542000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_SwapExpandUnsqueezePattern        0      0 3.503000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_SwapRangeAddScalarPattern        0      0 3.495000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                      match_SwapUnaryPattern        0      0 1.771700e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_SwapUnsqueezeTransposePattern        0      0 8.936000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_SwitchOrderBinaryPattern        0      0 3.929000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
        match_SwitchReshapeActivationPattern        0      0 7.203000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
          match_TransposeEqualReshapePattern        0      0 2.124800e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeGatherPattern        0      0 4.351000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                match_TransposeMatMulPattern        0      0 3.881000e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
         match_TransposeReshapeMatMulPattern        0      0 4.706000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_TransposeReshapeTransposePattern        0      0 8.470000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_TransposeTransposePattern        0      0 8.157000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                 match_UnsqueezeEqualPattern        0      0 3.913000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
      match_UnsqueezeOrSqueezeReshapePattern        0      0 4.009001e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_UnsqueezeReshapePattern        0      0 4.033999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_UnsqueezeUnsqueezePattern        0      0 3.829000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                       match_WhereAddPattern        0      0 1.845400e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RotaryConcatPartPattern        0      0 8.497000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
              match_FunctionAttentionPattern        0      0 5.649999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
           match_FunctionAttentionGQAPattern        0      0 5.630000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
             match_FunctionCausalMaskPattern        0      0 4.572999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
       match_FunctionCausalMaskMulAddPattern        0      0 3.967000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_FunctionCosSinCachePattern        0      0 3.729000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
    match_FunctionHalfRotaryEmbeddingPattern        0      0 1.673400e-05    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
               match_RMSNormalizationPattern        0      0 6.400000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
            match_RMSNormalizationMulPattern        0      0 4.031999e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                   match_AttentionGQAPattern        0      0 4.117000e-06    NaN        5.0        0.0          0.0      NaN        NaN      NaN    NaN   NaN
                           check_pattern_A20        0      0 2.484800e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     remove_duplicated_shape        0      0 2.963000e-06    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BD0        0      0 1.325600e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       remove_identity_nodes        0      0 4.446900e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                           check_pattern_BI0        0      0 1.304600e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.517100e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                          check_pattern_BUS0        0      0 1.186300e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     build_graph_for_pattern        0      0 2.894700e-05    NaN        5.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            check_patterns-4        0      0 1.850300e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 3.088600e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-5        0      0 1.340400e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        0      0 4.129100e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                     check_remove_identity-6        0      0 1.380200e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                            constant_folding        2      0 2.819050e-04    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
            apply_constant_folding_new_inits        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
           apply_constant_folding__Transpose        0      0          NaN    2.0        0.0        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_constant_folding-7        0      0 1.445500e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.611900e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                       check_remove_unused-8        0      0 1.024900e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
               remove_duplicated_initializer        0      0 6.998000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
       check_remove_duplicated_initializer-9        0      0 8.333999e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                             remove_identity        0      0 2.063600e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                    check_remove_identity-10        0      0 9.036000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                               remove_unused        0      0 2.078700e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                      check_remove_unused-11        0      0 8.290001e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                       order        0      0 5.840600e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                check_orderA        0      0 1.451000e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                check_orderL        0      0 1.051300e-05    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                 shape_order        0      0 3.927300e-05    NaN        NaN        NaN          NaN      NaN        NaN      0.0    0.0   NaN
                                       order        0      0          NaN    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   2.0
                              check_order-12        0      0 8.890000e-06    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN
                                optimization        7      0 1.198981e-02    NaN        NaN        NaN          NaN      NaN        NaN      NaN    NaN   NaN

--- stats_agg (149 rows × 4 cols) ---
                                     pattern  added  removed  time_in
                                optimization      0        7 0.011990
                            constant_folding      0        4 0.000570
                             remove_identity      2        4 0.000147
                      apply_MatMulAddPattern      2        4 0.000286
                  apply_GemmTransposePattern      4        2 0.000337
                       remove_identity_nodes      1        2 0.000252
                                    patterns      0        1 0.010704
                    check_constant_folding-2      0        0 0.000020
                             check_A-opt-sub      0        0 0.000023
            check_A-dynamic_dimension_naming      0        0 0.000024
                                check_orderA      0        0 0.000015
                                check_orderL      0        0 0.000011
                            check_pattern_00      0        0 0.000024
                           check_pattern_A10      0        0 0.000003
                           check_pattern_A20      0        0 0.000124
                           check_pattern_BD0      0        0 0.000075
                    check_constant_folding-7      0        0 0.000014
                              check_order-12      0        0 0.000009
           apply_constant_folding__Transpose      0        0 0.000000
            apply_constant_folding_new_inits      0        0 0.000000
                     build_graph_for_pattern      0        0 0.000149
                     check_remove_identity-0      0        0 0.000021
       check_remove_duplicated_initializer-9      0        0 0.000008
                            check_patterns-4      0        0 0.000019
                          check_pattern_BUS0      0        0 0.000071
                           check_pattern_BI0      0        0 0.000074
                    check_remove_identity-10      0        0 0.000009
                       check_remove_unused-1      0        0 0.000020
                     check_remove_identity-6      0        0 0.000014
                    dynamic_dimension_naming      0        0 0.000027
                     insert_and_remove_nodes      0        0 0.000262
                                 iteration_0      0        0 0.004643
                                 iteration_1      0        0 0.001117
                      check_remove_unused-11      0        0 0.000008
                       check_remove_unused-3      0        0 0.000015
                       check_remove_unused-5      0        0 0.000013
                       check_remove_unused-8      0        0 0.000010
             match_BatchNormalizationPattern      0        0 0.000048
     match_BatchNormalizationTrainingPattern      0        0 0.000032
                 match_CastCastBinaryPattern      0        0 0.000076
                       match_CastCastPattern      0        0 0.000025
     match_CastLayerNormalizationCastPattern      0        0 0.000025
                     match_CastOpCastPattern      0        0 0.000054
                           match_CastPattern      0        0 0.000026
                       match_ClipClipPattern      0        0 0.000021
                    match_ConcatEmptyPattern      0        0 0.000022
                   match_ConcatGatherPattern      0        0 0.000027
                  match_ConcatReshapePattern      0        0 0.000031
               match_ConcatTwiceUnaryPattern      0        0 0.000022
                                 iteration_2      0        0 0.001275
                                 iteration_3      0        0 0.001495
                                 iteration_4      0        0 0.001006
                   match_AttentionGQAPattern      0        0 0.000017
                         match_ExpandPattern      0        0 0.000023
                     match_ExpandSwapPattern      0        0 0.000019
          match_ExpandUnsqueezeExpandPattern      0        0 0.000023
           match_FunctionAttentionGQAPattern      0        0 0.000032
              match_FunctionAttentionPattern      0        0 0.000031
       match_FunctionCausalMaskMulAddPattern      0        0 0.000035
             match_FunctionCausalMaskPattern      0        0 0.000021
            match_FunctionCosSinCachePattern      0        0 0.000019
    match_FunctionHalfRotaryEmbeddingPattern      0        0 0.000031
                   match_GatherConcatPattern      0        0 0.000026
                   match_GatherGatherPattern      0        0 0.000022
                    match_GatherShapePattern      0        0 0.000024
                   match_GathersSplitPattern      0        0 0.000019
                           match_GeluPattern      0        0 0.001217
                  match_GemmTransposePattern      0        0 0.000068
                       match_IdentityPattern      0        0 0.000686
             match_LayerNormalizationPattern      0        0 0.000025
        match_LayerNormalizationScalePattern      0        0 0.000023
                      match_LeakyReluPattern      0        0 0.001029
                      match_MatMulAddPattern      0        0 0.000083
              match_MatMulReshape2Of3Pattern      0        0 0.000069
                        match_MaxReluPattern      0        0 0.000023
                   match_MulMulMatMulPattern      0        0 0.000043
                match_MulMulMulScalarPattern      0        0 0.000025
          match_MulUnsqueezeUnsqueezePattern      0        0 0.000032
                         match_NotNotPattern      0        0 0.000022
                       match_NotWherePattern      0        0 0.000021
                        match_PadConvPattern      0        0 0.000025
          match_ConstantToInitializerPattern      0        0 0.000019
                   match_ConvBiasNullPattern      0        0 0.000023
                        match_DropoutPattern      0        0 0.000018
                match_ExpandBroadcastPattern      0        0 0.000020
                  match_ReduceReshapePattern      0        0 0.000026
                  match_ReduceArgTopKPattern      0        0 0.000027
               match_RMSNormalizationPattern      0        0 0.000022
            match_RMSNormalizationMulPattern      0        0 0.000018
             match_ReduceSumNormalizePattern      0        0 0.000020
                    match_Reshape2Of3Pattern      0        0 0.000096
           match_ReshapeMatMulReshapePattern      0        0 0.000046
                        match_ReshapePattern      0        0 0.000029
                match_RotaryEmbeddingPattern      0        0 0.000019
          match_SameChildrenFromInputPattern      0        0 0.000063
                   match_SameChildrenPattern      0        0 0.000087
            match_SequenceConstructAtPattern      0        0 0.000023
           match_ReshapeReshapeBinaryPattern      0        0 0.000044
                 match_ReshapeReshapePattern      0        0 0.000028
                 match_ReshapeSqueezePattern      0        0 0.000031
               match_RotaryConcatPartPattern      0        0 0.000036
  match_ShapeBasedExpandCastWhereSwapPattern      0        0 0.000019
           match_ShapeBasedExpandSwapPattern      0        0 0.000042
             match_ShapeBasedIdentityPattern      0        0 0.000031
          match_ShapeBasedMatMulToMulPattern      0        0 0.000043
     match_ShapeBasedReshapeIsSqueezePattern      0        0 0.000031
         match_ShapeBasedSameChildrenPattern      0        0 0.000031
        match_ShapeBasedShapeShapeAddPattern      0        0 0.000045
         match_ShapeBasedStaticExpandPattern      0        0 0.000168
                 match_ShapeTransposePattern      0        0 0.000028
             match_ShapedBasedReshapePattern      0        0 0.000052
                     match_SliceSlicePattern      0        0 0.000020
                    match_SlicesSplitPattern      0        0 0.000020
         match_ShapeBasedConcatExpandPattern      0        0 0.000025
  match_ShapeBasedEditDistanceReshapePattern      0        0 0.000029
match_ShapeBasedExpandBroadcastMatMulPattern      0        0 0.000045
      match_ShapeBasedExpandBroadcastPattern      0        0 0.000054
                     match_SqueezeAddPattern      0        0 0.000055
      match_SplitToSequenceSequenceAtPattern      0        0 0.000019
                    match_SplitConcatPattern      0        0 0.000019
    match_SoftmaxCrossEntropyLossCastPattern      0        0 0.001495
         match_SqueezeBinaryUnsqueezePattern      0        0 0.000025
               match_SqueezeUnsqueezePattern      0        0 0.000027
            match_StaticConcatReshapePattern      0        0 0.000027
                        match_Sub1MulPattern      0        0 0.000022
         match_SwapUnsqueezeTransposePattern      0        0 0.000029
              match_SwitchOrderBinaryPattern      0        0 0.000041
        match_SwitchReshapeActivationPattern      0        0 0.000043
          match_TransposeEqualReshapePattern      0        0 0.000037
              match_SwapExpandReshapePattern      0        0 0.000023
            match_SwapExpandUnsqueezePattern      0        0 0.000023
             match_SwapRangeAddScalarPattern      0        0 0.000020
                      match_SwapUnaryPattern      0        0 0.000039
      match_TransposeReshapeTransposePattern      0        0 0.000075
         match_TransposeReshapeMatMulPattern      0        0 0.000080
                match_TransposeMatMulPattern      0        0 0.000099
                match_TransposeGatherPattern      0        0 0.000025
               match_UnsqueezeReshapePattern      0        0 0.000025
             match_TransposeTransposePattern      0        0 0.000034
      match_UnsqueezeOrSqueezeReshapePattern      0        0 0.000026
                 match_UnsqueezeEqualPattern      0        0 0.000065
                       match_WhereAddPattern      0        0 0.000033
             match_UnsqueezeUnsqueezePattern      0        0 0.000024
                 match_UnsqueezeShapePattern      0        0 0.000024
                                       order      0        0 0.000058
                     remove_duplicated_shape      0        0 0.000018
               remove_duplicated_initializer      0        0 0.000007
                               remove_unused      0        0 0.000372
                                 shape_order      0        0 0.000039

--- extra (8 rows × 2 cols) ---
                                    key                                                                                                                                                                                                                                                                                                                                                      value
                                builder                                                                                                                                                                                                                                     {'aten': {<OpOverload(op='aten.linear', overload='default')>: 2, <OpOverload(op='aten.relu', overload='default')>: 1}}
               time_export_graph_module                                                                                                                                                                                                                                                                                                                                                   0.039448
   stat_time_export_and_post_processing                                                                                                                                                                                                                                                                                                                                                    0.02735
stat_time_post_process_exported_program                                                                                                                                                                                                                                                                                                                                                   0.000167
stat_time_torch_export_export_oblivious                                                                                                                                                                                                                                                                                                                                                   0.027122
            time_export_builder_process                                                                                                                                                                                                                                                                                                                                                   0.007102
                           optimization ExportReport(n_stats=669, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3, n_discrepancies=0)
                    time_export_to_onnx                                                                                                                                                                                                                                                                                                                                                   0.014101

--- node_stats (2 rows × 3 cols) ---
op_type  count  flops
   Gemm      2   6304
   Relu      1    128

--- symbolic_flops (3 rows × 3 cols) ---
op_type                                        node_name  symbolic_flops
   Gemm GemmTransposePattern--MatMulAddPattern--linear22            4224
   Relu                                             relu             128
   Gemm GemmTransposePattern--MatMulAddPattern--linear62            2080

3. Plot the sheet content#

We render each sheet as a matplotlib table so sphinx-gallery captures the output. Sheets that are absent (e.g. build_stats for a standard-size model) are silently skipped.

ordered_sheets = ["extra", "stats", "stats_agg", "node_stats", "symbolic_flops", "build_stats"]
present = [s for s in ordered_sheets if s in sheets]
n = len(present)

fig, axes = plt.subplots(n, 1, figsize=(10, 3 * n))
if n == 1:
    axes = [axes]

for ax, sheet_name in zip(axes, present):
    df = sheets[sheet_name]
    ax.axis("off")
    ax.set_title(sheet_name, fontsize=11, fontweight="bold", pad=6)
    if df.empty:
        ax.text(0.5, 0.5, "(empty)", ha="center", va="center", transform=ax.transAxes)
        continue
    # Truncate to at most 10 rows for readability
    display_df = df.head(10)
    tbl = ax.table(
        cellText=display_df.values.tolist(),
        colLabels=list(display_df.columns),
        cellLoc="center",
        loc="center",
    )
    tbl.auto_set_font_size(False)
    tbl.set_fontsize(7)
    tbl.auto_set_column_width(col=list(range(len(display_df.columns))))
    if len(df) > 10:
        ax.text(
            0.5,
            0.01,
            f"… {len(df) - 10} more rows not shown",
            ha="center",
            va="bottom",
            fontsize=7,
            transform=ax.transAxes,
        )

fig.suptitle("Excel report sheets produced by to_onnx()", fontsize=12)
plt.tight_layout()
plt.show()
Excel report sheets produced by to_onnx(), extra, stats, stats_agg, node_stats, symbolic_flops
~/github/yet-another-onnx-builder/docs/examples/torch/plot_export_report.py:147: UserWarning: Tight layout not applied. The left and right margins cannot be made large enough to accommodate all Axes decorations.
  plt.tight_layout()

Total running time of the script: (0 minutes 1.086 seconds)

Related examples

InputObserver: recording inputs for ONNX export

InputObserver: recording inputs for ONNX export

Applying patches to a model and displaying the diff

Applying patches to a model and displaying the diff

Registering a custom class as a pytree node

Registering a custom class as a pytree node

Gallery generated by Sphinx-Gallery