Feedback 👍

[mbtools]

Hallo liebe Forscher,

es freut mich sehr, dass Sie an diesem Thema gearbeitet und die Ergebnisse öffentlich gemacht haben!

Ich war über 20 Jahre bei SAP und programmiere viel ABAP. Vielleicht hilft etwas Feedback von mir, ein paar Punkte besser zu verstehen.

Dass es relativ wenig Trainingsdaten zu ABAP gibt, haben Sie korrekt festgestellt. In den letzten 2-3 Jahren hat es jedoch eine Aufschwung an ABAP open-source Projekten gegeben (fast ausschließlich auf GitHub). Die Frage ist also, wie viel davon im LLM enthalten ist (wahrscheinlich in GPT4 auch noch wenig).

Mein Kritikpunkt ist jedoch, wenn ich es richtig verstanden habe, dass exklusiv nach Funktionsbausteinen gefragt wurde (“generate a abap function module...."). Das ist verständlich, da es wegen dem RFC Ausruf natürlich Nahe liegt, auch die Lösung innerhalb eines Funktionsbausteins anzulegen. Das Problem ist jedoch, dass so gut wie niemand mehr Funktionsbausteine im ABAP verwendet und dass seit bestimmt 10 Jahren (Ausnahme: Man ist gezwungen, z.B. wegen externem RFC). Ich bin mir sehr Sicher, dass nur ein winziger Teil aller öffentlichen ABAP Trainingsdaten aus Funktionsbausteinen besteht. So gut wie alle ABAP Open Source Projekte sind in objektorientiertem ABAP geschrieben und da findet man keine Funktionsbausteine (Ausnahme: Man ruft ausgelieferte Funktionsbausteine auf).

Die Frage wäre also, wie die Testergebnisse aussehen, wenn man den Prompt mit "generate an ABAP class or method..." beginnt. Klar, dazu braucht man, einen anderen Versuchsaufbau. Machbar ist es aber. Falls jemand Bedarf hat, berate ich gerne.

Zwei andere Punkte noch:

• Was mir in der Arbeit fehlt, ist eine Beispiel fuer einen kompletten Prompt. Ich finde im PDF und Repo leider nur die Python Versionen.
• ABAP lässt sich auch ohne SAP System ausführen. Das ist z.B. auf Exercism implementiert. Lars Hvam hat Open-ABAP geschrieben, so dass ABAP auf Node läuft.

Viele Gruesse
Marc