Files
Speech/apps/api/internal/services/ai_quality.go
T
Eugenius Naumenko e274eaab2b Adaptiven A1-Kurs und statistisches Aussprachetraining integrieren
Direkte DeepSeek- und Mistral-Anbindung mit versionierten Aktionsprofilen,
Budgetreservierung, Tokenabrechnung und administrativen Qualitätsprüfungen
ersetzen die Flowise-Abhängigkeit im regulären Betrieb.

840 geprüfte A1-Aufgaben mit geschützter Testauswertung und konkreten offenen
Arbeitsaufträgen ergänzen den Kurs. Inhalts- und Sprachbewertung bleiben von
Azure-Aussprachewerten getrennt; historische Aufgaben und Antworten bleiben erhalten.

Echte Wort- und Phonemmessungen werden mit Herkunft, Aktualität und Nachweisdichte
gebündelt. Go bestimmt Trainingsziele und Wiederholungen, das Modell formuliert
dazu passende Nachsprechübungen. Profilansicht und Auswahlgründe werden angezeigt.

Validierung: Go-Race-Tests mit lokaler PostgreSQL-Integration, go vet,
Web-Build, Audit aller 840 Aufgaben und drei Browser-Smokes mit lokalen
Modell-/Speech-Fixtures bestanden. Keine Produktionsänderungen oder Live-Aufrufe.
2026-11-01 23:23:20 +00:00

75 lines
4.1 KiB
Go

package services
import (
"context"
"errors"
"strings"
"speech-learning-api/internal/domain"
)
type qualityCase struct {
answer string
correct bool
expected string
}
func qualityCases(suite string) (domain.AdaptiveTask, []qualityCase, error) {
task := domain.AdaptiveTask{SchemaVersion: 2, ModuleID: "a1_family_v1", TargetLanguage: "en-US", CourseVersion: domain.CourseVersion, CEFRLevel: "A1", Skill: "grammar", Kind: "free_text", Prompt: "Beschreibe ein Familienmitglied mit einem vollständigen englischen Satz. Nutze have got, he oder she und eines der Wörter mother, father, sister, brother.", AnswerKey: &domain.TaskKey{Rubric: []string{"Ein vollständiger englischer Satz mit he oder she.", "Korrekte Form von have got.", "Mindestens eines der Wörter mother, father, sister, brother.", "Der Satz ist verständlich und grammatikalisch korrekt."}, Explanation: "He und she stehen mit has got."}}
if suite == "grammar" {
return task, []qualityCase{{"He has got a sister.", true, "100 Punkte, correct, keine issues"}, {"He have got a sister.", false, "Verbfehler erkennen; keine volle Punktzahl"}}, nil
}
if suite != "writing" {
return task, nil, errors.New("Unbekannte Qualitätsprüfung")
}
task.ModuleID = "a1_introductions_v1"
task.Skill = "writing"
task.Prompt = "Stelle dich auf Englisch vor. Nenne einen Namen und eine Angabe über deinen Wohnort oder ein Hobby. Eigene oder erfundene Angaben sind erlaubt. Schreibe zwei oder drei kurze Sätze."
task.AnswerKey = &domain.TaskKey{ReferenceAnswer: "My name is Anna. I like music.", Rubric: []string{"Ein Name und eine weitere Angabe über Wohnort oder Hobby werden genannt.", "Zwei oder drei kurze, verständliche englische Sätze.", "Eigene Namen und Angaben sind erlaubt; keine Werte der Beispielantwort verlangen.", "Konkrete sprachliche Fehler verhältnismäßig bewerten; keine weiteren Kontextanforderungen."}, Explanation: "Die Angaben sind frei wählbar."}
return task, []qualityCase{
{"My name is Jack Hill. I live in a city. My hobby is swimming.", true, "100 Punkte, correct, keine issues; drei Sätze erfüllen den Umfang; city ist korrekt kleingeschrieben"},
{"my name is Jack Hill. I live in city. My hobby is shwiming.", false, "Teilpunkte; fehlenden Artikel mit a city und Rechtschreibung mit swimming korrigieren; My am Satzanfang darf zusätzlich genannt werden; city nicht zu City ändern, keinen zusätzlichen Kontext fordern und nicht fälschlich zwei Sätze behaupten"},
}, nil
}
// These checks apply only to known English quality fixtures, never to grading
// learner answers. They are conservative regression indicators, not a proof of
// general model quality or a grammar-rule engine in the production course.
func qualityPassed(suite string, test qualityCase, e domain.CourseEvaluation) bool {
if test.correct {
return e.Score == 100 && e.Verdict == "correct" && len(e.Issues) == 0
}
if !(e.Score < 100 && e.Verdict != "correct" && len(e.Issues) > 0) {
return false
}
if suite != "writing" {
return true
}
text := e.Feedback + " " + strings.Join(e.Issues, " ")
lower := strings.ToLower(text)
return e.Score > 0 && e.Verdict == "partial" && (strings.Contains(lower, "a city") || strings.Contains(lower, "the city")) && strings.Contains(lower, "swimming") && !strings.Contains(text, "City") && !strings.Contains(lower, "zwei sätze") && !strings.Contains(lower, "2 sätze")
}
func (a *AIService) QualitySuite(ctx context.Context, suite string) ([]AIQualityResult, error) {
if suite == "" {
suite = "grammar"
}
task, tests, err := qualityCases(suite)
if err != nil {
return nil, err
}
results := []AIQualityResult{}
for _, test := range tests {
result := AIQualityResult{TaskPrompt: task.Prompt, Answer: test.answer, Expected: test.expected}
var evaluation domain.CourseEvaluation
err := a.Call(ctx, "evaluate_course_attempt", courseEvaluationInput(task, domain.AdaptiveAttempt{Answer: test.answer}, "en-US", "de-DE"), &evaluation)
if err != nil {
result.Error = a.AdminError(err)
} else {
result.Output = &evaluation
result.Passed = qualityPassed(suite, test, evaluation)
}
results = append(results, result)
}
return results, nil
}