Files
Speech/apps/api/internal/services/ai_quality_test.go
T
Eugenius Naumenko e274eaab2b Adaptiven A1-Kurs und statistisches Aussprachetraining integrieren
Direkte DeepSeek- und Mistral-Anbindung mit versionierten Aktionsprofilen,
Budgetreservierung, Tokenabrechnung und administrativen Qualitätsprüfungen
ersetzen die Flowise-Abhängigkeit im regulären Betrieb.

840 geprüfte A1-Aufgaben mit geschützter Testauswertung und konkreten offenen
Arbeitsaufträgen ergänzen den Kurs. Inhalts- und Sprachbewertung bleiben von
Azure-Aussprachewerten getrennt; historische Aufgaben und Antworten bleiben erhalten.

Echte Wort- und Phonemmessungen werden mit Herkunft, Aktualität und Nachweisdichte
gebündelt. Go bestimmt Trainingsziele und Wiederholungen, das Modell formuliert
dazu passende Nachsprechübungen. Profilansicht und Auswahlgründe werden angezeigt.

Validierung: Go-Race-Tests mit lokaler PostgreSQL-Integration, go vet,
Web-Build, Audit aller 840 Aufgaben und drei Browser-Smokes mit lokalen
Modell-/Speech-Fixtures bestanden. Keine Produktionsänderungen oder Live-Aufrufe.
2026-11-01 23:23:20 +00:00

97 lines
3.4 KiB
Go

package services
import (
"context"
"encoding/json"
"net/http"
"net/http/httptest"
"speech-learning-api/internal/domain"
"testing"
)
func TestWritingQualityRejectsReportedFalseFeedback(t *testing.T) {
_, cases, err := qualityCases("writing")
if err != nil || len(cases) != 2 {
t.Fatal(err, cases)
}
bad := domain.CourseEvaluation{Score: 80, Verdict: "partial", Feedback: "city muss City heißen. Die Antwort hat zwei Sätze.", Issues: []string{"city zu City ändern", "shwiming zu swimming ändern"}}
if qualityPassed("writing", cases[1], bad) {
t.Fatal("reported false grading passed")
}
good := domain.CourseEvaluation{Score: 80, Verdict: "partial", Feedback: "Inhalt und Umfang erfüllt. My am Satzanfang schreiben.", Issues: []string{"I live in a city. statt I live in city.", "swimming statt shwiming."}}
if !qualityPassed("writing", cases[1], good) {
t.Fatal("correct feedback rejected")
}
good.Issues[0] = "I live in the city. statt I live in city."
if !qualityPassed("writing", cases[1], good) {
t.Fatal("valid alternative article rejected")
}
good.Issues = []string{"swimming statt shwiming."}
if qualityPassed("writing", cases[1], good) {
t.Fatal("missing article not checked")
}
correct := domain.CourseEvaluation{Score: 100, Verdict: "correct", Feedback: "Alle Anforderungen erfüllt.", Issues: []string{}}
if !qualityPassed("writing", cases[0], correct) {
t.Fatal("positive control rejected")
}
correct.Score = 80
correct.Verdict = "partial"
correct.Issues = []string{"Zusätzlicher Kontext fehlt"}
if qualityPassed("writing", cases[0], correct) {
t.Fatal("invented errors passed positive control")
}
}
func TestWritingQualityPostgresUsesTwoRecordedCalls(t *testing.T) {
a, _, user := setupAI(t)
ctx := context.Background()
if _, err := a.Repo.SaveProfile(ctx, user, aiTestProfile("evaluate_course_attempt")); err != nil {
t.Fatal(err)
}
if err := a.Repo.SaveBudget(ctx, user, 1000000, 0); err != nil {
t.Fatal(err)
}
calls := 0
server := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
calls++
var body struct {
Messages []struct {
Content string `json:"content"`
} `json:"messages"`
}
json.NewDecoder(r.Body).Decode(&body)
var input struct {
Input struct {
Answer string `json:"answer"`
Task domain.AdaptiveTask `json:"task"`
} `json:"input"`
}
json.Unmarshal([]byte(body.Messages[1].Content), &input)
if input.Input.Task.Skill != "writing" || input.Input.Task.Kind != "free_text" {
t.Error("wrong fixture task")
}
out := domain.CourseEvaluation{Score: 100, Verdict: "correct", Feedback: "Richtig", Issues: []string{}}
if input.Input.Answer[0] == 'm' {
out = domain.CourseEvaluation{Score: 80, Verdict: "partial", Feedback: "Inhalt erfüllt.", Issues: []string{"My am Satzanfang.", "a city statt city.", "swimming statt shwiming."}}
}
json.NewEncoder(w).Encode(aiCompletion(out, true))
}))
defer server.Close()
a.URLs["mistral"] = server.URL
work, _, err := a.Begin(ctx, user, "writing-quality", true)
if err != nil {
t.Fatal(err)
}
for i := 0; i < 2; i++ {
results, err := a.QualitySuite(work, "writing")
if err != nil || len(results) != 2 || !results[0].Passed || !results[1].Passed {
t.Fatal("writing suite", err, results)
}
}
if calls != 2 {
t.Fatal("replay billed additional completions", calls)
}
if _, err = a.QualitySuite(work, "unknown"); err == nil {
t.Fatal("unknown suite accepted")
}
}