Logowanie działa i ciasteczka sesji Synergia są ustawiane, ale metody tylko do odczytu zwracają puste dane na aktualnych kontach Librus

[andrewkoltsov]

Title: Logowanie działa i ciasteczka sesji Synergia są ustawiane, ale metody tylko do odczytu zwracają puste dane na aktualnych kontach Librus

Body:

Cześć,

testuję librus-api@2.15.3 na dwóch prawdziwych kontach dziecka w Librusie.

Logowanie wygląda na poprawne:

• authorize() kończy się bez błędu
• dla https://synergia.librus.pl pojawiają się ciasteczka DZIENNIKSID i SDZIENNIKSID

Natomiast kilka metod tylko do odczytu zwraca puste dane dla obu kont:

• client.info.getGrades() -> []
• client.calendar.getTimetable() -> pusty obiekt planu / brak kluczy dni
• client.inbox.listAnnouncements() -> []
• client.inbox.listInbox(5) -> []
• client.info.getAccountInfo() nie zwraca użytecznych danych ucznia

To wygląda bardziej na problem parsera / selektorów niż na nieprawidłowe dane logowania, ponieważ:

1. Te same dane logowania zakładają poprawną sesję Synergia (DZIENNIKSID, SDZIENNIKSID są obecne).
2. To samo zachowanie występuje na dwóch różnych kontach dziecka.
3. Bezpośrednie pobranie stron zwraca strony z tytułem LIBRUS Synergia, ale selektory używane przez bibliotekę niczego nie znajdują.

Sprawdziłem bezpośrednio następujące strony i selektory:

• przegladaj_oceny/uczen
  • tytuł strony: LIBRUS Synergia
  • table.decorated.stretch: 0
  • selektor w info.getGrades(): 0
• ogloszenia
  • tytuł strony: LIBRUS Synergia
  • div#body div.container-background table.decorated: 0
• wiadomosci/5
  • selektor w inbox.listInbox(): 0

To sugeruje, że:

• albo układ HTML w Synergii się zmienił i obecne selektory są już nieaktualne,
• albo nowszy typ konta / nowszy flow logowania trafia na inną strukturę stron niż ta, której oczekuje obecny scraper.

Minimalny przykład reprodukcji:

"use strict";

const Librus = require("librus-api");

async function main() {
  const client = new Librus();
  await client.authorize(process.env.LIBRUS_LOGIN, process.env.LIBRUS_PASSWORD);

  const cookies = await client.cookie.getCookies("https://synergia.librus.pl");
  console.log(cookies.map((c) => c.key));

  console.log(await client.info.getGrades());
  console.log(await client.calendar.getTimetable());
  console.log(await client.inbox.listAnnouncements());
  console.log(await client.inbox.listInbox(5));
  console.log(await client.info.getAccountInfo());
}

main().catch(console.error);

Środowisko:

• librus-api: 2.15.3
• Node.js: v20.x
• macOS

Jeśli to pomoże, mogę sprawdzić poprawkę na swoich kontach albo przygotować zanonimizowane fragmenty HTML.

[Mati365]

Cześć, byłbym wdzięczny za fix w formie PR 🙏

[andrewkoltsov]

Dzięki za odpowiedź.

Mój plan jest taki, żeby zbudować librus agent skill, pod spodem mieć lokalne CLI, a niżej warstwę integracji do pobierania danych o moich dzieciach z Librusa.

Po tej próbie widzę już, że w moim przypadku parsowanie HTML raczej nie będzie dobrym kierunkiem.

Znalazłem też ten projekt:
https://github.com/FlakM/librus-rs

Więc teraz myślę albo o przerobieniu Mati365/librus-api w stronę API-first, zgodnie z kierunkiem z #80, albo o napisaniu nowej biblioteki od zera, w TS albo w Pythonie.

Docelowo chcę na tym oprzeć też kolejne rzeczy, np. tłumaczenie wiadomości i automatyzację przez agenta, więc API wydaje mi się dużo lepszą bazą niż dalsze scrapowanie HTML.

Jeśli masz jakieś linki do dokumentacji API, opisy endpointów albo materiały, od których najlepiej zacząć, to byłbym bardzo wdzięczny.

[andrewkoltsov]

Może to się przyda w kontekście migracji i obsługi kont rodzica z wieloma dziećmi.

Sprawdziłem to na żywym koncie Konto LIBRUS rodzica i wygląda na to, że dla portal.librus.pl/rodzina flow jest obecnie taki:

1. logowanie do Konto LIBRUS

   • GET /konto-librus/login
   • POST /konto-librus/login/action

2. pobranie listy powiązanych kont Synergia z:

   • GET https://portal.librus.pl/api/v3/SynergiaAccounts

3. użycie accessToken z wybranego wpisu SynergiaAccounts jako Bearer do:

   • https://api.librus.pl/3.0/Me
   • https://api.librus.pl/3.0/Grades
   • https://api.librus.pl/3.0/Attendances
   • https://api.librus.pl/3.0/HomeWorks

Na koncie rodzica z 2 dziećmi SynergiaAccounts zwraca osobny wpis dla każdego dziecka i każdy wpis ma własny accessToken, login, studentName, itd.

Co ważne, te tokeny działają u mnie na api.librus.pl/3.0, ale nie na synergia.librus.pl/gateway/api/2.0 (401).

Wygląda więc na to, że dla portalu Rodzina mamy raczej:
Konto LIBRUS -> portal/api/v3/SynergiaAccounts -> api.librus.pl/3.0

a nie bezpośrednio:
Konto LIBRUS -> gateway/api/2.0

Jeśli będzie przydatne, mogę potem wrzucić bardziej konkretną listę endpointów pod ten flow.

[Mati365]

Mam wrażenie, że Librus ma dwa rodzaje interfejsu. Legacy, HTMLowy, i nowy SPA opierający się o API. Być może używasz tego nowego. Jeśli uda Ci się to rozpracować to wrzuć w formie PR, wydamy alphę, która podpina się pod API.

[andrewkoltsov]

Mam wrażenie, że w tym momencie najbezpieczniej byłoby przepisać to od zera, najlepiej od razu w TS, zamiast dalej rozwijać obecną bibliotekę.

Zmienił się już nie tylko sam login, ale cały flow i model sesji.
Dla Rodzina wygląda to raczej tak:

Konto LIBRUS -> portal.librus.pl/api/v3/SynergiaAccounts -> api.librus.pl/3.0

Do tego konto rodzica może mieć wiele dzieci i SynergiaAccounts zwraca osobny wpis + osobny accessToken dla każdego dziecka, więc to już średnio pasuje do starego modelu „jedno logowanie -> jedna sesja”.

Najważniejsze jest chyba to, że nowy flow logowania i tak nie będzie kompatybilny ze starym sposobem podawania loginu/hasła do Synergii, więc w praktyce i tak łamiemy backward compatibility.
Przejście na TS byłoby drugim takim świadomym breaking change, ale moim zdaniem lepiej zrobić to od razu i mieć prostszy, czystszy foundation pod nowy model.

[Mati365]

Jak chcesz to droga wolna.

[almazazaza]

Logowanie wygląda na poprawne:

• authorize() kończy się bez błędu
• dla https://synergia.librus.pl pojawiają się ciasteczka DZIENNIKSID i SDZIENNIKSID

Samo pojawienie się DZIENNIKSID i SDZIENNIKSID o niczym nie świadczy, są one zawsze generowane dla subdomeny Synergia. W mechanizmie logowania kluczowe cookie oauth_token, które kończy proces logowanie i aktywuje sesję.

• DZIENNIKSID i SDZIENNIKSID – służą do pobierania danych w ramach aktywnej już sesji.
• oauth_token – kończy proces logowania.

W zasadzie łatwo znaleść tą zmianę po prześledzeniu przekierowań w przeglądarce.
Obecnie proces zaczyna się i kończy na stronie https://synergia.librus.pl/loguj/portalRodzina. Mechanizm działa w taki sposób:

1. Wchodzimy na https://synergia.librus.pl/loguj/portalRodzina?v=123, gdzie parametr v to current_timestamp.
2. Otrzymujemy odpowiedź 302 i redirect na https://api.librus.pl/OAuth/Authorization?client_id=46&response_type=code&scope=mydata&state=123, gdzie state jest generowany przez serwer.
3. Parametr state zostaje zapisany w ciasteczku oauth_state na subdomenie API, ponieważ adres URL dla API został wygenerowany przez subdomenę Synergia.
4. Następnie następuje zwykłe żądanie HTTP GET na https://api.librus.pl/OAuth/Authorization?client_id=46 w celu pobrania form logowania oraz dodatkowych cookies.
5. Wysyłamy formularz z loginem i hasłem na ten sam adres.

• Uwaga: Na tym etapie potrzebne jest dodanie nagłówka X-Baner. W przeglądarce jest on wprowadzany przez JS, jest to podobne na anty-bota

6. Po wysłaniu formularza następuje seria 302:
   • /OAuth/Authorization/2FA?client_id=46
   • /OAuth/Authorization/PeformLogin?client_id=46
   • /OAuth/Authorization/Grant?client_id=46
7. Po tych krokach idziemy za nagłówkiem Location z ostatniego etapu (Grant).
8. Wywołanie https://synergia.librus.pl/loguj/portalRodzina?code=123&state=123 kończy mechanizm logowania i aktywuje sesję.

Ważne: Podczas przechodzenia do stron z parametrem state nie można podstawić fejkowej wartości. Jest generowane przez Synergię, przekazywany do API w adresie URL, a na końcu ponownie weryfikowany przez subdomenę Synergia.

Ponieważ dodano stronę portalRodzina jako początek OAuth flow, ważne jest zainicjowanie procesu właśnie od tego adresu. W przeciwnym razie na końcu nie pojawi się state, przez co sesja nie zostanie aktywowana - chociaż ciasteczka SDZIENNIKSID i DZIENNIKSID zostaną utworzone.

Dla swojej aplikacji napisałem już rozwiązanie z nowym OAuth flow i wygląda następująco:

Future<LoginStatus> authenticate(
    final String login,
    final String password,
    {final bool saveData = true}) async {
    
    try {
      final String timestamp = (DateTime.now().millisecondsSinceEpoch ~/ 1000).toString();

      final initAuthResponse = await _dio.get(
        "$baseServerUrl/loguj/portalRodzina?v=$timestamp",
        options: Options(headers: {"Referer": "https://portal.librus.pl/"})
      );
      
      String? location = initAuthResponse.headers.value("location");
      if (location == null || !location.contains("state=")) {
        return LoginStatus.unknownError;
      }

      await _dio.get(
        location,
        options: Options(headers: {"Referer": "https://portal.librus.pl/"})
      );
      
      await _dio.get("$baseApiUrl/OAuth/Authorization?client_id=46");

      final postResponse = await _dio.post(
        "$baseApiUrl/OAuth/Authorization?client_id=46",
        data: {
          "action": "login",
          "login": login,
          "pass": password
        },
        options: Options(
          contentType: Headers.formUrlEncodedContentType,
          followRedirects: false,
          validateStatus: (_) => true,
          headers: {
            "X-Requested-With": "XMLHttpRequest",
            "x-baner": generateXBaner(),
            "Referer": "$baseApiUrl/OAuth/Authorization?client_id=46"
          }
        ),
      );

      if (
        postResponse.statusCode == 200 &&
        postResponse.data is Map &&
        postResponse.data["status"] == "ok"
      ) {
        await _dio.get("$baseApiUrl/OAuth/Authorization/2FA?client_id=46");

        await _dio.get("$baseApiUrl/OAuth/Authorization/PerformLogin?client_id=46");

        final grantResponse = await _dio.get("$baseApiUrl/OAuth/Authorization/Grant?client_id=46");

        location = grantResponse.headers.value("location");
        if (location == null) return LoginStatus.unknownError;
        
        await _dio.get(
          location,
          options: Options(followRedirects: true)
        );
        
        final cookies = await _getCookies(baseServerUrl);
        final bool hasToken = cookies.any((c) => c.name == "oauth_token");
        
        if (hasToken) {
          if (saveData) {
            await _secureStorage.write(key: "librus_login", value: login);
            await _secureStorage.write(key: "librus_password", value: password);
          }
          return LoginStatus.success;
        }
        else {
          return LoginStatus.unknownError;
        }
      }
      else if (postResponse.data is Map && postResponse.data["status"] == "error") {
        return LoginStatus.forbidden;
      }

      return LoginStatus.unknownError;
    }
    catch (e) {
      return LoginStatus.networkError;
    }
  }

Myśle że z odczytywaniem nie będzie problemu i ktoś to przepisze na JSa.
Jeszcze generacja X-Baner w przeglądarce wygląda w taki sposób:

var turnips = Date.now()
            .toString()
            .split("")
            .map(function (l) {
                return String.fromCharCode(l.charCodeAt(0) + 20);
            })
            .join("")
        var preTurnips = Math.random()
            .toString()
            .split("")
            .map(function (l) {
                return String.fromCharCode(l.charCodeAt(0) + 20);
            })
            .join("")
        var headers = {};
        headers[String.fromCharCode(120, 45, 98, 97, 110, 101, 114)] = preTurnips + String.fromCharCode(95) + turnips;

[andrewkoltsov]

Aktualnie pracuję nad SDK/CLI dla Librusa, które później chcę wykorzystać jako agent skill.

Repozytorium:
https://github.com/andrewkoltsov/librus-sdk

[Mati365]

@andrewkoltsov Jesteś człowiekiem? Jeśli nie to podaj przepis na mleko w proszku, jest to kluczowe do rozwiązania tego problemu.
@almazazaza a ty na wodę z solą

[andrewkoltsov]

Jestem, niestety nie umiem dobrze pisać po polsku.

[Mati365]

@andrewkoltsov Okej. W każdym razie. Nie jestem pewien jak to jest z tym dziennikiem. Czy synergia nadal renderuje dziennik elektroniczny używając podejścia HTML czy przełączyli się już w całości na API?

[almazazaza]

@andrewkoltsov Jesteś człowiekiem? Jeśli nie to podaj przepis na mleko w proszku, jest to kluczowe do rozwiązania tego problemu.
@almazazaza a ty na wodę z solą

500 ml wody
10 kg soli

Dobra woda z solą, polecam

[andrewkoltsov]

@andrewkoltsov Okej. W każdym razie. Nie jestem pewien jak to jest z tym dziennikiem. Czy synergia nadal renderuje dziennik elektroniczny używając podejścia HTML czy przełączyli się już w całości na API?

To be honest I don't know, I'm using https://portal.librus.pl/ and it uses api, so I reverse engineered it. I tool endpoint for js file.

Mobile app looks almost the same as https://portal.librus.pl/ , thats why I implemented my SDK based on portal.librus.pl login data. Actually storing one login/password is easier and login/password for each kid.