Fix merge conflict

Author: nabramow

app/backend/src/couchers/email/locales/ru.json

@@ -3,7 +3,23 @@
     "completed": {
       "recovery_instructions_days_one": "Если вы передумаете, <strong>у вас есть {{count}} день для восстановления вашей учётной записи</strong>, перейдя по следующей ссылке:",
       "recovery_instructions_days_few": "Если вы передумаете, <strong>у вас есть {{count}} дня для восстановления вашей учётной записи</strong>, перейдя по следующей ссылке:",
-      "recovery_instructions_days_many": "Если вы передумаете, <strong>у вас есть {{count}} дней для восстановления вашей учётной записи</strong>, перейдя по следующей ссылке:"
+      "recovery_instructions_days_many": "Если вы передумаете, <strong>у вас есть {{count}} дней для восстановления вашей учётной записи</strong>, перейдя по следующей ссылке:",
+      "subject": "Ваш аккаунт был удалён",
+      "purpose": "Вы успешно удалили свою учётную запись Couchers.org.",
+      "farewell": "Нам грустно, что ты уходишь, и мы желаем тебе всего наилучшего в твоих будущих путешествиях. Ты всегда можешь вернуться на платформу Couchers.org :)",
+      "recover_action": "Восстановить аккаунт"
+    },
+    "started": {
+      "subject": "Подтвердите удаление вашего аккаунта",
+      "purpose": "Вы запросили удаление вашей учётной записи Couchers.org. Чтобы завершить этот процесс, пожалуйста, перейдите по следующей ссылке:",
+      "confirm_action": "Подтвердить удаление аккаунта"
+    },
+    "recovered": {
+      "subject": "Ваш аккаунт был восстановлен!",
+      "confirmation": "Ваш аккаунт на Couchers.org был успешно восстановлен. Мы рады, что вы решили остаться!",
+      "login_instructions": "Чтобы снова войти, нажмите на следующую ссылку:",
+      "login_action": "Войти снова",
+      "redelete_instructions": "Если вы передумаете, вы можете удалить свою учётную запись в любое время."
     }
   },
   "references": {
@@ -20,7 +36,25 @@
     "thanks": "Спасибо!",
     "closing_lines": {
       "default": "С уважением,<br>Команда Couchers.org",
-      "aapeli": "Аапели<br>Соучредитель Couchers.org<br>{{ profile_link }}"
+      "aapeli": "Аапели<br>Соучредитель Couchers.org<br>{{ profile_link }}",
+      "founders": "Аапели и Итси,<br>основатели Couchers.org",
+      "emily": "Эмили из Couchers.org<br>{{ email_link }}<br>{{ profile_link }}"
+    },
+    "footer": {
+      "received_because": "Вы получили это письмо, потому что зарегистрировались на Couchers.org.",
+      "contact_support": "Вы можете связаться с нашей службой поддержки по адресу {{ email_link }}.",
+      "donate_link": "Пожертвовать",
+      "blog_link": "Блог",
+      "nonprofit_note": "Couchers.org — это проект Couchers, Inc., некоммерческой организации США, освобождённой от налогов в соответствии с разделом 501(c)(3).",
+      "security_email_note": "Это письмо системы безопасности, отписаться от него нельзя.",
+      "notification_settings_link": "Управление настройками уведомлений"
     }
+  },
+  "calendar_events": {
+    "title_cancelled": "Отменено: {{ title }}"
+  },
+  "plaintext_formats": {
+    "action": "{{text}}: {{url}}",
+    "user": "{{name}}, {{age}}, {{city}}"
   }
 }

app/backend/src/couchers/helpers/references.py

@@ -0,0 +1,41 @@
+from typing import Any
+
+from sqlalchemy import select
+from sqlalchemy.orm import aliased
+from sqlalchemy.sql import Select, exists, func, or_
+
+from couchers.models import HostRequest, Reference, ReferenceType
+
+
+def where_references_not_hidden_by_reciprocity[T: tuple[Any, ...]](statement: Select[T]) -> Select[T]:
+    """
+    Filters out references that are still hidden by the reciprocal-reference rule.
+
+    A host/surf reference stays hidden until either the recipient has written their
+    reciprocal reference or the 2-week window to write one has closed; friend
+    references are always visible.
+
+    Apply this to any query that selects from Reference. Both the reference list
+    (ListReferences) and the reference count (get_num_references) must use it,
+    otherwise the count includes references the list hides, leaking the existence
+    of a still-hidden reference.
+    """
+    other_reference = aliased(Reference)
+    reciprocal_written = exists(
+        select(other_reference.id)
+        .where(other_reference.host_request_id == Reference.host_request_id)
+        .where(other_reference.from_user_id == Reference.to_user_id)
+        .where(other_reference.reference_type != ReferenceType.friend)
+    )
+    window_closed = exists(
+        select(HostRequest.conversation_id)
+        .where(HostRequest.conversation_id == Reference.host_request_id)
+        .where(HostRequest.end_time_to_write_reference < func.now())
+    )
+    return statement.where(
+        or_(
+            Reference.reference_type == ReferenceType.friend,
+            reciprocal_written,
+            window_closed,
+        )
+    )

app/backend/src/couchers/i18n/context.py

@@ -21,8 +21,6 @@
     localize_list,
     localize_time,
     localize_timezone,
-    try_localize_language_name_from_iso639,
-    try_localize_region_name_from_iso3166,
 )
 from couchers.models.users import User
 from couchers.utils import to_timezone
@@ -67,12 +65,6 @@ def __setattr__(self, name: str, value: Any) -> None:
     def localized_timezone(self) -> str:
         return localize_timezone(self.timezone, self.babel_locale)
 
-    def try_localize_language_name_from_iso639(self, code: str, standalone: bool = False) -> str | None:
-        return try_localize_language_name_from_iso639(code, self.babel_locale, standalone=standalone)
-
-    def try_localize_region_name_from_iso3166(self, code: str) -> str | None:
-        return try_localize_region_name_from_iso3166(code, self.babel_locale)
-
     def localize_string(
         self, key: str, *, i18next: I18Next | None = None, substitutions: SubstitutionDict | None = None
     ) -> str:

app/backend/src/couchers/i18n/locales/ru.json

@@ -231,7 +231,12 @@
     "public_trip_in_past": "Вы не можете редактировать уже завершившуюся публичную поездку.",
     "public_trip_not_active": "Для этой публичной поездки больше не принимаются предложения.",
     "public_trips_not_enabled": "Публичные поездки недоступны в этом сообществе.",
-    "sms_disabled": "В настоящее время SMS верификация отключена."
+    "sms_disabled": "В настоящее время SMS верификация отключена.",
+    "incomplete_profile_post_comment": "Прежде чем оставить комментарий, вам необходимо заполнить свой профиль.",
+    "public_trip_not_found": "Не удалось найти эту публичную поездку.",
+    "public_trip_user_mismatch": "Получатель запроса не совпадает с путешественником указанным в публичной поездке.",
+    "duplicate_host_request_for_trip": "Вы уже предложили принять гостей для этой поездки.",
+    "public_trip_same_gender_only": "Эта поездка открыта для предложений только от пользователей того же пола."
   },
   "quick_links": {
     "topic_action": "Вы были отписаны от уведомлений по электронной почте этого типа.",

app/backend/src/couchers/servicers/api.py

@@ -18,6 +18,7 @@
 from couchers.crypto import b64encode, generate_hash_signature, random_hex
 from couchers.event_log import log_event
 from couchers.helpers.completed_profile import has_completed_profile
+from couchers.helpers.references import where_references_not_hidden_by_reciprocity
 from couchers.helpers.strong_verification import get_strong_verification_fields
 from couchers.materialized_views import LiteUser, UserResponseRate
 from couchers.models import (
@@ -1025,6 +1026,8 @@ def get_num_references(session: Session, context: CouchersContext, user_ids: Ite
     query = where_moderated_content_visible(
         select(Reference.to_user_id, func.count(Reference.id)), context, Reference, is_list_operation=True
     )
+    # exclude references still hidden by the reciprocal-reference rule, matching ListReferences
+    query = where_references_not_hidden_by_reciprocity(query)
     query = (
         query.where(Reference.to_user_id.in_(user_ids))
         .join(User, User.id == Reference.from_user_id)

app/backend/src/couchers/servicers/communities.py

@@ -6,7 +6,7 @@
 from google.protobuf import empty_pb2
 from sqlalchemy import select
 from sqlalchemy.orm import Session, selectinload
-from sqlalchemy.sql import delete, func, or_
+from sqlalchemy.sql import and_, delete, func, or_
 
 from couchers.constants import COMMUNITIES_SEARCH_FUZZY_SIMILARITY_THRESHOLD
 from couchers.context import CouchersContext
@@ -570,27 +570,34 @@ def ListUserCommunities(
         self, request: communities_pb2.ListUserCommunitiesReq, context: CouchersContext, session: Session
     ) -> communities_pb2.ListUserCommunitiesRes:
         page_size = min(MAX_PAGINATION_LENGTH, request.page_size or MAX_PAGINATION_LENGTH)
-        next_node_id = int(request.page_token) if request.page_token else 0
         user_id = request.user_id or context.user_id
-        nodes = (
-            session.execute(
-                select(Node)
-                .join(Cluster, Cluster.parent_node_id == Node.id)
-                .join(ClusterSubscription, ClusterSubscription.cluster_id == Cluster.id)
-                .where(ClusterSubscription.user_id == user_id)
-                .where(Cluster.is_official_cluster)
-                .where(Node.id >= next_node_id)
-                .order_by(Node.id)
-                .limit(page_size + 1)
-                .options(selectinload(Node.official_cluster))
+        # most specific communities first: node_type desc (sublocality -> world), then id asc
+        statement = (
+            select(Node)
+            .join(Cluster, Cluster.parent_node_id == Node.id)
+            .join(ClusterSubscription, ClusterSubscription.cluster_id == Cluster.id)
+            .where(ClusterSubscription.user_id == user_id)
+            .where(Cluster.is_official_cluster)
+            .order_by(Node.node_type.desc(), Node.id)
+            .limit(page_size + 1)
+            .options(selectinload(Node.official_cluster))
+        )
+        if request.page_token:
+            node_type_ordinal, next_node_id = (int(v) for v in decrypt_page_token(request.page_token).split(","))
+            next_node_type = NodeType(node_type_ordinal)
+            statement = statement.where(
+                or_(
+                    Node.node_type < next_node_type,
+                    and_(Node.node_type == next_node_type, Node.id >= next_node_id),
+                )
             )
-            .scalars()
-            .all()
-        )
+        nodes = session.execute(statement).scalars().all()
 
         return communities_pb2.ListUserCommunitiesRes(
             communities=communities_to_pb(session, nodes[:page_size], context),
-            next_page_token=str(nodes[-1].id) if len(nodes) > page_size else None,
+            next_page_token=encrypt_page_token(f"{nodes[-1].node_type.value},{nodes[-1].id}")
+            if len(nodes) > page_size
+            else None,
         )
 
     def ListAllCommunities(

app/backend/src/couchers/servicers/references.py

@@ -11,11 +11,12 @@
 from google.protobuf import empty_pb2
 from sqlalchemy import select
 from sqlalchemy.orm import Session, aliased
-from sqlalchemy.sql import and_, func, literal, or_, union_all
+from sqlalchemy.sql import and_, literal, or_, union_all
 
 from couchers.context import CouchersContext, make_notification_user_context
 from couchers.db import are_friends
 from couchers.event_log import log_event
+from couchers.helpers.references import where_references_not_hidden_by_reciprocity
 from couchers.materialized_views import LiteUser
 from couchers.models import HostRequest, ModerationObjectType, Reference, ReferenceType, User
 from couchers.models.notifications import NotificationTopicAction
@@ -208,33 +209,13 @@ def ListReferences(
         if next_reference_id:
             statement = statement.where(Reference.id <= next_reference_id)
 
-        # Reference visibility logic:
-        # A reference is visible if any of the following apply:
+        # Reference visibility logic (a reference is visible if any of the following apply):
         # 1. It is a friend reference
         # 2. Both references have been written
         # 3. It has been over 2 weeks since the host request ended
-
-        # we get the matching other references through this subquery
-        sub = select(Reference.id.label("sub_id"), Reference.host_request_id).where(
-            Reference.reference_type != ReferenceType.friend
-        )
-        if request.from_user_id:
-            sub = sub.where(Reference.to_user_id == request.from_user_id)
-        if request.to_user_id:
-            sub = sub.where(Reference.from_user_id == request.to_user_id)
-
-        query = sub.subquery()
-        statement = (
-            statement.outerjoin(query, query.c.host_request_id == Reference.host_request_id)
-            .outerjoin(HostRequest, HostRequest.conversation_id == Reference.host_request_id)
-            .where(
-                or_(
-                    Reference.reference_type == ReferenceType.friend,
-                    query.c.sub_id != None,
-                    HostRequest.end_time_to_write_reference < func.now(),
-                )
-            )
-        )
+        # This must stay in sync with the reference count (get_num_references); both use the
+        # shared where_references_not_hidden_by_reciprocity() helper.
+        statement = where_references_not_hidden_by_reciprocity(statement)
 
         statement = statement.order_by(Reference.id.desc()).limit(page_size + 1)
         references = session.execute(statement).scalars().all()

app/backend/src/couchers/servicers/resources.py

@@ -1,17 +1,14 @@
+import functools
 import logging
 
+import babel
 from google.protobuf import empty_pb2
 from sqlalchemy.orm import Session
 
 from couchers.context import CouchersContext
+from couchers.i18n.localize import try_localize_language_name_from_iso639, try_localize_region_name_from_iso3166
 from couchers.proto import resources_pb2, resources_pb2_grpc
-from couchers.resources import (
-    get_badge_dict,
-    get_icon,
-    get_language_dict,
-    get_region_dict,
-    get_terms_of_service,
-)
+from couchers.resources import get_badge_dict, get_icon, get_language_dict, get_region_dict, get_terms_of_service
 
 logger = logging.getLogger(__name__)
 
@@ -23,6 +20,36 @@
 ]
 
 
+# These responses are static per locale, and localizing ~300 names costs tens of ms of CPU (mostly
+# babel.Locale.parse), so cache the built protos. Sharing one message across requests is safe as
+# long as nothing mutates responses after return (the tracing interceptor deepcopies before
+# sanitizing).
+@functools.lru_cache
+def _get_regions_res(locale: babel.Locale) -> resources_pb2.GetRegionsRes:
+    return resources_pb2.GetRegionsRes(
+        regions=[
+            resources_pb2.Region(
+                alpha3=alpha3,
+                name=try_localize_region_name_from_iso3166(alpha3, locale) or english_name,
+            )
+            for alpha3, english_name in sorted(get_region_dict().items())
+        ]
+    )
+
+
+@functools.lru_cache
+def _get_languages_res(locale: babel.Locale) -> resources_pb2.GetLanguagesRes:
+    return resources_pb2.GetLanguagesRes(
+        languages=[
+            resources_pb2.Language(
+                code=code,
+                name=try_localize_language_name_from_iso639(code, locale, standalone=True) or english_name,
+            )
+            for code, english_name in sorted(get_language_dict().items())
+        ]
+    )
+
+
 class Resources(resources_pb2_grpc.ResourcesServicer):
     def GetTermsOfService(
         self, request: empty_pb2.Empty, context: CouchersContext, session: Session
@@ -46,29 +73,12 @@ def GetCommunityGuidelines(
     def GetRegions(
         self, request: empty_pb2.Empty, context: CouchersContext, session: Session
     ) -> resources_pb2.GetRegionsRes:
-        return resources_pb2.GetRegionsRes(
-            regions=[
-                resources_pb2.Region(
-                    alpha3=alpha3,
-                    name=context.localization.try_localize_region_name_from_iso3166(alpha3) or english_name,
-                )
-                for alpha3, english_name in sorted(get_region_dict().items())
-            ]
-        )
+        return _get_regions_res(context.localization.babel_locale)
 
     def GetLanguages(
         self, request: empty_pb2.Empty, context: CouchersContext, session: Session
     ) -> resources_pb2.GetLanguagesRes:
-        return resources_pb2.GetLanguagesRes(
-            languages=[
-                resources_pb2.Language(
-                    code=code,
-                    name=context.localization.try_localize_language_name_from_iso639(code, standalone=True)
-                    or english_name,
-                )
-                for code, english_name in sorted(get_language_dict().items())
-            ]
-        )
+        return _get_languages_res(context.localization.babel_locale)
 
     def GetBadges(
         self, request: empty_pb2.Empty, context: CouchersContext, session: Session