[SDR-433] BE: Redis를 활용한 공통으로 사용할 수 있는 Rate Limiter Service 구현 by ku-kim · Pull Request #246 · jjik-muk/sikdorak

ku-kim · 2022-12-16T15:19:14Z

❗️ 이슈 번호

SDR-433

📝 구현 내용

Rate Limit 기능 구현
- 선택 알고리즘 : Sliding Window Counter
- 작동 방식 : Redis 저장소를 활용함
  - Redis의 Set 자료구조 사용
  - Redis Key Format - API:ip:yyyyMMddHHmm , e.g. /api/images/url:127.0.0.1:202212161449
    - API, 유저의 ip, 요청 일시를 기준으로 Redis key를 만듭니다. 만료시간은 각자 api에 맞게 조절합니다.
      - 단, 유저 ip로 유저 식별하고 있기 때문에 UID로 변경할 수 있습니다.
    - 현재 시간이 202212161449 이고 window 사이즈가 5분이라면, 202212161445 ~ 202212161449 의 Redis key들의 카운드들을 모두 조회하여 api count 제한 조건이 넘는지 체크합니다.
사용 방법
- Rate Limit 기능이 필요한 Controller Api에서 ApiRateLimiterService.checkRateLimit() 메서드를 사용하면 됩니다.
트랜잭션 이슈
- 레디스에서 트랜잭션 사용하는 문제가 있어 SessionCallBack() 이란 방식으로 구현했습니다. 이에 대한 초안 문서는 삽질 기록 문서에 초안으로 작성되어있습니다. 이후 수정하여 wiki에 추가하겠습니다. (https://kukim.tistory.com/184)
테스트
- TestContainers + Redis 활용
- [] 기존에 사용하던 테스트 서버(헤로쿠) 이전이 안되어 CI 테스트가 깨지고 있습니다. 추후 변경이 필요합니다.

🙇🏻‍♂️ 리뷰어에게 부탁합니다!

해당 PR 이후 PresignedURL API에 기능을 추가하려 합니다.
공통적으로 사용할 Rate Limiter를 구현했기에 리뷰, 댓글 생성 API에 적용할 수 있다고 생각하는데 어떻게 생각하시나요? 리뷰, 댓글 말고 더 적용할 곳이 있을까요?
Redis에 관한 레포지토리가 없고 서비스에서 레디스를 접근하고 있습니다. 이후 Spring Data Redis Repository로 옮기거나 해당 로직을 별도로 빼야하나 고민중입니다.

💡 참고 자료

삽질 기록 docs - https://www.notion.so/kukim/Rate-Limit-a0329ca500b9492e91691d0578ad36cb
Rate Limit 알고리즘 정리(원본, Java version)
Rate Limit 알고리즘 정리(python version)
구현 예 (redis, bucket4j, mutex, atomic …)
- https://github.com/qwlake/oscar/tree/main/api-call-limit/redis
spring cloud gateway 활용하여 구현 예
- https://devs0n.tistory.com/68

- 테스트에서 Testcontainers를 활용하여 Redis 띄우기 - ApiRateLimiterService 인터페이스 / RedisApiRateLimiterService 구현체 포맷

ku-kim · 2022-12-16T15:20:11Z

    implementation 'org.springframework.boot:spring-boot-starter-data-jpa'
    runtimeOnly 'com.h2database:h2'
    runtimeOnly 'mysql:mysql-connector-java'
+    implementation 'org.springframework.boot:spring-boot-starter-data-redis'


Spring Data Redis 의존성 추가

Lettuce Redis 클라이언트 사용합니다.

ku-kim · 2022-12-16T15:21:11Z

+@Getter
+@Validated
+@ConstructorBinding
+@ConfigurationProperties(prefix = "spring.redis")
+public class RedisProperties {


RedisProperties 객체를 사용하여 redis 설정이 존재하는지 확인합니다.

ku-kim · 2022-12-16T15:24:03Z

+	@Test
+	@DisplayName("클라이언트가 api 요청 최대 이하로 요청한다면, api에 요청할 수 있다.")
+	void api_request_less_than_maximum_number() throws InterruptedException {
+		// given
+		MockHttpServletRequest request = new MockHttpServletRequest();
+		request.setServletPath("/api/images/url");
+		int threadCount = 10;
+		ExecutorService executorService = Executors.newFixedThreadPool(16);
+		CountDownLatch latch = new CountDownLatch(threadCount);
+
+		// when
+		for (int i = 0; i < threadCount; i++) {
+			executorService.submit(() -> {
+				try {
+					apiRateLimiterService.checkRateLimit(request, 5L, threadCount + 1L);
+				} finally {
+					latch.countDown();
+				}
+			});
+		}
+		latch.await();
+
+		Boolean result = apiRateLimiterService.checkRateLimit(request, 5L, threadCount + 1L);
+
+		// then
+		assertThat(result).isTrue();
+	}


테스트는 멀티 스레드를 활용하여 1명의 클라이언트의 10개의 요청을 진행합니다.

ku-kim · 2022-12-16T15:25:30Z

+	@DynamicPropertySource
+	public static void overrideProps(DynamicPropertyRegistry registry) {
+		registry.add("spring.redis.host", redis::getHost);
+		registry.add("spring.redis.port", () -> redis.getMappedPort(6379));
+	}


테스트에서 @DynamicPropertySource 을 사용한 이유는
Redis Container의 port 주소가 동적으로 매핑됩니다. 다시 말해 6379으로 설정해도 자동으로 바뀌게 됩니다.
이를 위해 property에 동적으로 수정해주기 위함입니다.

sonarqubecloud · 2022-12-17T02:38:28Z

[sikdorak] Kudos, SonarCloud Quality Gate passed!

0 Bugs
0 Vulnerabilities
0 Security Hotspots
0 Code Smells

75.0% Coverage
0.0% Duplication

jinan159 · 2022-12-19T08:45:24Z

+
+	private String getApiPathAndIpKey(HttpServletRequest request) {
+		String servletPath = request.getServletPath();
+		String clientIp = getClientIp(request); // ip 가져올 때 ipv4 vs ipv6


HTTP Header 정보에서 IPv4 혹은 IPv6 정보를 가져온다고 이해했는데, 제가 이해한게 맞나요?

네 맞아요. 개발하며 사용했던 주석을 지운다는게 깜빡했네요.

jinan159 · 2022-12-19T08:56:01Z

+			searchRateLimitKeys.add(apiPathAndIpKey + new SimpleDateFormat("yyyyMMddHHmm").format(calendar.getTime()));
+			calendar.add(Calendar.MINUTE, -1);
+		}
+
+		// 전체 카운트 조회
+		ValueOperations<String, String> valueOperations = redisTemplate.opsForValue();
+		List<String> values = valueOperations.multiGet(searchRateLimitKeys);
+		long totalCounts = 0L;
+		for (String value : Objects.requireNonNull(values)) {
+			if (Objects.nonNull(value)) {
+				totalCounts = totalCounts + Long.parseLong(value);
+			}
+		}
+
+		return totalCounts;
+	}
+
+	/**
+	 * Redis Key의 value를 1 증가 시키고 expire time을 설정한다.
+	 *
+	 * @param apiPathAndIpKey - /api/images/url:127.0.0.1
+	 * @param currentDate - 현재 시간의 Date 객체
+	 * @param windowSize - api 사용 빈도 검색 시간 범위 & Redis Key expire time
+	 */
+	private void upsertApiCount(String apiPathAndIpKey, Date currentDate, long windowSize) {
+		String currentRateLimitKey =
+			apiPathAndIpKey + new SimpleDateFormat("yyyyMMddHHmm").format(currentDate);


searchRateLimitKey 를 만드는 로직이 apiKey + yyyyMMddHHmm 으로 보이네요.
이 로직이 서로 다른 메소드에 각각 코딩되어있는데 이를 로직을 한 곳에서 관리하는게 나중에 파악하거나 유지보수하기 좋을 것 같아요.
그래서 key 를 만드는 메소드를 만들어 대체하거나,KeyGenerator 같은 클래스를 만들어 위임하는건 어떨까 생각합니다.

위치 L107, L132~133

아주 좋네요~! 적용해볼게요

jinan159 · 2022-12-19T08:57:09Z

+		Date currentDate = new Date();
+		String apiPathAndIpKey = getApiPathAndIpKey(request);
+
+		long totalApiCounts = findTotalApiCounts(apiPathAndIpKey, currentDate, windowSize);


totalApiCounts 가 long 타입인 이유가 궁금합니다.
(int 의 최대 크기인 21억 정도면 apiCount 로 충분하지 않을까 생각이 들어서요)

int면 충분합니다.! 수정할게요

jinan159 · 2022-12-19T09:00:20Z

+		Calendar calendar = Calendar.getInstance();
+		calendar.setTime(currentDate);
+		for (int i = 0; i < windowSize; i++) {
+			searchRateLimitKeys.add(apiPathAndIpKey + new SimpleDateFormat("yyyyMMddHHmm").format(calendar.getTime()));
+			calendar.add(Calendar.MINUTE, -1);
+		}


이 코멘트는 TMI 입니다! (반영해도 좋고 넘어가도 좋습니다.)

시간 관련 레거시 Java API 인 Date, SimpleDateFormat, Calendar 등의 클래스들을 대신해서
Java8 에서 추가된 DateTimeFormatter, LocalDateTime 등을 활용할 수 있을 것 같습니다.

DateTimeFormatter dateTimeFormatter = new DateTimeFormatterBuilder() .parseCaseSensitive() .appendPattern("yyyyMMddHHmm") .toFormatter(); LocalDateTime now = LocalDateTime.now(); now = now.minusMinutes(1); System.out.println(now); // 2022-12-19T17:21:04.035201 System.out.println(dateTimeFormatter.format(now)); // 202212191721

자바의 Date 관련 클래스를 모두 설명하시오...?

반영하겠습니다. 생각하지 못했네요. :D

jinan159

Rate limit 구현에 많은 고뇌가 있으셨을 것 같네요..!
보고 많이 배워갑니다~👍

kobe-ham

고생하셨습니다! 레디스 도입 👍

kobe-ham · 2022-12-21T04:38:58Z

+	@Bean // 만약 PlatformTransactionManager 등록이 안되어 있다면 해야함, 되어있다면 할 필요 없음
+	public PlatformTransactionManager transactionManager()  {
+		return new JpaTransactionManager();
+	}


Jpa 트랜잭션 매니저가 등록이 안되어 있어서 별도로 등록하는걸까요!?

ku-kim added 4 commits December 15, 2022 22:01

build: spring boot data redis 의존성 추가

4e940d8

test: ApiRateLimiterService.checkRateLimit 인터페이스와 테스트 설정

3940cf9

- 테스트에서 Testcontainers를 활용하여 Redis 띄우기 - ApiRateLimiterService 인터페이스 / RedisApiRateLimiterService 구현체 포맷

feat: application.yml 에서 Redis config 객체 생성

e0062e0

feat: RedisApiRateLimiterService 구현체 checkRateLimit 기능 구현

23269ea

ku-kim had a problem deploying to TestServer December 16, 2022 15:19 — with GitHub Actions Failure

ku-kim requested review from jinan159 and kobe-ham December 16, 2022 15:19

ku-kim self-assigned this Dec 16, 2022

ku-kim added 🤖 BE ✨ feature labels Dec 16, 2022

chore: 불필요한 주석 제거

6c17f88

ku-kim had a problem deploying to TestServer December 16, 2022 15:23 — with GitHub Actions Failure

fix: upsertApiCount 접근 제어자 public -> private

37ef7ed

ku-kim had a problem deploying to TestServer December 16, 2022 15:26 — with GitHub Actions Failure

ku-kim commented Dec 16, 2022

View reviewed changes

ku-kim changed the title ~~[SDR-433] BE: 공통으로 사용할 수 있는 Rate Limiter Service 구현~~ [SDR-433] BE: Redis를 활용한 공통으로 사용할 수 있는 Rate Limiter Service 구현 Dec 16, 2022

ku-kim had a problem deploying to TestServer December 16, 2022 15:45 — with GitHub Actions Failure

chore: 중복 문자열 변수 추출 & 변수명 수정 rangeMinutes -> windowSize

3a72b47

ku-kim force-pushed the BE-feat/SDR-433-Rate-limiter branch from 0dfb9cb to 3a72b47 Compare December 17, 2022 02:24

ku-kim had a problem deploying to TestServer December 17, 2022 02:24 — with GitHub Actions Error

jinan159 reviewed Dec 19, 2022

View reviewed changes

jinan159 approved these changes Dec 19, 2022

View reviewed changes

kobe-ham approved these changes Dec 21, 2022

View reviewed changes

Conversation

ku-kim commented Dec 16, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

❗️ 이슈 번호

📝 구현 내용

🙇🏻‍♂️ 리뷰어에게 부탁합니다!

💡 참고 자료

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

sonarqubecloud bot commented Dec 17, 2022

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

jinan159 Dec 19, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

jinan159 Dec 19, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

jinan159 Dec 19, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

jinan159 left a comment

Choose a reason for hiding this comment

Uh oh!

kobe-ham left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

ku-kim commented Dec 16, 2022 •

edited

Loading

jinan159 Dec 19, 2022 •

edited

Loading

jinan159 Dec 19, 2022 •

edited

Loading

jinan159 Dec 19, 2022 •

edited

Loading