ApiClient throttles requests in async mode

OkHttp by default only permits 5 connections to a given host in async mode. This means that in a high traffic scenario, we are capped to just 5 concurrent requests unless we manage a pool of ApiClients or create one per request, or ignore the async methods.

The number can be changed by configuring a dispatcher on the ApiClient builder to have a greater number of maxRequests and maxRequestsPerHost. I think there are a number of possible fixes:

• The max requests is set suitably high automatically (ideally unbounded for us)
• The max requests/max requests per host is configurable inside the merchant config
• The client can pass in an optional Function to configure the http client builder

We did a quick test with a local fork to set this higher and this helped it work for us, the change was just:

+            Dispatcher dispatcher = new Dispatcher();
+            dispatcher.setMaxRequests(500);
+            dispatcher.setMaxRequestsPerHost(500);
           try {
               httpClient = classHttpClient.newBuilder()
+                     .dispatcher(dispatcher)

It looks like there is no significant negative impact to just setting this to Integer.MAX_VALUE - so that might be a reasonable option.

Issue xác định ApiClient builder và cấu hình HTTP client OkHttp của nó là các điểm bắt đầu chính. Trước tiên, hãy kiểm tra cách các client bất đồng bộ được tạo và cách cung cấp các thiết lập Dispatcher, sau đó xác định cách tiếp cận cấu hình nào trong số các cách được đề xuất là cách intended. Hoàn thành có nghĩa là các request bất đồng bộ không còn bị giới hạn bởi mặc định năm request đồng thời trên mỗi host của OkHttp.