"Could you please use English?", "Sorry, I don't know Latvian, can we use some other language?" Или просто с улыбкой дать понять, что ничего не понял.

Вот у меня жена в Китае идёт в магазин или на рынок. Там никто с ней по-английски, по-французски, по-испански, по-украински, по-русски говорить не будет. Изъясняются жестами (китайские жесты для чисел тоже ещё надо изучить.