С виду ведь всё наоборот.

Встаньте спиной) Фасад дома "смотрит" в противоположную сторону, чем вы, когда смотрите НА здание. Поэтому относительно музея кафе слева) и т.д.

С виду логично. А если люди на картинке: тоже нужно становиться на их место, или там будет слева - это слева?

Ну мы же описываем место одного здания относительно другого. Если вы поставите там людей и будете описывать положение относительно их, то может быть и по-другому.

А вы не в курсе где об этом больше можно почитать?

Это не правила именно греческого. Но в целом примерно вот: https://gramota.ru/spravka/vopros/254804 И здесь скорее точка зрения, что смотрим относительно себя, а не предмета. Можно поискать подобное для других стран и языков.