Você pode alterar os valores desta forma:
var locations = [
{lat: '', lng: ''}
]
var markerElem = document.getElementById("div");
var newLat = markerElem.getAttribute('lat');
var newLng = markerElem.getAttribute('lng');
locations[0].lat = newLat; // altera lat
locations[0].lng = newLng; // altera lng
console.log(locations);
<div id="div" lat="123" lng="456"></div>
locations[0]
seleciona o primeiro índice da array.
Se quer adicionar um novo índice à array, pode fazer desta forma:
var locations = [];
var markerElem = document.getElementById("div");
var lat = markerElem.getAttribute('lat');
var lng = markerElem.getAttribute('lng');
locations.push({ lat , lng });
console.log(locations);
<div id="div" lat="123" lng="456"></div>
Colocando apenas o nome da variável, já é adicionado o nome e o valor da variável como chave do objeto na array.