На самом деле там все просто (если это конечно то, о чем я думаю)
1) Создай новый документ, размером 10х10 пикселей.
2)Берешь черный карандаш, размером 1 пиксель и рисуешь такой узор:
http://i46.tinypic.com/5cj6de.jpg
3) Потом редактировать - определить узор, сохраняешь его.
4)Открываешь нужную тебе картинку, выделяешь нужное пространство для обводки, идешь в параметры наложения слоя
5) Там обводка - узор, выбираешь раннее сохраненный узор и смотри, в настройках, чтобы была обводка была внутри.
Вот и все.