Произведение входит в виде составной части в прозаический цикл рассказов писателя, названный «Записки охотника».
Повествование в рассказе осуществляется от имени автора, отправившегося на охоту в лес, где его застает сильный дождь.
Охотник находит ночлег и спасения от ливня в небольшом доме старосты, оказавшимся имением барыни Лосняковой Елены Николаевны и представляющим собой контору, возглавляемую управляющим толстым конторщиком Николаем, давшим приют промокшему охотнику за определенную плату.
Отдыхая в выделенной каморке, охотник слышит разговоры конторщика и понимает, что в этом заведении промышляют мошенники и взяточники, обложившие своими налогами всех местных крестьян. При этом в качестве сотрудников конторы числится шесть работников, включая бурмистра и немецкого старшину, исполняющего обязанности по составлению приказов и распоряжений, подписываемых барыней Лосняковой.
Рассказчик становится свидетелем разборки конторщика Николая с ворвавшимся в помещении фельдшером Павлом, обвиняющим Николая в создании жизненных препятствий для его невесты Татьяны, что является местью конторщика из-за непринятия женщиной его ухаживаний. При этом фельдшер вспоминает и давнюю ненависть Николая к его отцу, а также сплетни конторщика о неумелых методах лечения, используемых Павлом, при которых может наступить человеческая смерть в виде отравления.
Разгневанный доктор ставит конторщику условие об обращении к барыне для принятия решения в их споре и оставлении в деревне только одного из них. Лоснякова делает выбор в пользу обоих мужчин, однако Татьяну, считая ее причиной раздора, отправляет работать прачкой, запретив выходить замуж.
Внезапно в конторе появляется вольноотпущенный Купря, работавший издавна портным. Он изъявляет желание вернуться к работе в конторе, поскольку страдает от неразделенной любви к барыне. Однако в имении его оставляют на условиях исполнения обязанностей истопника, тем самым приговаривая мужчину к постоянным издевательствам со стороны окружающих.
Смысловая нагрузка рассказа «Контора» заключается в изображении барского произвола, нежелания и неумения грамотно управлять и руководить людьми.