So instead of saying הָרַחֲמָן הוּא יְבָרֵךְ ....אֶת אָבִי מוֹרִי or הָרַחֲמָן הוּא יְבָרֵךְ אֶת בַּעַל הַבַּיִת הַזֶּה.... i would just skip that and say nothing?

That is correct. You don't say הָרַחֲמָן הוּא יְבָרֵךְ אֶת בַּעַל הַבַּיִת הַזֶּה However you do say הָרַחֲמָן הוּא יְבָרֵךְ ....אֶת אָבִי מוֹרִי because in any location in which we 'bentch' we mention our parents. If we are in our parents home we say אבי מורי בעל הבית הזה. Outside their house we say הרחמן הוא יברך את אבי מורי without בעל הבית הזה. By the way, if we are eating at someone's house many say a short nussach הרחמן הוא יברך את בעל הבית הזה. However there is a longer nussach, appearing in the benchers, which is the proper nussach: This is nussach ashkenaz. there are a few differences in other nussach’s. הָרַחֲמָן הוּא יְבָרֵךְ אֶת בַּעַל הַבַּיִת הַזֶּה וְאֶת בַּעֲלַת הַבַּיִת הַזֶּה, אוֹתָם וְאֶת בֵּיתָם וְאֶת זַרְעָם וְאֶת כָּל אֲשֶׁר לָהֶם. יְהִי רָצוֹן, שֶׁלֹּא יֵבוֹשׁ בַּעַל הַבַּיִת בָּעוֹלָם הַזֶּה, וְלֹא יִכָּלֵם לָעוֹלָם הַבָּא, וְיִצְלַח מְאֹד בְּכָל נְכָסָיו, וְיִהְיוּ נְכָסָיו וּנְכָסֵינוּ מֻצְלָחִים וּקְרוֹבִים לָעִיר, וְאַל יִשְׁלֹט שָׂטָן לֹא בְּמַעֲשֵׂי יָדָיו וְלֹא בְּמַעֲשֵׂי יָדֵינוּ, וְאַל יִזְדַקֵּק לֹא לְפָנָיו וְלֹא לְפָנֵינוּ שׁוּם דְבַר הַרְהוֹר חֵטְא וַעֲבֵרָה וְעָוֹן מֵעַתָּה וְעַד עוֹלָם.